Paper Writing 1/Experiments
-
Experimental results # 5Paper Writing 1/Experiments 2024. 11. 10. 00:46
* The effect of injecting auxiliary information via vision prompting In this section, we assess whether incorporating exogenous information via vision prompts as a prefix helps guide the large language model (LLM) to improve forecasting accuracy. To investigate the effect of vision prompting, we evaluate the forecasting performance of our pretrained model both with and without vision prompts on ..
-
base model의 zero-shot & in-distribution 성능에 대한 고찰Paper Writing 1/Experiments 2024. 11. 7. 12:57
생각보다 성능이 잘 나와서 사실 다소 놀라웠다. 하지만 이걸 단순히 성능적으로 우수하다고 성급하게 단정지을 수는 없다. foundation model들은 generalization을 목적으로 any task, any context length, any prediction horizon을 지원하는데 초점을 두고 마치 LLM처럼 대량의 학습을 시켜서 versitle하게 만든 후에 downstream task에 바로 가져다 쓸 수 있게 size 별로 제공을 하고 있다. 이에 비하면 나의 모델은 flexibility가 떨어진다고 할 수 있다. 만약 benchmark 성능만을 목적으로 한다면한 놈만 패는 specialist들, transformer based model 혹은 심지어 MLP-based, linea..
-
Experimental results # 4Paper Writing 1/Experiments 2024. 11. 6. 21:59
* In-Distribution Forecasting To ensure a fair comparison, we adhere to the experimental setting in Time-MoE - fine-tune the pre-trained models on the train split of each benchmark dataset only one epoch. ※ we need to compare with the LLM-based models! (will update soon) ETTh1 / ETTh2 96 ETTm1 / ETTm2 Weather
-
Experimental results # 2Paper Writing 1/Experiments 2024. 11. 6. 12:46
* The Effect of Incorporating Synthetic Data: Due to resource limitations, it is challenging to systematically evaluate the effect of training with synthetic data. In our experiments, we trained the model for only one epoch and used a small training corpus, which restricts the scope of our analysis. The primary goal of incorporating synthetically generated time series data into the training corp..
-
strict=FalsePaper Writing 1/Experiments 2024. 10. 30. 02:53
미스테리..strict=False 하면 되야하는 거 아녀..? 원래 vision checkpoint는 model 내에서 loading 했었는데, base model checkpoint로 finetuning하려고 load_state_dict하면서 strict=False해도,vision checkpoint 내놓으라고 해서.. model 내에서 loading하던 거랑 똑같이 해줬는데, glob.glob도 못읽고.. 그래서 hard coding해서 주소 넣어줬는데, 또, strict=False 안하고, mismatch나서.. 그래서 결국 내가 어떻게 했냐면.. ㅋㅋㅋㅋㅋ "vision_tower.vision_model.embeddings.patch_embedding.weight", "vision_tower..