base model의 zero-shot & in-distribution 성능에 대한 고찰

생각보다 성능이 잘 나와서 사실 다소 놀라웠다.

 

하지만 이걸 단순히 성능적으로 우수하다고 성급하게 단정지을 수는 없다.

 

foundation model들은 generalization을 목적으로 any task, any context length, any prediction horizon을 지원하는데 초점을 두고 마치 LLM처럼 대량의 학습을 시켜서 versitle하게 만든 후에 downstream task에 바로 가져다 쓸 수 있게 size 별로 제공을 하고 있다. 

 

이에 비하면 나의 모델은 flexibility가 떨어진다고 할 수 있다.

 

만약 benchmark 성능만을 목적으로 한다면

한 놈만 패는 specialist들, transformer based model 혹은 심지어 MLP-based, linear model이 더 좋은 성능을 보여주기도 한다. 

 

하지만 relatively small num of params / training steps / training corpus, 딱히 최신 기법으로 무장하지 않은 model variant 만으로도 기존에 LLM이 가진 knowledge base로부터 TS forecasting에서 꽤나 우수한 zero-shot performance를 보여준다는 사실은 흥미롭고 고무적이다.

 

앞선 연구들은 LLM의 TS forecasting zero-shot performance를 benchmark 내에 cross-dataset 만으로 보여주었기 때문에, 완전히 다른 대량의 학습용 corpus로 training 한 후에 zero-shot performance를 측정했다는 점에서 의미가 있는 결과인 것 같다. 

 

좀 신통방통하기도 한데, 확실히 LLM이 가지고 있는 universal compute engine 혹은 pattern recognizer로서의 capability를 잘 깨워주기만 한다면 (TS embedding을 LLM이 인식하고 reasoning할 수 있는 text embedding에 잘 align시켜준다면) LLM이 잘 하는 거 - next token prediction으로 TS forecasting도 역시 잘 해낼 수 있다는 걸 보여주는 결과인 것 같다.

 

다행인 것은 이번 연구에서 핵심적으로 진행하고자 하는 실험의 기본 여건은 갖춰졌다. 이 사실에 감사하며.. ㅠㅠ

이제부터가 좀 여렵다.. ㅠㅠ

많은 기대는 하지 않고 있는데, 여러 가지 고민되는 점들이 있지만, 

우선 해보고.. 수정해보고.. 

그래야지 뭐..