vision prompting 결과에 대한 고찰

처음 의도했던 것은 univariate만을 고려하는 foundation model의 한계를 극복하고, variate 간의 complex correlation을 고려할 수 있도록 vision prompting을 넣어주는 것이었는데, 이는 input dimension이 엄청 증가한다는 것을 의미하고, 결국 구현 상의 한계를 뛰어넘지 못했다.

 

대신 static한 covariate 정보를 넣어주었는데, 기존에 의도한 바를 구현하는 과정에서 하도 삽질을 하고 고통을 겪어서인지, 상당히 쉽게 느껴졌다. 

 

그러고도 결과를 크게 기대하지 않았었는데,

 

오히려 무거운 vision encoder와 vision projector가 붙어서, (물론 pretrained된 siglip parameter를 가져왔지만 - specifically, aligned through VLM) optimizing이 느려지지 않을까 걱정을 했다. 

 

surprise!

 

vision prompting을 하면 더 빠르게 수렴을 한다!

 

동일한 epoch을 돌렸을 때, 더 낮은 loss를 보였다.

특히, horizon length가 길어지면, training data가 적어지면 더 유효한 결과를 보인다. 

 

신통방통.

LLM이 visual information 을 받아서, time series forecasting에 사용한다. @.@

 

사실 정말로 논문으로 명세화할 만한 가치가 있는 실험 결과인지는 잘 모르겠지만,

(물론 나의 귀중한 첫 논문으로 쓸 거지만)

 

이 실험결과는 나에게는 엄청난 사건이다!

 

왜냐하면.. 이 아이만 가지고 현업에 복귀해도 한동안 먹고 사는 데 지장이 없을 만큼 강력한 결과이기 때문이다.

 

이 아이는, 얼마든지 변형을 해서 variation을 만드는 것이 가능하다.

 

예를 들어서, 

 

vision, text prompt 조합으로, time series forecasting or classification 등을 하도록 tuning한 후에, 

 

"전국 단풍지도", "전국 벚꽃지도" 같이 개화시기, 단풍 절정 시기를 알려주는 것도 가능하고

 

불쾌지수, 전력지수, 꽃가루 지수, 안개위험도 예측, 교통사고 다발지역 사고 위험도 예측 등등 

 

정말 무궁무진하게 활용이 가능하다. 

 

큰 공수 없이도 특허 출원도 상당히 가능할 것 같다. 

 

좀 규모를 크게 키우면, CCTV 혹은 위성, 레이더 영상 결합해서 time series forecasting하도록 만들어서 

슈컴에 작업 제출할 수도 있을 것 같다.

 

사실, 이번에 실험하면서 처음에 사용한 데이터도 농작물 수확량, 농작물 출하가격 등을 예측하는 거였다. 

 

해보니 잘 한다.

 

귤, 당근, 마늘, 배추 등등 사진 넣어주면 전국 공판장의 출하가격 시계열 예측 잘 한다. 

 

귤 캐릭터 사진 넣어주고 어떻게 예측하나 보고, 정신 못차리고 막 이런 장난질 치다가..

"정신차려. 지금 논문 쓰는 중이야!"

"음, 그래. 진지해져야지."

 

근데, 귤, 당근, 마늘, 배추 사진 보니까 도저히 진지해지지가 않아서.. ;; 

이 사진들을 논문에 넣는다고 생각하니 너무 유치뽕짝이라.. ;;

 

건물 유형에 따른 전력 수요량 예측 데이터로 바꾸었다.

 

바꾼 게 상당히 유효했는데, 실제로 시계열 그래프를 찍어보면, 유형에 따라 다른 시계열 pattern을 보인다. LLM이 이 정보를 이용하는지 확인하기에 아주 적합했다.

 

다만, 이게 좀 쉬운 시계열이라서, visual information 정보의 유무에 따른 gap을 좀 크게 벌여서 명확히 확인하기 어려웠다는 게 아쉬웠던 점.

 

※ 잊기 전에 기록해놔야지!! 

- 실수로 pre-trained base model weight으로 update하는 걸 주석처리 해제하는 걸 깜박해서, vision-prompting model를 from scratch로 돌렸는데, 

나중에 이걸 확인하고 "이런 된장" 하면서 weight update해주고 다시 돌렸다.

 

그러고 나서 결과를 보니, 확실히 pre-train한 후에 vision prompt로 fine-tuning 하는 게 성능이 훨씬 좋다. 

 

어쩌다보니 정말 우연하게, two-stage training의 효과를 확인한 셈이다!

 

재미있는 사실은, 이렇게 two-stage로 training한 것이, 의도한 바가 아니라, 궁여지책이었는데, 어쩌다보니 상당히 효율적인 방법이 되었다. ;;;; ㅎㅎㅎ

 

논문이랍시고 부산스럽게 구는데, 혼자 고분분투하니까, 

하늘에서 보고, 불쌍히 여겨서

"옛다 이거나 받아 먹어라" 하고 ㅋㅋㅋ

하나 던져주신 건가..? ㅋㅋㅋㅋㅋ ㅜㅜㅜㅜ

 

논문에는.. 원래 의도한 것인냥 "Our novel two-stage training protocol facilitate efficient integration of modalities.. 블라블라 .. " 써야지 ㅋㅋㅋㅋ