-
멘붕Paper Writing 1/Experiments 2024. 10. 28. 22:26
아 진짜 우울하다..
좌절 그 잡채.
기껏 코드 잘 짜놓고 다 잘 돌아가는데..
Siglip을 갖다 붙히기만 하면 너무 무거워져서.. training 시간이 엄청 길어지고, memory를 계속 잡아먹어서 학습을 진행할 수가 없다.
vision_prompt=False argument 받아서, vision_prompting 기능을 turn off 해버려서, dataloader batch내에서 image 처리 하지 않도록 하고, model에서도 vision tower build하지 않도록 해도, (그래서 base model만 돌아가도록 해도) siglip이 붙어있는 거 만으로도 엄청나게 느려진다.
base model 만 training한 checkpoint를 가져온 후에, vision_prompting 기능을 turn on해서 fine-tuning하는 추가 학습을 생각해봤는데, model에 load_state_dict하려고 하면, vision tower state dict도 가져오란다.
아 어려워 ㅠㅠㅠㅠ 이것이 나의 한계인가보다.
그냥 포기?
우짤까...
base model은 그냥 기존 연구잖아. 새로울 거 없고.
어어허ㅏㅇ허어어어엉하어허어어ㅏㅎ아 머엉 어ㅓ엏 ㅓㅇ어ㅓㅇ엉어얻허ㅏ어허허허허헣ㅇ허유ㅠㅠㅠㅠㅠㅠ
그냥 다 내려놓고 나 걍 훌쩍 떠나고파. ㅠㅠㅠㅠㅠㅠㅠㅠㅠ
진작부터 생각한 건데, 나는 아무래도 연구 재목이 아닌 거 같아. 억지로 이렇게 한다고 뭐가 되려나.
지금이라도 다 때려칠까?
아.. 진짜 너무 뱅기 타고 제주 가버리고 싶다.
회사 관두고 대학원 올 때.. 과장님들께서, 박사 마치고 오라고 석사는 너무 흔하다고 하셨는데..
(순화한 표현이고, 사실 "석사는 dog나 cow나 하니까, 박사 마치고 와라"하셨는데..)
나 아무래도 dog도 cow도 안 되는 거 같아 ㅠㅠㅠㅠㅠ
오늘 왜이렇게 힘이 들지..?
내일 좀 일찍 학교 가서 백양로 걸으면서 머리 좀 비워야 겠다.
'Paper Writing 1 > Experiments' 카테고리의 다른 글
change log + issues + thinking about recent advancement of Time Series FMs (0) 2024.11.02 strict=False (0) 2024.10.30 [breaktime] LLM's pattern recognition (0) 2024.10.28 Sanity check (1) 2024.10.27 Glimpse of dataset - (2) real-data (0) 2024.10.27