issue #1

이 난관을 어떻게 타개할 것인가

 

batch 내에 image를 input으로 넣어주다보니, memory를 무섭게 잡아먹어서

training이 지속되지 못하고 중단되는 현상이 발생한다.

 

input image를 읽은 후에 객체를 del하고 garbage collect를 해주어도 

memory 용량은 계속 줄어든다.

 

아마 뭔가 내가 할당된 memory를 완전히 반환하도록 하는 방법을 제대로 모르는 것 같다.

그리고 설령, 그 방법을 찾더라도,

이 작업을 data_loader의 batch마다 해주는 것만으로도 엄청나게 training 시간이 길어진다. 

 

결국 memory 용량 부족으로 중단되기 전까지의 loss를 보면,

학습은 잘 이루어지는 걸로 보인다. 

 

image를 prompt에 넣어서 추가 정보를 주는 게 내 모델의 핵심인데..

이 난관을 어떻게 해결할 것 인가 ㅠㅠ

 

처음 모델링을 하였을 때 별 문제가 없었던 건, image로 만들어서 input으로 넣어준 게 아닌,

그냥 conv2d로 훑어서 정보를 넣어주었기 때문이다.

 

그런데 Siglip으로 image를 읽어서 좀 더 풍부한 context를 넣어주고 싶어서 

새롭게 시도를 하였더니 이런 issue가 발생!

 

그냥 원래로 돌아가? ㅋㅋㅋㅋ

 

option 1. 원래로 돌아가. (그러기엔 Siglip이 포기가 안돼. 나 이거 진짜 궁금하단 말야. Siglip이 읽어온 정보가 도움이 되는지)

 

option 2. dynamic하게 image를 넣어주지 말고, 단일 prompt로 넣어줘 (기존 model들이 prompt하는 방식)

 

option 3. 이 상태에서 방법을 찾아내. -> best! (하지만 방법을 모르겠음 ㅋㅋㅋㅋ )

 

어떡하지?

 

누구한테 조언을 구할까 ㅠㅠㅠㅠ