surprising results & memory issue

cancer sim task (tumor growth) 에서 놀라운 결과가 나오고 있다.

깜짝 놀랄 정도이다.

 

아직 다 집계하지 않았지만, zero-shot 만으로도 on par, superior 하다. 

few-shot 과 fine-tune도 superior하다.

 

이는 몇 가지 요인이 합쳐진 결과인데,

 

1. backbone - CT:

워낙 잘 만들어 놓으셨다.

2. g-computation head:

IGC-Net은 CT를 backbone으로 해서 g-computation head를 달아서 confounding bias를 adjust한다. 이 역시 기똥차게 만들어 놓으셨다.

3. 강화된 pretrain dataset

- 초기 버전은 Markovian이었다. (내가 naive하게 만든 것). New 버전은 Non-markovian case와 더 다양한 nonlinearity 등등 필요한 모든 요소를 때려 넣었다. (이건 거의 GPT-pro의 작품).

---

해결해야 할 문제!!

문제가 있는데, 모델 사이즈를 키우다 보니, OOM error가 발생한다.

batch size를 16까지 줄여서 evaluation 하고 있다 ;;;;;;;;;;;;;;;

 

baseline들의 val_batch_size 가 512 인데, training과 test를 모두 batch_size=16으로 하는 건 좀 문제가 있다 ;;;

 

진짜 문제는 MIMIC에서이다.

 

mimic은 훨씬 size가 큰데.. 흠.. 이걸 해결할 수 있을까?