NeurIPS_26
-
★ mimic results ★NeurIPS_26 2026. 4. 9. 10:24
앞선 글에 언급했듯이, g-head를 training 시키는데 상당한 memory와 time이 요구된다.이게 가장 큰 bottleneck이 될 것 같다. 이에 대한 언급은 appendix implementation details 에 첨부하게 될 것 같다. 사실 이것 말고도 약점은 많다.이것저것 다 따진다면, 이렇게 longitudinal setting에서의 foundation model을 만든다는 것 자체가 말이 안될 것이다.. 시도에 의의를 부여한다면,나의 논문도 의미가 있을 수 있겠다..그냥 이거 하나에 희망을 걸고 있다. (정말 솔직한 심정임 ㅠㅠ) mimic 결과는 예상과 비슷하다. g-head를 싹 다 무시하고, 최종 inference를 하는 g-head[0]만 training했을 때, sot..
-
Training g-comp heads & issueNeurIPS_26 2026. 4. 7. 21:13
진정한 기다림의 시간이 시작되었다.. mimic pretraining이 끝나려면, 3일 이상 about 39hrs 시간이 필요하다....!! backbone training은 진작 끝났다. tumor model 보다 2배 이상의 size인데도, 생각보다 많은 시간을 소요하지 않았다. 문제는 g-head들이다.. projection horizon에 따른 g-head들을 순차적으로 training 시키는 것이 상당한 시간을 소요한다.메모리 이슈도 바로 이 g-head에서 온 것이다. 배보다 배꼽이 더 크다고,backbone에 비해서 head는 미미한 size라서 아주 작은 portion을 차지하고,실제로 g-head[0] 을 제외하고 나머지 head pretraining을 하지 않았을 때에도, tumor과..
-
★ Tumor Results! ★NeurIPS_26 2026. 4. 7. 14:56
현재 MIMIC pretraining 중이다. 거의 24 hr 걸릴 것 같다. ~39 hrs (~1.5 days...)최종적으로 MIMIC 결과가 나와야, 본 논문의 실험 성공 여부를 확인할 수 있지만, 첫번째 실험인 Tumor growth dataset은 sota를 달성했다. 모든 baseline을 확실하게 앞질렀고, backbone인 CT와 IGC-Net 또한 앞질렀다.zero-shot 만으로도 그렇고, few-shot은 더욱 그렇다.few-shot은 full training의 10%만으로 이미 full fine-tune의 성능에 도달한다.모든 confounding strength에 있어서 robust하다. 가장 핵심을 MIMIC이다. MIMIC 또한 성공하기를 간절히 기도해본다.
-
-
-
mimic results & issuesNeurIPS_26 2026. 4. 6. 10:45
신기하게도 결과가 좋다. zero-shot results가 igc-net full training 과 비슷하고, ct 보다 조금 우수하다. 다만 few-shot으로 가면 좀 애매해진다. 원인이 다음과 같다. 1. 아직 evaluation 중이라서, 마무리 되면, 96GB GPU로 이사하는 것이 가장 급선무이다. 메모리 부족으로 few shot은 batch size = 8 로 train & evaluate 하고 있어서, 정확한 결과치로 보기 어렵다. pretraining은 batch_size=64로 했다. 사실 이것도 메모리 때문에 작게 잡았다. 2. 완전히 틀렸다고 볼 순 없지만, 엄밀히는, pretraining이 잘못 구현되었다.모든 g-computation head를 training하지 않고, ..
-
surprising results & memory issueNeurIPS_26 2026. 4. 2. 19:58
cancer sim task (tumor growth) 에서 놀라운 결과가 나오고 있다.깜짝 놀랄 정도이다. 아직 다 집계하지 않았지만, zero-shot 만으로도 on par, superior 하다. few-shot 과 fine-tune도 superior하다. 이는 몇 가지 요인이 합쳐진 결과인데, 1. backbone - CT:워낙 잘 만들어 놓으셨다.2. g-computation head:IGC-Net은 CT를 backbone으로 해서 g-computation head를 달아서 confounding bias를 adjust한다. 이 역시 기똥차게 만들어 놓으셨다.3. 강화된 pretrain dataset- 초기 버전은 Markovian이었다. (내가 naive하게 만든 것). New 버전은 Non-m..
-