mimic results & issues

신기하게도 결과가 좋다.

 

zero-shot results가 igc-net full training 과 비슷하고, ct 보다 조금 우수하다. 

 

다만 few-shot으로 가면 좀 애매해진다.

 

원인이 다음과 같다. 

 

1. 아직 evaluation 중이라서, 마무리 되면, 96GB GPU로 이사하는 것이 가장 급선무이다. 메모리 부족으로 few shot은 batch size = 8 로 train & evaluate 하고 있어서, 정확한 결과치로 보기 어렵다. pretraining은 batch_size=64로 했다. 사실 이것도 메모리 때문에 작게 잡았다. 

 

2. 완전히 틀렸다고 볼 순 없지만, 엄밀히는, pretraining이 잘못 구현되었다.

모든 g-computation head를 training하지 않고, inference에 쓰이는 마지막 head (0)만 training한다. 

 

그래서 결국, zero-shot에서는 어차피 head (0)만 쓰이는 것이기 때문에, 문제는 없지만, 중간단계가 사라졌다.

그리고, few-shot에서는 head (1~5)는 from scatch에서 training하게 된다. 

 

그런데, 논문에 제시한 수식은 모든 head를 training한 후 순차적으로 pseudo-outcome을 받아서, 최종적으로 head (0)에서 inference하는 것이기 때문에, 다시 구현해서 실험을 다시 하는 것이 정확하다. 

 

코드 뜯어보기 전까지는 아무도 모르는 것이고, 결과도 나쁘지 않지만, 엄밀하게 정확하지는 않다.

 

어차피 96GB GPU에서 새로운 마음으로 다시 batch size 잡고 코드 수정해서, 최종 experiment 진행해야 한다.