Agentic World.

주말 내내 한 거라곤

MIMIC data와 씨름한 거 뿐이라니..

이거 실화인가요?

 

이번 주는 GPU 예약이 다 차있어서, GPU를 사용할 수 없기 때문에,

주말에 최대한 MIMIC experiment까지는 가보려고 했지만,

 

예상대로.

각오했던대로.

MIMIC data는 만만치 않다.

 

주말 내내 MIMIC data와 씨름한 거 "뿐"이라고 치부할 수 없다.

이 작업이 매우 큰 비중을 차지한다.

이 허들을 넘지 못하면.. 아예 실험이 불가하니까...

 

너무 골치아픈 작업이라서, 피하고 싶었지만, 

모든 선행연구가 MIMIC으로 evaluate했기 때문에 어쩔 수가 없다.

이걸 안하면 이상해진다..

딱히 다른 대안도 없다. CVSim도 생각해봤지만, code를 from scratct로 구현해야하는데.. 자신없다.

 

단순히 download해서 processing하는 게 끝이라면 그저 시간의 문제일 뿐이겠지만, 그렇지가 못하다.

extract code는 이미 상당히 오랜 시간이 지났기 때문에, deprecated 되었고,

claude code가 계속해서 대안을 찾아서, 해결하는 과정의 연속이다. 

 

아무튼, 여전히 data processing 중이다.

계속 trial & error로 claude code가 작업 중이다.

completed!

드디어 Baseline들 tuning부터 시작했다! 

 

claude code 왜이렇게 멋지냐 ㅋㅋㅋ 헐

결국 해결해내네.

 

주의할 점이 있는데, 저번에도 글을 썼지만, 중간 중간 process check를 해야한다. 

claude code가 별 생각없이, process 잘 진행 중이라고 말해도, expected time을 물어본다던지, log를 찍어달라던지, 아무튼 output을 내도록 해서, 실질적으로 checking 을 하도록 유도해야 한다. (진짜 중요!!)

 

왜냐하면, 그렇지 않았을 경우, stuck 되어있는 상태를 발견하지 않고 몇 시간을 그대로 날리는 수가 있기 때문이다. 

 

이거 이번 논문작업에서 여러번 경험했다. 

 

mimic data processing에서도 query 하나가 걸렸는데, 결국 claude가 해결하긴 했지만, 내가 계속 의문을 제기하지 않았다면, 마냥 죽때릴 뻔했다.

---

논문과 별개의 얘기를 해보자면,

이번 논문을 쓰면서 agent의 세계를 찐 실감나게 체험 중이다. 

 

claude code는 나와 같이 작업을 하면서 history를 기억하고, discussion 하면서 코드를 구현하고 실행한다. history를 기억하기 때문에, 앞선 결과와 새로운 결과를 비교해주고, insight를 주고, 대안을 제시하기도 한다.

 

작업 과정에서 문제가 생기면, 원인을 찾고, 해결책을 생각하고, 탐색하고, 필요하면 웹 검색도 한다. 처음 시도가 실패하면, 또 다른 대안을 찾아서 시도하고, 성공할 때까지 반복한다. 

 

이건 정말 굉장한 능력이다. 

 

위에서 언급했듯이, claude code가 아니었다면, 나는 mimic experiment를 아예 할 수가 없었다.

data를 extract하는 code는 이미 너무 오래되었는데, 그 script의 sql문들의 오류를 일일이 검색해서 수정해가며 data를 processing한다? 불가능이다. 

 

이뿐만이 아니라, 아예 이번 논문의 전체 실험 자체가 불가능했을 것이다. 

hyperparameter tuning은 반드시 필요한 절차인데, (앞선 모든 선행 연구가 이 과정을 거쳤다. fair comparison을 위해서). 나만 안하면 이상해지는? 말도 안되는 상황인데, ray tune version matching에 실패해서, 시도를 하다하다 안되서 포기하고 있는 상태였다. 

claude code는 몇번의 시도로 이를 해결하였다. 

 

GPT는 논문을 쓸 때 상당한 에너지를 소모하는 작업들 - 내가 말하고자 하는 바를 영어로 논문스럽게 표현하는 것, 수식을 latex로 입력하고, table을 latex로 입력하는 것 등 - 으로 부터 자유롭게 해주었다. 

이는 연구자 (특히 비영어권)들에게 엄청난 효율을 가져다 준다.

(심층적인 작업도 함께 하지만, 이는 생략)

 

Claude code는 coding작업의 부담감으로부터 해방시켜 주었다.

이는 엄청난 것이다. 

 

논문을 읽을 때, 구현된 코드들을 보면서, 절망감을 느낀 적이 한두번이 아니다. 왜냐하면 컴공 전공이나, 기본적으로 coding background가 상당하지 않은 이상, 내가 원하는 idea를 실제로 구현하는 게 쉽지 않기 때문이다. 심지어 선행연구를 재현하는 것조차도 말이다.

 

이러한 기본적인 허들을 치워줬다는 건 센세이션이다.

 

앞으로 top conference에 제출되는 paper가 폭발적으로 증가할 것이라고 예상해본다. 

 

실질적인 예가, 바로 이번 논문 작업을 하는 "나" 아닌가!?

---

말이 길어졌는데, 아무튼간에, 무사히 MIMIC 실험을 시작했다.

이 blog 쓰는 동안, claude code가 내 앞에 놓인 hurdle을 치워주고, 실험을 시작했다!