normalizing flow는..

봐도봐도 새로워..

분명히 이해한 거 같은데

코드를 보면 또 신기하고

 

이게 돼? 싶구.

 

Pieter Abbeel 교수님이 NF lecture에서 하신 말씀,

몇 년째 강의를 하지만,

강의를 할 때마다 일주일 전부터 "이게 어떻게 되지?" kind of magic 같다고..

스스로 convincing하기 힘들다고 하신 말씀.

 

왜케 위로가 되지? ㅎ

 

이걸 이해하신 분들은 천재적 두뇌를 타고나신 분들 같아.

이런걸 생각해내신 분들도 그렇고.

 

diffusion등에 비해서 

몇 년 째 획기적인 변화가 없었던 이유는 사람들이 옳바른 방향을 제대로 찾지 못한 것 같다고 말씀하셨는데,

 

나는 정말 놀라웠던 게,

사실 score-based model (diffusion을 포괄하는) 도 결국

neural ODE의 일종이고,

neural ODE와 FFJORD가 아주 진작에 나왔는데, 

 

내 개인적으로는 엄청 중요한 논문이라고 생각되는데

다른 논문에 비해서, 언급되는 걸 거의 보질 못했고

 

지금 flow-matching 으로 이어지기 까지 상당한 시간이 흘렀다는 게 놀라웠다.

 

그러니까 결국 Fokker-Planck Equation으로 귀결된다는 건데

 

마치 한라산을 등반할 때

영실 코스로 가든, 관음 코스로 가든 종착점은 같은데

가는 길의 난이도와 보이는 풍경이 다르듯이

 

diffusion과 score-based model이 equivalent함을 보였듯이

flow-matching도 궁극적으로는 equivalent하겠구나 하는 것이

 

나의 호기심을 엄청 자극했던 것 같다.

 

작년에 generative model 수업시간에

normalizing-flow 너무 어려워서 하나도 이해 못했었다..

이거 수업만 청강하고 싶다고 교수님께 말씀드려볼까?

 

이제는 공부했기 때문에, 다시 들으면 이해할 수 있을 것 같은데..

흠.. 허락해주실까..