Patrick Kidger ♡

뭐니뭐니 해도 저자 직강!

https://www.youtube.com/watch?v=TGfGiBhDEi0&t=771s

 

https://www.youtube.com/watch?v=lT3cmlKUyJY

 

밥을 떠먹여주신다. 

9첩 반상으로 차려주셨다.

"뭘 좋아할지 몰라서 다 준비했어"  느낌이랄까..?

정말로 다양한 application과 research topic을 생각해볼 수 있겠는데, 대충 정리하자면 다음과 같다.

---

Neural Diff Eqn에 갓 입문한 '뉴비'라면..

1. 기존의 modeling에 Neural Diff Eqn 적용 혹은 짬뽕 (hybridizing)

e.g.) theory-driven + data-driven modeling or mathematical modeling + neural network architecture

2. Complementing PINN

(※ caution - This is my 'personal' interpretation & opinion!)

PINN이 hot하지만, neural network가 solver의 역할을 하는 PINN의 한계를 Neural Diff Eqn가 극복할 수 있다.

 

(이거 나만의 해석이므로 주의! 여기서 solver라고 해석한 건, 내 편한 해석이다. numerically integrate한다는 게 아니라, solution을 구하는 역할을 한다는 뜻이다. data fitting을 통해서 optimize한다. )

 

왜냐하면 굉장히 복잡한 modeling으로 들어갔을 때는 dynamic을 explicit하게 명시하기 어려워질 수 있기 때문이다. 이렇게 vector field 자체를 정의하기 어려울 때는 neural diff eqn을 통해서 vector field를 구한 후에 전형적인 PINN의 적용을 고려해 볼 수 있다. 

 

그러니까, vector fileld를 neural network로 modeling하는 Neural Diff Eqn가 좀 더 근본적인 접근이라고 할 수 있겠다.

 

=> 이렇게 modeling을 할 때는 굉장히 다양한 domain을 생각해 볼 수 있겠는데,

engineering, physics, climate science, epidemiology, neuroscience, pharmacodynamics .. 무궁무진하다.

 

TMI: 만약 내가 기상청 재입사를 고려한다면, 기존의 수치 모델링 하나 잡고, neural diff eqn으로 푼다면, 면접 보러 가서 썰을 풀 수 있다. (이 뿐만 아니라, 아마 근무하며 두고두고 neural diff eqn 써먹을 것이다.. 엄청난 toolbox! 사골곰탕처럼 평생 우려먹을 듯)

 

다만 가장 큰 함정은 어느 분야던 domain knowledge가 필요한데 이 domain knowledge가 굉장히 tricky하다. 

 

근데.. 밥을 이 정도로 차려주셨는데.. 그 정도의 수고도 안하는 건 좀.. 

---

'올드비'라면.

1. Difficult Time series problem - irregular data, long Time series, Discontinuity

c.f. TS forecasting seq-seq model: encoder (neural CDE) - decoder (neural SDE)

※ My research interests!

2. Causality

이거 굉장히 흥미로운 연구주제인데, causal inference를 GP로 modeling한 paper들이 있는데, 아래 post에서 보듯이 CDE로 counterfactual estimate을 한 것이 performance가 훨씬 우수하다. (confounding bias를 treat할 수 있고 robust하다!)

※ My research interests!

3. RL 

dynamics를 CDE로 modeling해서 agent를 training 할 수 있고, 이를 control theory에 접목 가능.

※ My research interests!

(참고: RL -> control https://www.youtube.com/playlist?list=PLetSlH8YjIfVr8PQ11ZPPf5zn2t_0lvGO)

4. Modifying CDE / SDE modeling or training procedure

- Interpolation schme - Gaussian process?

- matching model against data (paper suggested.. Wasserstein distance / KL divergence) -> 

classical calibration approach, using fixed statistics, may be employed in conjunction with neural vector fields.

=> formulation of an MMD (feature map selection과 signature transform에 대하여 생각해볼 수 있다)

※ My research interests!

5. GP <-> Neural Diff Eqn 

※ My research interest! (GP -> CDE/SDE modeling)

6. Modeling PDE

※ My research interests!

7. Neural Rough Diff Eqn

- 이거 적용해보고 싶은데 미지의 영역임. 어려워.. 누가 저 좀 이해시켜 주세요.. 

※ My research interests!

---

'고인물'이 됬다면..

1. improving training efficiency

2. advanced solver

e.g. reversible solver를 좀 더 stable하게 

3. generalization & Theory 정립

4. connection with deep learning architecture

e.g. 논문에서 제시한 Resnet, RNN(GRU, LSTM), StyleGAN, Diffusion models, Coupling layers in invertible neural network 과의 connection 외에 다른 architecture와의 connection을 찾아보기 

(예를 들어, Transformer. 나는 SSM (Mamba)와의 connection을 찾을 수 있을 거라고 생각함)

e.g. 혹은, Generative modeling과의 connection 정립 (Flow-based, score-based). 반대로 Neural Diff Eqn로 Generative modeling

e.g. 반대로, Diff Eqn을 discretize해서 deep learning architecture 만들기 

5. Modeling new pheonomenon 

---

심지어 software까지 제공해주심. 

이 또한 Torch, JAX 다 차려주심..

 

논문 중간 중간에 Diffrax 에 대한 깨알 자랑을 심어 놓으심.. ㅎㅎ 귀여우셔 >.< ㅎ

 

Patrick Kidger에게 심심한 감사를 전합니다..!

---