밤에 쓰는 편지 밤에 쓰는 편지

Offline RL을 공부하며 전개했던 아래의 생각과 의문점들이 맞았다. Offline RL paper에서도 counterfactual inference의 필요성, 그리고 그를 위한 model-based approach의 필요성을 언급하고 있다. Neural CDE로 counterfactual inference를 한 paper의 접근법이 적절하다는 것이다! (※ 참고로, 동일한 MIMIC III dataset으로 offline RL 방식으로 접근한 (q-learning, actor-critic) paper들도 있다.)https://arxiv.org/pdf/1711.09602https://arxiv.org/pdf/1704.06300https://arxiv.org/pdf/1807.01473Neural C..

신상은 못 참지 주입식 교육하기로 맘 먹은 거 어떻게 아시고이렇게 시기적절하게신상 강의를 올려주시나용? 데헷 문교수님께서 강의하시는 NF라니! 얼핏 살펴보니 역시 unique하다..! theory 깊이가 다르다.. ㅎ CNF까지 가주심 오옷 역시 역시.CNF까지 가는 NF 강의를 본 적이 없다. 대체 왜 인교..!? 역시 문교수님께서는 Neural ODE를 다뤄주신다. (난 진짜 놀랐던 게, GAN에서도 그 정도의 theory를 다뤄주는 강의를 본 적이 없다. W-GAN, MMD-GAN loss function 왜 그렇게 나온 건지.. 아무리 찾아도 없어서 속 터져나가는 중에 교수님께서 구원해주심. 교수님, 은혜 평생 잊지 않을께요..ㅎㅎ) 이번 강의 시리즈도 즐겁게 열공하겠습니다 헤헤 나중에 후기 ..

뭐니뭐니 해도 저자 직강!https://www.youtube.com/watch?v=TGfGiBhDEi0&t=771s https://www.youtube.com/watch?v=lT3cmlKUyJY 밥을 떠먹여주신다. 9첩 반상으로 차려주셨다."뭘 좋아할지 몰라서 다 준비했어" 느낌이랄까..?정말로 다양한 application과 research topic을 생각해볼 수 있겠는데, 대충 정리하자면 다음과 같다.Neural Diff Eqn에 갓 입문한 '뉴비'라면..1. 기존의 modeling에 Neural Diff Eqn 적용 혹은 짬뽕 (hybridizing)e.g.) theory-driven + data-driven modeling or mathematical modeling + neural networ..

(2019 NeurIPS)https://arxiv.org/pdf/1907.03907(2020 NeurIPS)https://arxiv.org/pdf/2002.10516(2021 ICML)https://arxiv.org/pdf/2102.03657Latent ODE: VAE로 trainingCTFP: Normalizing Flow로 trainingNeural SDE: GAN으로 training Latent ODE: diffusion term 없음. drift term만 있음. CTFP: strongly diffusive modelNeurl SDE: drift + diffusion. 가장 포괄적이면서 우수한 modeling capability흥미롭지 않은가요? 저만 흥미로운가요?

https://www.youtube.com/playlist?list=PLzZ7PPT4KK5oQ4io5Fead9j_ksLIokrri 인공지능 및 기계학습 심화3이번 강의는 Deep Generative Model의 두 가지 잘 알려진 형태인 Variational Autoencoder와 Generative Adversarial Network를 다루고 있습니다. 누구에게 지식을 가르쳐 줄 때, 우리는 어떻게 지식이 정확히 전달되었www.youtube.com 정말 잘 가르쳐주신다. 작년에 이어서 두 번째 수강인데, 확실히 더 잘 이해된다. 교수님보다 Wasserstein-GAN 더 잘 설명해주는 reference를 보지 못했다. 거의 전 지구를 통틀어 최고인 듯 ㅎㅎ 교수님, 감사합니다! 앞선 시리즈에서 이어..

Neural SDE를 어떻게 training할 것인가.즉, model이 generate한 distribution이 empirical data distribution을 approximate하기 위해 Neural SDE를 Generative Time Series model로 보고 Wasserstein GAN을 이용한다.(KL-divergence로 하면 latent SDE가 된다.) (※ 논문에서 제시한 버전은 이 두가지인데,MMD GAN으로 하면 어떨지 궁금하다. - 이 실험이 이미 publish됬는지 찾아봐야겠다) 아이디어가 너무 신박하고 Neural Diff Eqn을 통틀어서 꽃이라고 보인다. Wasserstein GAN에서 discriminator가 sample path를 input으로 받고, scor..

ODE가 continous time version of ResNet이듯이CDE가 continous time version of RNN이라면, CDE는 또한, SSM (Mamba)의 continous time version이 되지 않을까?그럼 SSM로 modeling한 걸, CDE로도 풀 수 있지 않을까? 그리고 CDE는 observation을 interpolation해서 continous path를 만든 다음에 이 continous representation of observation 에서 hidden state path 로 mapping하잖아. 그럼 interpolation scheme을 gaussian process로 하면 더 좋을 것 같은데.