밤에 쓰는 편지 밤에 쓰는 편지

https://language-agent-tutorial.github.io/ EMNLP 2024 Tutorial: Language Agents: Foundations, Prospects, and RisksIn the past year, AI agents based on large language models (LLMs) have rapidly become one of the most exciting yet controversial topic. Some think it's the next big thing, while others think these agents are just thin wrappers around LLMs. In this tutoriallanguage-agent-tutorial.gith..

https://huyenchip.com/2025/01/07/agents.htmlIntelligent agents are considered by many to be the ultimate goal of AI. The classic book by Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach (Prentice Hall, 1995), defines the field of AI research as “the study and design of rational agents.” The unprecedented capabilities of foundation models have opened the door to agentic..

I have covered...* Real Analysis* Linear Algebra* Mathematical / Asymptotic Statistics* Bayesian Statistics* Bayesian Neural Network (especially, Gaussian Process)* Differential Equations (ODE, PDE)* Flow & Score-based ModelsNext, I will cover...* LLM / Agent* RL* Causality5주 정도 보냈나?거의 수학으로 점철됬네.공부하고 싶은 게 더 있는데 힘들어서 도저히 안되겠다.다음 방학에 마저 공부하자. 학점 채우고 졸업하려면 5학기 당첨이다. 5학기를 넘기지는 말자. 즉, 한 번의 방학이 더 남았다..

역시 Neural ODE에서 출발한다. probability path의 dynamics (vector field, FM에서는 velocity field라고 표현함)를 Neural network가 학습한다. 즉, FM 또한 Neural ODE이다. 학습한 후에는 그 dynamics를 따라서 integrate해주면, sample generation을 할 수가 있다. 차이가 있다면 CNF (Neural ODE)에서는 parameter update를 위한 loss gradient를 Backward ODESolve (Adjoint method)로 구했는데 FM에서는 명시적으로 probability path (p_t)의 target vector field u_t 와의 MSE loss를 minimize하도록 o..

지극히 개인적인 생각인데, Neural ODE는 정말 획기적인 발명품이자,generative model의 주요 modeling strategy의 근간이 되는데, 생각보다 reference를 많이 보지 못해서 의외였던 paper이다. discrete layer 에서 continuous form으로 새로운 architecture를 제시했다는 것도 그렇고, Backpropagation 없이 ODESolve의 forward/backward만으로 end-to-end training이 가능하다는 것,특히 Time-series, generative model에서의 application이 가능하다는 것이 매우 흥미롭게 다가왔다.★ 아래 동영상 강추!! ★Neural ODE를 이해하기 위해 꽤 많은 reference..

Generative model 복습 중.VAE, Diffusion, score-based model은 잘 넘어갔는데, Normalizing Flow는다시 봐도 참 미묘하다. Pieter Abbeel 교수님께서 하신 말씀이 큰 위안이 된다. (저번에도 위로가 되었는데 이번에도 위로가 된다 ㅋㅋㅋ ㅠㅠ)매년 강의를 해도, 다시 강의를 하기 전에 스스로 convincing하기까지 상당히 오래 걸린다는 말씀.(저도 그래요 교수님 ㅎㅎ 복습할 때마다 아리송해요.. ㅎㅎ) 참 희한한 게,simple distribution ----> transformation ----> complex distributionidea는 단순한데왜 이렇게 머릿 속에 그려지기가 힘든지 모르겠어. 오히려 수식은 VAE, diffusion, ..

* Solve a simple linear differential equation by solving for the Power Series expansion of the solution* Taylor Series* Euler's formula* Solve the matrix system of equations dx/dt = A*x by Eigenvalues & Eigenvectors* 2x2 Systems of ODEs: Sources, Sinks and Saddle points* 2x2 Systems of ODEs: Imaginary Eigenvalues and Center Fixed Points* Linearizing a Nonlinear System at a Fixed Point* Diagonali..

왜 Deep Ensemble이 Bayesian method보다 잘 작동하는가에 대해서 다양한 실험을 통해 기전을 설명해준다. 아래 deep ensemble original paper를 보며 가진 궁금증과 직관적인 hypothesis가 잘 들어맞는다. 그 hypothesis를 증명하기 위한 실험들이 굉장히 신박하고 재미있다.visualization을 아주 잘 해서 쉽게 이해할 수 있다. 흥미로운 논문이다. (근데 실험 중간까지만 읽고 다 못 읽었다. 오늘 너무 컨디션이 안좋아서 좀 쉬어야 할 것 같다.) ※ 내가 톺아본 Bayesian neural network가 시기적으로 꽤 예전인데, 최근 동향은 어떤지도 좀 궁금하다.(중간에 다 못읽음)