밤에 쓰는 편지 밤에 쓰는 편지

여러모로 잊지 못할 해가 될 것 같다.정말 여러 모로..  상상도 못했다. 이렇게 대학원에 진학하게 될줄이야. 학부 시절에는 ML 이런 거 몰랐다. 그냥 통계, 수학 과목만 열심히 듣고 졸업했다. 프로젝트는 한번도 해본 적이 없다. 프로젝트를 하는 수업들이 아니었다. 주구장창 시험 보는 과목들이었다. ㅎㅎ 딱히 과제도 뭐.. 회귀, 다변량은 과제가 있었던가. 공대 과목은 좀 있었던 것 같고. ML/DL 관련 수업을 난생 처음 들었다.  프로젝트도 난생 처음 해봤다.논문 리뷰 발표도 처음 해봤다. 논문도 처음 써봤다. 정말.. 무지랭이도 이런 무지랭이가 없을거다. 2024년은 아침에 눈 뜨면 책상에 앉고, 잠 들기 직전까지 책상에 있다가 잠드는 생활을 1년 내내 했다.  아.. 그러고 보니.. 공부하다가 ..

* f-divergence* f-divergence examples (KL-divergence, Total Variation Distance)* Aligning LMs with Preferences through f-divergence Minimization* Algorithm

Paper submission must adhere to the double-blind review policy. Submissions must remove all details identifying the author(s) from the original manuscript, and the author(s) should refer to their prior work in the third person and include all relevant citations. 이거 어겼단다.. 그래서 제출한 거 다운로드 받아서 봤는데.. 내 이름 안지우고 냈어........................................

https://arxiv.org/pdf/2302.08215(Jun 2023 ICML 2023) 짜잔~ 종합선물세트 입니다~!f-divergence로 대동단결.옛다. 크리스마스 선물 받아랏~! 너무 당연한 이야기이지만, 목표를 어떻게 설정하느냐에 따라 인생은 완전히 달라진다.목적지 변경은 우리를 완전히 다른 방향으로 이끌기도 한다.objective function (loss function)에 따라서 model의 behavior가 달라지는 건 참 흥미진진하다.(좀 더 구체적으로는..- 어떠한 measure로 target distribution을 approximate할 것인가- metric에 따라 convergence하는 양상은 어떻게 달라지는가) 이 논문을 읽는데 왜케 행복하지? ㅜㅜ 이 논문을 읽기 위해..

https://arxiv.org/pdf/2112.00791(Jun 2022 ICML 2022)AbstractMachine learning is shifting towards general-purpose pretrained generative models, trained in a self-supervised manner on large amounts of data, which can then be applied to solve a large number of tasks. However, due to their generic training methodology, these models often fail to meet some of the downstream requirements (e.g., halluc..

1. Example of Parallel Line Density2. Wasserstein Distance with GAN3. Kantarovich-Rubinstein Duality4. Wasserstein as Primal LP5. Wasserstein as Dual LP6. Property of Dual LP on Wasserstein Distance7. Lipschitz Continuity8. Dual Problem of Wasserstein Distance9. Kantorovich-Rubinstein Duality & Wasserstein GAN

1. Generalizing Loss of Divergence2. Convex Conjugate Function3. F-Divergence4. Derivation of Optimal τ of Fenchel Conjugate 5. Difference of Two Probability Distributions6. Integral Probability Metric7. GAN + MMD

https://www.youtube.com/playlist?list=PLzZ7PPT4KK5oQ4io5Fead9j_ksLIokrri1. Loss Function of GAN2. Jensen Shannon Divergence3. Training of GAN4. Theoretical Results of GAN5. Mode Collapse6. Contitional Generative Adversarial Network7. Adding Latent Variable to GAN8. InfoGAN9. Comparison between Conditional GAN & InfoGAN