2025 winter report

제주는 지금 유채꽃이 한창이겠구나.

 

유채꽃이 지고 나면, 벚꽃이 흐드러져서, 벛꽃 향기가 온동네에 가득하고.

벛꽃이 지고 나면

사방 천지에 만다린 꽃 향기가 가득하겠네..

 

돌아갈 수 있을까.. ㅎ

요원해보인다..

 

졸업을 해야 돌아갈 수 있을텐데.

돌아가야 소주를 마실 수 있을텐데.

 

점점 졸업이 요원하게 느껴진다.

 

내가 과연 졸업을 할 수는 있을까?

2년으로 끝내는 건 포기했다..ㅎ

 

올 겨울에 난 뭘 했을까.

 

원래 계획은, VLM 공부를 하려고 윤곽을 그려놨었다.

그리고 나서 논문 실험을 다시 잘 해서 투고하는 거까지가 목표였는데..

 

그렇게 했어야만 했는데..

그래야 인생이 편해지는 길이었는데...

 

졸업 안할꺼야......???

 

근데 완전 딴 길로 새버렸다.

 

문득 돌아보니, 지난 1년 간 뭘 많이 배우고 공부를 한 것 같은데, 내가 제대로 알고 있는건가? 

뭐가 남은거지? 하는 생각이 들었다.

 

그리고 사실.. 내가 논문이랍시고 쓴 게, 딱히 유의미해 보이지도 않는데, 

영혼까지 끌어모아서 의미를 부여한 게.. 

참.. 뭐라.. 이 기분을 말로 표현 못하겠네.. ㅎㅎ 

 

바로잡고 싶었어. 

이 허접스러운 상태를.

 

1/3 가량은 수학 공부하며 보낸 것 같고

1/3 가량은 DGM 공부,

나머지 시간은 causal inference 공부를 했다.

 

복습도 다 못했다. NLP까지는 아예 가지도 못했고.. attention이랑 mamba도 여전히 keep되어 있고.. ㅎㅎ

GM는 많이 보긴 했지만,

flow-matching이 진짜 너무너무 궁금해서 거기까지 가는 게 목표였는데, 못갔다 ㅋㅋㅋ

 

이쯤에서 궁금해지는 건..

다들 연구분야에만 집중하시나요..?

아니면.. 이미 다 학부 때 마스터하신 건가요..?

아니면.. 새로운 subject를 받아들이는데 저처럼 엄청난 에너지가 필요치 않으신건가요..? (쉽게 파악되시는건가요?)

 

내가 과한 욕심을 부리는 걸까?

그냥 얼른 연구주제 정해서 논문 쓰는데 집중해야 하는건가?

하다못해 지금 쓴 거 있으니까, 그거 살리는 데 집중해야 하는건가?

 

하지만..

참을 수 없는 호기심이 가장 큰 원흉이고,

하나라도 제대로 알고 챙겨가는 게 앞으로의 내 연구인생에 종잣돈인데..

시간이 걸려도, 좀 힘들어도

지금 아니면 이렇게 작심하고 밑천을 만들 기회가 없을 것 같았어..

 

쥐뿔 아는 것도 없이 뭐 논문이랍시고 쓰고

아무도 관심 없을, 아무에게도 도움 안될 디지털 쓰레기는 만들고 싶지가 않다.. ㅠㅠ

 

그래서.. 이 겨울을 이렇게 보냈다.. ㅎㅎㅎ

 

밑에 reference는 다 본 건 아니다.

본 거, 안본 거는 나는 구별이 되지만, 어차피 나만 구별하면 되니까 ㅋㅋ 따로 표기하기 귀찮아서 안함.. ㅎ

 

그나저나..

나의 불쌍한 첫 논문은 구천을 떠돌고 있는데.. ㅋㅋㅋ 어떡하지?

점점 기억에서 지워지고 있어... ㅠㅠㅠㅠ 살릴 수 있을까??

어디다가 일단 투고라도 해봐야하는 거 아냐???? 어디다가?? 어디다 할지도 모르겠어 ㅋㅋ ㅠㅠㅠㅠ

---

2025 January & February

Total 471hrs

---

★ Lectures ★

https://kuleshov-group.github.io/dgm-website/

https://sites.google.com/view/berkeley-cs294-158-sp24/home

https://deepgenerativemodels.github.io/

---

(1) VAEs

variational inference https://www.cs.princeton.edu/courses/archive/fall11/cos597C/lectures/variational-inference-i.pdf

Tutorial on Variational Autoencoders https://arxiv.org/pdf/1606.05908

An Introduction to Variational Autoencoders https://arxiv.org/pdf/1906.02691

Evidence lower bound (ELBO) https://mbernste.github.io/posts/elbo/

MCMC https://bjlkeng.io/posts/markov-chain-monte-carlo-mcmc-and-the-metropolis-hastings-algorithm/

Lil Log https://lilianweng.github.io/posts/2018-08-12-vae/#vq-vae-and-vq-vae-2

 

---

(2) Flow-based Models

* https://www.youtube.com/watch?v=3IqRV40LKPs&list=PL2UML_KCiC0UPzjW9BjO-IW6dqliu9O4B&index=7

https://www.youtube.com/watch?v=3IqRV40LKPs&list=PL2UML_KCiC0UPzjW9BjO-IW6dqliu9O4B&index=8

* https://www.youtube.com/watch?v=SkSDCzz41Vs&list=PLwRJQ4m4UJjPIvv4kgBkvu_uygrV3ut_U&index=3&t=3981s

* https://www.youtube.com/watch?v=m6dKKRsZwBQ&list=PLoROMvodv4rPOWA-omMM6STXaWW4FvJT8&index=7

https://www.youtube.com/watch?v=qgTvgBCOyn8&list=PLoROMvodv4rPOWA-omMM6STXaWW4FvJT8&index=8

---

* [NICE] Nonlinear Independent Components Estimation https://arxiv.org/pdf/1410.8516

* [RealNVP] Density Estimation Using Real NVP https://arxiv.org/pdf/1605.08803

* [Glow] Generative Flow with Invertible 1x1 Convolutions https://arxiv.org/pdf/1807.03039

* Variational Inference with Normalizing Flows https://arxiv.org/pdf/1505.05770

* [IAF] Improved variational inference with Inverse Autoregressive Flow https://arxiv.org/pdf/1606.04934

* [MAF] Masked Autoregressive Flow for Density Estimation https://arxiv.org/pdf/1705.07057

* [FFJORD] Free-form Continuous Dynamics for Scalable Reversible Generative Models https://arxiv.org/pdf/1810.01367

 

* Normalizing Flows for Probabilistic Modeling and Inference https://arxiv.org/pdf/1912.02762

* Normalizing Flows: An Introduction and Review of Current Methods https://arxiv.org/pdf/1908.09257

---

https://lilianweng.github.io/posts/2018-10-13-flow-models/

https://jmtomczak.github.io/

 

---

(3) Score-based Models

https://yang-song.net/blog/2021/score/

---

(1) Sliced Score Matching: A Scalable Approach to Density and Score Estimation https://arxiv.org/pdf/1905.07088

(2) Generative Modeling by Estimating Gradients of the Data Distribution https://arxiv.org/pdf/1907.05600

(3) Improved Techniques for Training Score-Based Generative Models https://arxiv.org/pdf/2006.09011

(4) Score-Based Generative Modeling through Stochastic Differential Equations https://arxiv.org/pdf/2011.13456

(5) Maximum Likelihood Training of Score-Based Diffusion Models https://arxiv.org/pdf/2101.09258

(6) Solving Inverse Problems in Medical Imaging with Score-based Generative Models https://arxiv.org/pdf/2111.08005

(7) Gotta Go Fast When Generating Data with Score-Based Models https://arxiv.org/pdf/2105.14080

---

(4) Diffusions

Lecture Notes in Probabilistic Diffusion Models https://arxiv.org/pdf/2312.10393

Understanding Diffusion Models: A Unified Perspective https://arxiv.org/pdf/2208.11970

Demystifying Variational Diffusion Models https://arxiv.org/pdf/2401.06281

 

 

https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

---

---