밤에 쓰는 편지 밤에 쓰는 편지

https://arxiv.org/pdf/2202.00512https://github.com/google-research/google-research/tree/master/diffusion_distillationAbstractDiffusion models have recently shown great promise for generative modeling, outperforming GANs on perceptual quality and autoregressive models at density estimation. A remaining downside is their slow sampling time: generating high quality samples takes many hundreds or th..

https://arxiv.org/pdf/2010.02502(Oct 2022 ICLR 2021)https://github.com/ermongroup/ddimAbstractDenoising diffusion probabilistic models (DDPMs) have achieved high quality image generation without adversarial training, yet they require simulating a Markov chain for many steps in order to produce a sample. To accelerate sampling, we present denoising diffusion implicit models (DDIMs), a more effici..

https://arxiv.org/pdf/2107.00630https://github.com/google-research/vdm(NeurIPS 2021) Jul 2021 ★ ★ ★ ★ 이걸 먼저 봐야 함!!!!! ★ ★ ★ ★ ↓ ↓ ↓ ↓ ↓ ↓ ↓Demystifying Variational Diffusion Models https://arxiv.org/pdf/2401.06281 ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ 「 Variational Diffusion Models 」 이 논문에서의 수식이 Classifier-free guidance, distillation, Imagen 등등..에서 계속 이어지는데,(score-based model 계열 논문에서도 수식, 개념이..

어떤 trajectory가 우리를 가장 안전하고 빠르게 target distribution으로 인도할 것인가? flow matching은 scoring matching에서 finite noise perturbation을 continous-time stochastic process로 바꾸고 SDE를 ODE로 바꿔서 solution을 구하는 special case아닌감? 그래서 exact likelihood 계산이 가능한.. 차이점이 뭐지? 공부하고 정리해야겠다.

논문 재정비해서 다시 투고해야하고, 실험하던 것들도 있지만,1월에 들어서는다 접어두고 복습만 하고 있다.아주 fundamental한 것부터 보고 있다. 뜬금없지만 지난 주에는 공업수학 (선형대수, 미분방정식, 다변수적분, 신호처리)을 훑었는데, Kreysizig 문제를 푸는 crazy한 짓은 학부 때 한 걸로 족하고 ㅎㅎ그냥 기본적인 개념 위주로 공부했다.집단지성에 기여하시는 훌륭한 분들이 계셔서.. 유튜브 & 블로그 보며 공부했다.(진심 넘나 감사..) 그리고,지난 한 해 동안 너무 엄청난 것들을 한꺼번에 배워서..하나씩 다시 살펴보고 있다.  오늘은 하루종일 VAE만 본 듯..다시 봐도 엄청나고, 아름답다.몸이 자꾸 아파서 큰일이다.보통 순 공부 시간이 8시간 정도 되는데,요 며칠은 너무 컨디션이 안..

논문과 코드의 간극 논문에서 제시한 수식과..코드가.. 도저히 연결이 안되다가..드디어 해결!!  이해 완료!애매했던 부분들 다 해결했다.  RoPE,  Grouped Query Attention, KV cache,  내가 특히 취약했던 부분 - decoding part (inferencing) - Greedy decoding, Beam Search, Top_p.  다 해결! 그간 LlaMa, Gemma 코드 만들어 놓고도 방치했는데, 이제야 온전히 내꺼 같다. 이제야 내 LlaMa, Gemma가 생겼네. "이제서야..?" 라고 물으신다면..할 말 없습니다..남들보다 좀 느려요.. (좀 많이.. ㅜㅜ) (인생이 지각 인생입니다..) 저번에 TroL 논문 읽고 코드를 살펴보니, 저자가 phi-3를 기깔나게..

여러모로 잊지 못할 해가 될 것 같다.정말 여러 모로..  상상도 못했다. 이렇게 대학원에 진학하게 될줄이야. 학부 시절에는 ML 이런 거 몰랐다. 그냥 통계, 수학 과목만 열심히 듣고 졸업했다. 프로젝트는 한번도 해본 적이 없다. 프로젝트를 하는 수업들이 아니었다. 주구장창 시험 보는 과목들이었다. ㅎㅎ 딱히 과제도 뭐.. 회귀, 다변량은 과제가 있었던가. 공대 과목은 좀 있었던 것 같고. ML/DL 관련 수업을 난생 처음 들었다.  프로젝트도 난생 처음 해봤다.논문 리뷰 발표도 처음 해봤다. 논문도 처음 써봤다. 정말.. 무지랭이도 이런 무지랭이가 없을거다. 2024년은 아침에 눈 뜨면 책상에 앉고, 잠 들기 직전까지 책상에 있다가 잠드는 생활을 1년 내내 했다.  아.. 그러고 보니.. 공부하다가 ..

* f-divergence* f-divergence examples (KL-divergence, Total Variation Distance)* Aligning LMs with Preferences through f-divergence Minimization* Algorithm