(On-going) Review of LLM

오랜만에 LLM 복습 中

 

아주 detail하게 들어가지는 않고, 전반적으로 산재되어 있는 나의 knowledge를 정리하고 있다.

 

적용이 practically feasible하지 않은 system 측면 (GPU parallel 등)은 넘어가고

 

적용해보고 싶은 거, 실질적인 부분을 좀더 집중해서 보고 있다. (MoE, hyperparameter 등)

 

얼마전까지 Causal representation learning 관련 paper를 봤는데, 수식에 정신이 거의 혼미해지기 직전이라..

잠시 휴식을 위해 ㅋㅋㅋ 주제를 바꿨다. 

 

CMU, Berkley, Stanford, MIT 등에서 좋은 강좌를 open해줘서 그간 공부에 큰 도움이 되어왔는데, 

신기한 건 최근에 업로드 속도가 빨라진 느낌이다. 

아무래도 발전속도가 너무 빨라서 금새 out-of-date이 되어버려서, lecture series를 들을 때 아쉬움이 남곤 했는데,

그래서 그런가.. 바로바로 올려준다. 넘나 감사 ♡

 

https://stanford-cs336.github.io/spring2025/

Stanford CS336 | Language Modeling from Scratch

 

https://cme295.stanford.edu/syllabus/

Syllabus | CME 295 - Transformers & Large Language Models

---

참고하는 blog들

https://magazine.sebastianraschka.com/

Ahead of AI | Sebastian Raschka, PhD | Substack

https://newsletter.maartengrootendorst.com/

Exploring Language Models | Maarten Grootendorst | Substack

 

---

공부하면서 내용이 추가될 예정

 

https://www.youtube.com/playlist?list=PLqC25OT8ZpD2-RuhyacIsODl5iJVgMjI3

CMU Advanced NLP Fall 2025

https://cmu-l3.github.io/anlp-fall2025/

CMU Advanced NLP F2025

https://github.com/cmu-l3/anlp-fall2025-code

GitHub - cmu-l3/anlp-fall2025-code: Advanced NLP, Fall 2025 https://cmu-l3.github.io/anlp-fall2025/