(3/3) A Primer on the Inner Workings of Transformer-based LMs

https://arxiv.org/pdf/2405.00208v3

(Oct 2024)

 

지난 2년 반의 시간 동안 AI를 공부해왔는데, 얼마만큼이나 이해하고 있을까

Transformer 와 늘 함께 있었는데, 얼마만큼이나 이해하고 있을까

 

스스로를 돌아보았을 때, 여전히 막연한 감이 없지 않았다.

Transfomer에 대한 훌륭한 reference는 이미 많다.

 

그런데도 왜 막연했을까를 생각해보면,

Mechanistic Interpretability를 공부한 후에 그 이유를 깨닫게 되었다.

 

단순한 matrix operation이 아니라, 실제로 information이 어떤 composition을 거쳐서 transform되고 flow를 통해 output으로 도출되는지에 대한 이해.

 

Mechanistic Interpretability는 나에게 이러한 이해를 선사해주었다.

 

이건 Linear Algebra를 빡세게 공부한 보람이기도 하다. Linear Model의 빡센 공부도 한 몫 했다. 내가 Linear Model professor께 감사한 마음을 갖는 이유이기도 하다.

 

black box를 들여다보니, LLM의 capabilities는 그럴만한 이유가 있었다!

여전히 많은 부분은 black box이지만 말이다.

아름답다는 생각을 한다.

그 속의 world가..!

 

참 매력있다.

 

AR이 아닌, diffusion framework에서는 어떠할까?

 

architecture 측면에서는, Transformer에서 관찰된 mechanism이 Mamba에서도 관찰되었다는 연구가 있다.

즉, language modeling optimization 에 의해서 발현된 mechanism이라는 것이다.

 

이것이 diffusion based language modeling에서도 적용될까?

Mechanistic Interpretability가 dLLM으로 확장된 사례는 아직 보지 못한 것 같은데

(있나용?)

연구의 여지가 많아보인다.

---

---

---

---

---

---

---

---

---