[on-going] The Geometry of Categorical & Hierarchical Concepts in LLMs

oral presentation at ICLR 2025. Best Paper Award at the ICML 2024 Workshop on Mechanistic Interpretability

https://arxiv.org/pdf/2406.01506

https://github.com/KihoPark/LLM_Categorical_Hierarchical_Representations

GitHub - KihoPark/LLM_Categorical_Hierarchical_Representations

---

https://letter-night.tistory.com/1178

Superposition

https://letter-night.tistory.com/1190

그렇다면 Mechanistic Interpretability는 LLM이 causal reasoning을 할 수 있다는 증거 아닌감?

 

또 만난 아름다움. 더 구체적으로 밝혀진 아름다움!

 

(논문을 아직 꼼꼼히 읽고 충분히 이해하지 않았기 때문에, 아래 정리한 내용은 수정될 수 있음)

---

LLM이 concept를 representation space에 encoding하는 방식을 확장한다.

 

기존의 linear representation에서는 concept가 direction을 가지고 있음을 보였는데, 이를 확장하여 categorical & hierarchical concept이 representation space에서 vector형태로 나타나고, geometrical structure를 가짐을 보인다.

 

그렇다면 LLM은 확률적 앵무새가 아니라, 실제로 개념의 구조를 이해하고 있다는 뜻이다!  또한 vector operation을 통한 model steering이 가능하다는 뜻이다!

 

출발은 선행논문의 Linear Representation Hypothesis이다.

근데 여기서, semantic concept들이 representation space에서 “linearly” 표현된다는 게 무슨 뜻인지 첨엔 잘 이해가 안갔는데, 내가 이해한 바로는, “counterfactual concept들은 일관되게 직선 방향으로 표현된다”는 뜻이다.

 

본 연구에서는 선행연구에서 제시한 binary feature를 direction에서 vector로 확장한다. => vector operation이 가능해졌다!!

 

그리고, category concept을 polytope 형태로 표현하고, hierarchical 관계가 orthogonal 하게 encoding됨을 보인다.

 

※ 논문을 이해하기 위한 배경지식이 다소 허들이 된다.

근데, 우리가 어떤 space를 정의하거나, inner product나 norm을 equip해서 normed space 혹은 inner product space를 construct할 때, 어떤 특정 조건을 만족하는 모든 vector를 모아서 구성하듯이,

우리가 해왔던 기본적인 linear algebra를 떠올리면 이해가 좀 수월해진다.

 

space를 construct하기 까지 인내심을 가지면, experiment에서는 굉장히 아름다운 결과를 만날 수 있다!

 

저는 이런 식으로 본 논문에서 제시한 새로운 space를 받아들였는데, 저의 방식이 맞을까요? 다른 분들은 어떤 식으로 이해하셨는지 궁금..

discussion 해보고 싶다.. ㅠㅠ

---

< Theory >

1. 본 논문에서는 LLM에서의 transformer block과 unembedding layer로 두 개의 공간을 상정하고 있는데, 이 두 공간을 하나의 unified space로 변환을 하기 위해 causal inner product라는 연산을 도입한다.

 

: invertible matrix A와 constant vector gamma를 이용해서 두 공간을 변환해주고, 변환 후에는 두 공간이 통합되어서, Euclidean inner product가 causal inner product로 정의된다.

 

2. 그리고 linear representation에 대한 정의를 할 때, hierarchical concept을 포괄할 수 있도록 한다.

 

3. 또한, ‘방향’에서 ‘벡터’로 확장하여 같은 분류의 벡터 연산이 가능해짐을 theorem으로 제시한다.

 

이러한 linear representation하에서, categorical concept는 polytope으로 표현할 수 있다.

어떤 Category concept W가 있다면, 거기에 속하는 개념들 w vector들을 vertex로 하는 convex hull로 표현된다.

 

4. hierarchical concept의 orthogonality를 theorem으로 제시한다.

 

이는 특정 개념을 조작했을 때, 그 하위 개념들의 상대 확률에는 영향을 주면 안된다는 것이다. => 즉, inner product = 0 (orthogonal)

 

< Experiment >

위에서 구축한 이론적 토대를 실험으로 증명한다.

1. Linear representation exists?

synset w에 대해 Y(w)를 train / test 로 분리. Train 단어들에서 l_w 추정

test 단어들과 random 단어들의 unembedding vector를 추정된 l_w에 projection 시킨 결과

=> linear representation이 존재한다면, Y(w)에 속하는 token의 projection은 1, random token의 projection은 0에 가까워야 함.

 

2. intervention: 추정된 벡터를 context에 실제로 더했을 때, definition에서 요구하는 대로, 목표 개념만 바뀌고, 하위 개념의 상대확률은 변하지 않는가?

=> 부모 개념 (target)의 logit diffrence는 크게, 자식 개념 (off-Target)의 logit difference는 작게 나와야 함 (definition의 요건을 LLM이 만족함)

 

3. Hierarchical concept: 공통 부모를 공유하는 개념 간에는 cosine similarity가 높아야 함. WordNet에서 가까운 개념들이 Representation Space에서도 비슷한 양상을 보여야 한다.

 

4. Hierarchical Orthogonality: 부모의 representation vector와 자식-부모 representation vector의 차이가 orthogonal해야 함.

---

---

---

---

---

---

---

---

---

---

---

---