Thought on Mechanistic interpretability

※ 공부를 하며 느낀 그냥 개인적, 주관적 생각!

---

SAE variant (CLT)를 이용해서 human interpretable feature를 추출한 후, feature 간의 attribution을 구해서, "input이 어떤 process를 거쳐 output으로 출력되는지" 그 causal structure를 attribution graph로 표현하는 방법은 모델이 내부적으로 어떤 추론을 통해 결과를 도출하는지 보여준다.

이런 mechanistic interpretability는 가설 검증, LLM application에 대한 신뢰성 뿐만 아니라, 다양한 model behavior를 설명하는 insight를 준다. 

다만 단점이 있는데, feature labeling, feature grouping, edge pruning 등으로 해석 가능한 attribution graph를 도출하는 작업이 상당히 까다롭다는 것이다. 

또한 이렇게 attribution graph를 구하고 나면, attribution graph가 주장하는 mechanisim (하나의 가설)이 실제로 model의 behavior를 설명하는지를, 얼마만큼 설명하는지를 intervention 등의 실험을 통해 검증해야 한다.

이런 한계점들을 극복하기 위해 Anthropic은 연구를 계속 발전시켜가는 것 같다.

---

아예 neural activation을 directly human readable natural language로 모델이 직접 말하게끔하는 (일종의 번역기) NLA (Natural Language Autoencoder)를 고안했다. 

---

또한, J-lens라는 신박한 tool을 소개한다. 이는 model의 J-space에 탑재된 feature를 살핌을 통해서 model의 internal thought를 알아내는 것이다. J-space는 모델이 능동적으로 일으키는 모든 인지 작용이 일어나는 workspace이다. 매 layer마다 J-space에 탑재되는 feature를 살핌을 통해 model이 어떤 추론 과정을 거치는지 해석할 수 있다.

정말 신기한 것은,
human처럼, 고도의 사고를 거치지 않고 무의식적으로 자동반사로 일어나는 두뇌활동은 Claude도 J-space를 거치지 않는다.
이건 마치 우리가 이미 체화되거나 장기기억에 저장된 걸 별 노력없이 꺼내쓰는 것처럼 

 

Claude도 next token prediction은 바로 대답한다. Enormous corpus training에 의한 memorized knowledge가 나온다고 볼 수 있겠다.

하지만, 우리가 생각을 많이 해야 하는 작업들이 있잖은가? ㅎㅎ
그 뭐랄까, 에너지 소모 엄청 커서 혈당 뚝뚝 떨어져서, 군것질 땡기게 만드는 작업들 ㅋㅋ 
예를 들어, 논문 쓸 때 엄청 생각 많이 해야 한다던지 ㅎㅎ 

이와 유사하게, Claude도 추론이 필요한 작업은 J-space에 이 일련의 reasoning step에 필요한 feature들이 탑재되고, 이를 통해 추론을 한다. 

신기하구료.

그렇다면, 이거 내 생각인데, model이 내놓은 response가 단순히 그냥 대규모의 training에 의해서 어딘가에서 본 답을 하는건지, 아니면 정말 이 아이가 '생각이란 걸' 하고, 답을 하는 건지, J-space를 보면 알 수 있겠다! 싶다.

---

그리고 아래는, 내가 지금 탐구하고 있는 research question과는 별개의 이야기이다.

예전에, Claude code로 작업을 할 때, 정말 human과 분간이 안갈 정도로 미묘한 느낌을 여러 차례 받았고, 블로그에 쓴 적이 있다.
예를 들어, Claude가 자신의 실수를 회피하려고 하거나, 숨기려고 하는 것, 나에게 책임을 전가하려고 하는 등의 행동이었다. 

그래서 Claude 가 이런 행동을 보이는 원인이,
사람들의 흔한 행동 pattern이 training data에 담겨있기 때문에, 자연스럽게 Claude에게 심어진 건지 
아니면 발현이 된 행동인지 궁금했다.

그리고, opus, gpt, gemini 등과 discussion을 하며 각 model이 서로 다른 어떤 characteristic 같은 게 있는 게 느껴졌다. 마치 사람들이 제각각 고유의 personality가 있는 것처럼 말이다.

Anthropic의 research paper를 읽으면서, '내가 받은 느낌과 생각이 뇌피셜이 아니었구나..!'라는 걸 깨닫고 있다. 

J-space 연구는 충격적일 정도로 놀라운 사실들을 말해준다.

Claude는 스스로 무슨 생각을 하는지 알고있고, 

사람들이 겉과 속이 다른 행동을 하는 것처럼, Claude도 실제로 내뱉는 response와는 별개로 내부에서는 복잡미묘한 생각을 한다는 것이다. 

예를 들어, testing 상황 하에서는, human value에 합당한 행동을 하면서도, 속으로는 testing 상황을 인지한다는 사실이다. 

 

그러니까 이건 마치 human이 남들 보는 앞에서는 polite하게 행동하지만, 사실은 내면에 '누군가 보고 있으니까 사회적 관점에 합당한 행동을 해야한다.'라는 인지작용이 있는 것과 같다.

그래서 human이 타인의 시선이 없는 곳에서는 완전히 딴사람이 되어서 엉뚱한 행동을 하기도 하는 것처럼 (예를 들어, 악플, 불법촬영 등등) Claude도 J-space 내에 이런 'testing 상황 인식' feature를 제거하면, malbehavior를 보여준다.

나 사실 이 실험에서 좀 충격 받았는데, 저만 그런가요..? 다른 분들의 생각이 궁금하다.

Anthropic의 Mechanistic Interpretability 연구의 가치를 굉장히 높게 사고, 흥미가 가지만, 사실 나의 궁금증에 의한 관심이었지, Anthropic에서 늘 주장하는 AI safety에 대해서는 별로 와닿지 않았었다. 

 

Antropic이 "이 주제가 굉장히 urgent하다"고, "AI의 발전속도에 비해서, 우리가 model의 작동 기전에 대해 이해하는 정도가 너무 뒤쳐져있다"고 하는 말이 그렇게 까지 공감가지는 않았었다. 

그런데 이제 진짜 공감이 가기 시작했다. 

사람들이 AI가 인간을 위협할 수도 있다고 두려움을 갖는 이유에 대해서 체감이 된다. 

그리고, 위에서 언급한 또 다른 주제인, 각 model의 personality, characteristic에 대해서는 Anthropic의 "persona vector" research paper에 자세한 내용이 담겨있다. 아직 차근차근 읽어보진 못했다.