-
잡설LLMs/Interpretability 2026. 1. 5. 12:53
나는 불교신자이지만, 종교적 신념을 떠나서
불교를 좋아하는 이유는 교리가 과학적이면서 (양자역학을 잘 설명하고) 철학적으로도 나의 생각과 맞아떨어지기 때문이다.
불교에서 설하는 무아나 연기사상을 정확하게 여기에 적지는 못하겠지만, 내가 생각하는 '자아'의 개념과 상통한다.
나는 사실, 관계를 떠나서 독립된 존재로서의 '나'를 규정하지를 못하겠다.
어떤 집단의 구성원으로서의 나, 가족들 간의 관계 속에서의 나..등등. 무수한 인연들과의 connection을 다 제외하고 남은 residual을 찾지를 못하겠다는 것이다.
AI 혹은 ML/DL이 매력적으로 다가왔던 이유도, 가장 기술적 발전의 최전선에 있으면서도 사실 근간에는 상당히 물리적인 이론이 받침이 되고 있고, NN은 위에서 언급한 network의 철학을 잘 보여주고 있기 때문이다.
그런 점에서, single neural activation이 어떤 고정적인 concept를 담당하는 것이 아니라, contexts에 따라서 완전히 다른 meaning을 갖기도 하고, combination of activations 으로써 concept을 표현할 수 있다는 것이 수긍이 간다.
'LLMs > Interpretability' 카테고리의 다른 글
Superposition (0) 2026.01.06 Why induction head in Transformer is important for meta-learning? (0) 2026.01.06 Transformer Circuits (0) 2026.01.06 Circuits (0) 2026.01.05 (Gentle Intro..) [Interpretability] how LLMs really work (0) 2026.01.05