밤에 쓰는 편지 밤에 쓰는 편지

그러고 보니까 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ나 되게 lucky하다!! Interpretability를 공부하게 된 계기가, Causal representation learning을 공부하다가, 뭔가 딱히 명확하게 보이지가 않아서.. '일단 subject를 전환한 다음에, 다시 돌아오자' 생각하고 LLM을 공부하기 시작한 거 거등. 우리가 Causal variable들을 안다면, 그 상황 하에서 SCM, DAG를 여러가지 방법으로 찾을 수 있겠지만,모른다면, 주어진 dataset에서 meaningful한 causal variable들을 (representation)을 찾은 다음에, structure를 찾아야 하잖아. 그럼, 주어진 Dataset에서 어떻게 causal representation을 disen..

* case study 1: LLM이 실제로 내부적으로도 multi-step reasoning함을 circuit analysis로 보인다. paper에서 제시한 experiment result diagram은 굉장히 clear해 보이지만, full attribution graph를 보면, 막막하다. ㅋㅋ feature가 '나는 어떤 feature입니다'라고 label을 달고 있는 게 아닌데, feature를 interprete하고, 가장 meaningful한 것을 골라 grouping해서, 엄청난 edge와 node를 trimming해서 해석가능한 diagram을 만드는 게 challenging할 것 같다. ※ 그리고 나 갑자기 한가지 궁금증이 생겼는데, Mixture of Experts가 effect..

https://transformer-circuits.pub/2025/attribution-graphs/biology.html On the Biology of a Large Language ModelWe investigate the internal mechanisms used by Claude 3.5 Haiku — Anthropic's lightweight production model — in a variety of contexts, using our circuit tracing methodology.transformer-circuits.pub 다양한 context 하에서 LLM 내부의 mechanism을 관찰한다. 기본적인 setup은 아래와 같다. Replacement ModelReplacement ..

건설적인 발전을 위해서는, 비판적인 시각을 받아들여야 한다.연구의 당위성에 대하여 생각해볼 필요가 있다. 제작년 Stanford NLP class에서 interpretability lecture를 접했던 것 같다. 크게 interest를 갖지 않고 넘어갔었다.이번에 interpretability에 관심을 갖게 된 계기는 아주 우연이었다."Golden gate experiment!" 너무 엉뚱한 동기로 관심을 갖게 되었나요? ㅎㅎ 아무튼, Antropic의 golden gate 낚시 (?)는 성공했다. Transformer circuit framework 를 받아들이면서, '이 연산이 맞는 건가?' 생각하는데 시간이 좀 걸리긴 했지만,받아들인 후로는 좀 재미가 있었다.Causal inference 이후로..

1. "model이 input prompt를 받았을 때, 어떤 mechanism에 의해서 output을 도출하는지를 실제로 설명하고자 한다"는 Antropic의 research topic에 대해서 흥미롭다고 생각했다. 즉, "단순히 model이 내놓은 COT을 통해서가 아니라, 실제로 *어떤 기전으로* 그 답을 내놓았는지를 살펴보자"는 것이다. 2. 그 mechanism을 설명하는 Attribution graph (일종의 causal graph)를 construct하는 building block들을 쌓았다. 가장 근간은 "독립된 path의 information flow를 연산하기 위한 circuit framework"이고, 노드를 담당하는 "feature"를 extract하고, attribution gr..

https://transformer-circuits.pub/2024/crosscoders/index.html Sparse Crosscoders for Cross-Layer Features and Model DiffingAuthors Jack Lindsey*, Adly Templeton*, Jonathan Marcus*, Thomas Conerly*, Joshua Batson, Christopher Olahtransformer-circuits.pub Where autoencoders encode and predict activations at a single layer, and transcoders use activations from one layer to predict the next, a crossc..

(NeurIPS 2024)https://arxiv.org/pdf/2406.11944https://github.com/jacobdunefsky/transcoder_circuits/ GitHub - jacobdunefsky/transcoder_circuitsContribute to jacobdunefsky/transcoder_circuits development by creating an account on GitHub.github.com sparse autoencoder는 interpretable feature를 extract할 수 있음을 보였고, large-scale language model에도 적용가능함을 보였다. 하지만 limitation이 있는데, circuit analysis 에 쓰일 수 없다는..

앞서서 sparse autoencoder로 one-layer transformer에서 monosemantic feature를 추출할 수 있음을 보였다. 이제 sparse autoencoder를 scaling up한다. Claude 3 Sonnet에서 monosemantic하고 model의 behavior를 설명할 수 있는 interpretable한 feature를 extracting하는데 성공한다. feature를 manupulate함으로써 model behavior를 steering할 수 있다.1. Sparse autoencoders produce interpretable features for large models. 2. Scaling laws can be used to guide the trai..