밤에 쓰는 편지 밤에 쓰는 편지

잊을 만하면 한 번씩 쓰는 글..ㅎㅎ 자꾸 종교 얘기 꺼내서 미안하지만종교가 아니라 철학의 관점에서 생각해보자. (여담으로, 종교를 떠나서 불교를 좋아하는 이유는 물리학을 명쾌히 설명하기 때문이다.) 아무튼 이전에도 썼 듯이불교경전에는'인과의 시작과 끝을 아는 이'를 성인이라고 표현한다. 세상 모든 이치를 깨달으면 '신'이라는 것이다. 이는 온세상 학문을 다 공부해서 되는 것이 아니다. 현상계를 떠받치는 이면의 잠재변수들, mechanism을 깨우치는 것이다. 그러니까..LLM들은 이제 거의 세상의 모든 knowledge를 흡수했다고 봐도 과언이 아닐 것이다.하지만,그들에게 어떤 질문을 했을 때,그 백과사전에서 뭘 꺼내서 대답하는 것이 아니라,혹은 그 백과사전이 지식들을 잘 조합해서 대답하는 게 아니라..

PFN을 기반으로한 causal inference foundation model (Do-PFN, CausalPFN, CausalFM)은 ground-truth causal graph를 모르는 상태에서, observational data만으로 causal inference를 수행하잖아. 이를, Do-PFN paper에서는, implicit하게 causal graph를 찾고, inference를 수행한 결과라고 주장하였는데,그렇다면, 이 causal inference foundation model들이 inference를 할 때, mechanistic interpretability를 해보면,실제로 내부적으로 causal graph를 찾고, 추론한 결과를 내보냈다는 걸 증명할 수 있을까? 궁금하다.이거 어떻게 ..

제목 그대로이다. 난 사실 Mechanistic Interpretability에 대해 전혀 몰랐을 때,Mechanistic Interpretability을 "model의 내부 작동을 해석하는 것이다"라고 받아들였어. 문자 그대로. 근데 구체적인 methodology로 들어가서, 열심히 살펴보다보니까,뭔가 익숙한 smell이 나는데 이건 뭐지? 그렇다. causal representation, discovery, inference와 매우 밀접했다. LLM이 내부적으로 feature를 mapping하고, feature 간의 causal structure를 찾아서, 이를 통해 추론한 결과를 output으로 내보내고 있었다. 그렇다면, 이건 LLM이 causal inference를 할 수 있다는 증거가 아닐까..

induction head가 meta-learning을 가능하게 한다는 걸 보고 나니까, 급 든 생각인데, Do-PFN을 보면서, scaling up하면 어떻게 될까 궁금했거덩. 복잡한 DAG-structure를 추론하도록 in-context learning을 시키면 어떻게 될까? 기본적인 DAG structure를 generate하는 건, PFN series에 잘 나와있는데, 얼마전에 본, COCONUT paper에서는 아주 복잡한 DAG-structure로도 추론을 시키더라구. 그거처럼 복잡한 DAG strucuture를 추론하는 것도 in-context learning으로 가능할까? 흠 궁금해지네.

https://letter-night.tistory.com/887 On-going thought(!)2025.3.19. blog에 적은 글2025.5.3. blog에 적은 글이 궁금증에 대한 대답「Robust Agents Learn Causal World Models」 proves below statements.If the agent always performs optimally under a very broad class of changes to the environment "Distletter-night.tistory.com 그렇다면.. Agent가, 혹은 Foundation model이 Bayesian Structural Learning을 한다면, data generating process를 이해하..

Do-PFN 예상대로 흥미진진. 아직 appendix를 안봐서experiment detail은 파악을 못 했는데 CATE estimation하는 ML method가 이거 밖에 없었나?나 뭔가 공부 많이 했던 거 같은데 ㅎㅎ뭔가 baseline을 좀 더 풍성하게 가져갔으면 싶네. 좀 찾아보고, 코드 돌려봐야겠다. 음.. 좀 괴롭혀보고 싶어 ㅎㅎ 이것저것 dataset 가져다가. 그리고, causal effect estimation은 verify할 수 없는 assumption을 깔고 진행하기 때문에robustness check를 반드시 같이 하잖아. sensitivity analysis 같은 거. assumption이 violate되었을 때, 결과가 얼마나 영향을 받는지. 물론 여기서 Do-PFN은 그런 a..

나 synthetic data generate하는 게 가끔 궁금했거든. experiment할 때 synthetic data generate해서 실험하고, 그 담에 real-world data로 experiment 많이 하잖아 보통. 막상 synthetic data generate하는 거 어떻게 해야할지 잘 모르겠더라구. 근데 이 논문 시리즈에서 이걸 굉장히 effective하게 하면서 process를 상세히 알려주니까 너무 고맙네.

새로운 지평을 열어주는 연구들이 있는데그런 연구 하시는 분들 진심 존경함.(상대적으로 난 좀 쭈그리가 되는 느낌도 있고) PFN 첨 봤을 때, '와, 신박하다. 이렇게 새롭게 문제를 재정의할 수가 있네.' 생각했거등. 그렇다고 뭔가 난해한 새로운 걸 들고 온 것도 아니고이미 성공적임이 입증된 방법을 적용해서, 기존에 잘 안되거나, 복잡하던 거를 아주 simple하게 잘 되게끔 만들었다는 게 너무 멋진 거 같아. 그러면서도 한편으로는 어딘가 모르게 좀 애매하고 막연하게 이해하고 넘어간 부분이 없잖았는데,TABPFN 보니까 이해가 쏙쏙 된다. original version보다 훨씬 명확하고 깔끔하게 설명해준다. 그리고 GP, BNN prior만 보다가 SCM prior 보니까 눈이 번쩍 뜨이네. 아직 do..