-
어떻게 보면, LLM은 거대한 graph database retrieval system 같기도 해LLMs/Interpretability 2026. 6. 15. 07:02
비약이 심한가용?
궁금하다 다른 분들의 견해가.
LLM 보면 무슨 생각 드시나요?
(나아가서 Agent AI를 보면 무슨 생각 드시나요?)
물어보고 싶어. 다른 분들한테.
MI를 공부하다 든 생각인데,
LLM은 내부에 거대한 Causal graph network를 구축하고
promting이 주어지면, input이 causal graph network를 거쳐서, retrieve한 information을 output으로 내놓는,
거대한 system 같다는 생각이 들었어.
Agent는 여기에 memory와 tool을 겸비한 extended version이랄까?
그.. 우리가 database에 많은 정보를 정보손실 없이 압축적으로 저장하고, 효율적으로 불러오기 위해서
여러가지 방법을 쓰잖아.
keyword, index 등등. graph database는 hierarchy & relation이 반영되어서 더 인간의 직관적인 정보체계와 잘 맞아떨어지고.
LLM이 뭔가 이런 식으로 내부에 계층적인 causal concept를 저장하고 network를 통해 추론한 결과를 retrieve하는 것 같아.
'LLMs > Interpretability' 카테고리의 다른 글
Activation Patching (0) 2026.06.17 생성모델 관점에서 생각해보더라도 (0) 2026.06.15 (2/2) Right Mediator: MI Through the Lens of Causal Mediation Analysis (0) 2026.06.14 (1/2) Right Mediator: MI Through the Lens of Causal Mediation Analysis (0) 2026.06.14 (3/3) A Primer on the Inner Workings of Transformer-based LMs (0) 2026.06.13