밤에 쓰는 편지 밤에 쓰는 편지

https://swallow-llm.github.io/leaderboard/index-post.en.html Swallow LLM LeaderboardCompare Japanese and English LLMs with bar charts, radar charts, and scatter plotsswallow-llm.github.iohttps://winston-bosan.github.io/llm-pareto-frontier/ LLM Arena Pareto Frontier* Price shown is per million tokens (input). NOT assuming a 3:1 input-output tokens ratio. Pareto Frontier Models These models offer ..

https://thinkingmachines.ai/blog/lora/ LoRA Without RegretHow LoRA matches full training performance more broadly than expected.thinkingmachines.ai

https://developer.nvidia.com/blog/an-introduction-to-speculative-decoding-for-reducing-latency-in-ai-inference/ An Introduction to Speculative Decoding for Reducing Latency in AI Inference | NVIDIA Technical BlogGenerating text with large language models (LLMs) often involves running into a fundamental bottleneck. GPUs offer massive compute, yet much of that power sits idle because autoregressiv..

오랜만에 LLM 복습 中 아주 detail하게 들어가지는 않고, 전반적으로 산재되어 있는 나의 knowledge를 정리하고 있다. 적용이 practically feasible하지 않은 system 측면 (GPU parallel 등)은 넘어가고 적용해보고 싶은 거, 실질적인 부분을 좀더 집중해서 보고 있다. (MoE, hyperparameter 등) 얼마전까지 Causal representation learning 관련 paper를 봤는데, 수식에 정신이 거의 혼미해지기 직전이라..잠시 휴식을 위해 ㅋㅋㅋ 주제를 바꿨다. CMU, Berkley, Stanford, MIT 등에서 좋은 강좌를 open해줘서 그간 공부에 큰 도움이 되어왔는데, 신기한 건 최근에 업로드 속도가 빨라진 느낌이다. 아무래도 발전속..