밤에 쓰는 편지 밤에 쓰는 편지

그간 코딩을 게을리했나보다. 어제 오늘 온종일 코딩을 했더니 손목이 시큰거린다. -_-손목 보호대를 하니 좀 낫네. 나의 낡은 로지텍 보급형 키보드에는 사연이 있다. ㅎㅎ 사실 나는 콕스 엔데버를 좋아하지만..집과 회사의 키보드가 차이가 나면, 자꾸 오타가 나서, 그냥 회사 키보드와 같은 로지텍으로..ㅎㅎ 회사의 키보드를 좋은 걸로 바꿀 수도 있었겠지만,나는 왠지 공금으로 사심을 채우는 건 내키지가 않더라. 무엇보다도, 사무실에서 요란한 키보드 소리로 타인의 집중을 방해하기가 싫어서 항상 저소음 로지텍을 쓰곤 했다. 사무실에서 기계식 키보드 쓰는 분들도 계시긴 했지만,나는 성격 상 그게 안되더라. 피곤한 성격이야... 이제는 회사도 안다니니까..ㅎㅎ 다시 콕스 엔데버 써도 되겠지만.. 이젠 로지텍에 너무..

논문 재정비해서 다시 투고해야하고, 실험하던 것들도 있지만,1월에 들어서는다 접어두고 복습만 하고 있다.아주 fundamental한 것부터 보고 있다. 뜬금없지만 지난 주에는 공업수학 (선형대수, 미분방정식, 다변수적분, 신호처리)을 훑었는데, Kreysizig 문제를 푸는 crazy한 짓은 학부 때 한 걸로 족하고 ㅎㅎ그냥 기본적인 개념 위주로 공부했다.집단지성에 기여하시는 훌륭한 분들이 계셔서.. 유튜브 & 블로그 보며 공부했다.(진심 넘나 감사..) 그리고,지난 한 해 동안 너무 엄청난 것들을 한꺼번에 배워서..하나씩 다시 살펴보고 있다.  오늘은 하루종일 VAE만 본 듯..다시 봐도 엄청나고, 아름답다.몸이 자꾸 아파서 큰일이다.보통 순 공부 시간이 8시간 정도 되는데,요 며칠은 너무 컨디션이 안..

보고싶다.

논문과 코드의 간극 논문에서 제시한 수식과..코드가.. 도저히 연결이 안되다가..드디어 해결!!  이해 완료!애매했던 부분들 다 해결했다.  RoPE,  Grouped Query Attention, KV cache,  내가 특히 취약했던 부분 - decoding part (inferencing) - Greedy decoding, Beam Search, Top_p.  다 해결! 그간 LlaMa, Gemma 코드 만들어 놓고도 방치했는데, 이제야 온전히 내꺼 같다. 이제야 내 LlaMa, Gemma가 생겼네. "이제서야..?" 라고 물으신다면..할 말 없습니다..남들보다 좀 느려요.. (좀 많이.. ㅜㅜ) (인생이 지각 인생입니다..) 저번에 TroL 논문 읽고 코드를 살펴보니, 저자가 phi-3를 기깔나게..

회사에서 연락이 왔다.. 사실 이번에 처음은 아니다.. 연락이 와도 흔들리지 않았었다.. 무슨 일이 있어도 풀타임으로 매진해서 졸업하겠노라고 진교수님과 약조를 하고 시작한 과정이다.. 근데 지금은 심하게 흔들린다.. 팀도 좋은 팀이다.. 근무하던 당시에도 나에게 관심을 보여주시던 팀이다..일손이 급하신가 보다. 공고 내기도 전에 연락을 주셨다.우선 1년만이라도 와달라고, 급여는 재직 중이던 때의 두 배를 말씀하신다.. 휴학할까..? 자퇴는.. 이교수님, 진교수님, 임교수님이 아마 영원히 나 안보실 거다..영원히 모교와는 끝장이다.. 때마침 집도 곧 계약만료로 이사 시점이다.. 이건, 이제 정신차리고 일하러 가라는 하늘의 계시일까..? 내 주제에 무슨 공부며.. 연구며..뭐 깜냥 된다고 그럴꺼면 진작하지,..

여러모로 잊지 못할 해가 될 것 같다.정말 여러 모로..  상상도 못했다. 이렇게 대학원에 진학하게 될줄이야. 학부 시절에는 ML 이런 거 몰랐다. 그냥 통계, 수학 과목만 열심히 듣고 졸업했다. 프로젝트는 한번도 해본 적이 없다. 프로젝트를 하는 수업들이 아니었다. 주구장창 시험 보는 과목들이었다. ㅎㅎ 딱히 과제도 뭐.. 회귀, 다변량은 과제가 있었던가. 공대 과목은 좀 있었던 것 같고. ML/DL 관련 수업을 난생 처음 들었다.  프로젝트도 난생 처음 해봤다.논문 리뷰 발표도 처음 해봤다. 논문도 처음 써봤다. 정말.. 무지랭이도 이런 무지랭이가 없을거다. 2024년은 아침에 눈 뜨면 책상에 앉고, 잠 들기 직전까지 책상에 있다가 잠드는 생활을 1년 내내 했다.  아.. 그러고 보니.. 공부하다가 ..

지나치게 긴데.. 내가 뭘 잘못한걸까..? 하나라도 그대로 재현해보면 좋겠는데, 다 중간에 끊고 있다. 이런..  저자들은 policy (optimize 하는 모델) 과 proposal (reference model)을 각각 다른 device에 올렸다. 나는 device 하나로 실험을 하고 있다. 그래서 그런걸까? 우째..?

* f-divergence* f-divergence examples (KL-divergence, Total Variation Distance)* Aligning LMs with Preferences through f-divergence Minimization* Algorithm