밤에 쓰는 편지 밤에 쓰는 편지

RL 공부하던 중에 뜬금없지만 Gradient-free method에서 나온 Bayesian Optimization. 내가 넘나 좋아하는 문교수님의 명품 GP 강의를 다시 수강할 기회잖아. 이 기회를 놓칠 수 없지 ㅎ 다시 들어도 감탄 또 감탄. 교수님 만세 ㅎㅎㅎ 레알 내가 GP, Bayesian optimzation 이것저것 reference 뒤져봤어도, 전 지구를 통틀어 교수님 강의가 최고다. ㅎㅎ 듣고 있으면, 이해가 쏙쏙 되어서, 너무 행복하고이런 강의를 이렇게 무료로 들어도 되나 싶을 정도로 황송하다. 교수님께 감사하다는 말씀을 전해드릴 길이 없네.

왜 Deep Ensemble이 Bayesian method보다 잘 작동하는가에 대해서 다양한 실험을 통해 기전을 설명해준다. 아래 deep ensemble original paper를 보며 가진 궁금증과 직관적인 hypothesis가 잘 들어맞는다. 그 hypothesis를 증명하기 위한 실험들이 굉장히 신박하고 재미있다.visualization을 아주 잘 해서 쉽게 이해할 수 있다. 흥미로운 논문이다. (근데 실험 중간까지만 읽고 다 못 읽었다. 오늘 너무 컨디션이 안좋아서 좀 쉬어야 할 것 같다.) ※ 내가 톺아본 Bayesian neural network가 시기적으로 꽤 예전인데, 최근 동향은 어떤지도 좀 궁금하다.(중간에 다 못읽음)

※ Below is just my personal opinion (not validated)어지간하면 ensembles로 prediction accuracy를 높일 수 있다는 건 잘 알려진 테크닉이다. 그렇기 때문에, Kaggle과 같은 competition에서는 미세한 점수 차이로 순위가 갈릴 때 보통 ensemble로 마른 수건을 짜내곤 한다. 그런데 놀라웁게도, ensembles은 prediction accuracy 뿐만 아니라, uncertainty estimation에서도 bayesian method보다 좋은 performance를 보여준다. 여기서 좋다는 의미는 여러가지가 있는데, 모르는 걸 모른다고 잘 말하는 것 뿐만 아니라, 구현이 쉽고 large-scale에도 적용이 가능하다. 그렇..

https://campusai.github.io/papers/maddox_et_al_bayesian_uncertainty_deep_learning CampusAIThis paper proposes the SWA-Gaussian algorithm for uncertainty representation and calibration in Deep Learning. Standard Neural Networks do not provide any information about the confidence of their predictions. The SWAG algorithm proposed in this paper achcampusai.github.io https://www.youtube.com/watch?v=q..

https://arxiv.org/pdf/2012.00152* Neural Tangent Kernelhttps://lilianweng.github.io/posts/2022-09-08-ntk/ Some Math behind Neural Tangent KernelNeural networks are well known to be over-parameterized and can often easily fit data with near-zero training loss with decent generalization performance on test dataset. Although all these parameters are initialized at random, the optimization process c..

https://arxiv.org/pdf/1711.00165

https://people.tamu.edu/~sji/classes/nnkernel.pdf

https://www.youtube.com/playlist?list=PLzZ7PPT4KK5qpd-1VF4qmFMlpnr1is7Pu 인공지능 및 기계학습 심화1* 수강 대상 : 본 강좌는 심화 및 현실 응용에 중점을 둔 강의 이므로 인공지능 개념에 대한 기초 지식이 있는 학생 본 강좌는 인공지능 및 기계학습의 다양한 이론 중, 심화 및 현실 응용에 중점www.youtube.com 교수님 정말 잘 가르쳐주신다.강추. 시리즈가 여러 개인데, 언제 날 잡고 다 차근차근 봐야겠다. GP를 이해하기 위해서, 유튜브 강좌를 여러 개를 보고, blog post도 여러 개를 보았는데, 교수님 강의를 듣고 나서야 비로소 이해했다. 왜 그렇게 어딘지 모르게 계속 이해를 못했던걸까 곰곰히 생각해보니kernel trick에서 ..