밤에 쓰는 편지 밤에 쓰는 편지

※ 출처: 딥 러닝을 이용한 자연어 처리 입문 RNN을 이용한 인코더-디코더 하나의 RNN을 인코더, 또 다른 하나의 RNN을 디코더라는 모듈로 명명하고 두 개의 RNN을 연결해서 사용하는 인코더-디코더 구조는 주로 입력 문장과 출력 문장의 길이가 다를 경우에 사용하는데, 대표적 분야가 번역기나 텍스트 요약입니다. 영어 문장을 한국어 문장으로 번역한다고 하였을 때, 입력 문장인 영어 문장과 번역된 결과인 한국어 문장의 길이는 똑같을 필요가 없습니다. 텍스트 요약의 경우에는 출력 문장이 요약된 문장이므로 입력 문장보다는 당연히 길이가 짧을 것입니다. 시퀀스-투-시퀀스 (Sequence-to-Sequence, seq2seq) 시퀀스-투-시퀀스 (Sequence-to-Sequence, seq2seq)는 입력된..

※ 출처: https://nlp.seas.harvard.edu/annotated-transformer/#part-1-model-architecture The Transformer has been on a lot of people's minds over the last five years. This post presents an annotated version of the paper in the form of a line-by-line implementation. It reorders and deletes some sections from the original paper and adds comments throughout. This document itself is a working notebook, a..

출처: https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Sequence-to-sequence models are deep learning models that have achieved a lot of success in tasks like machine translation, text summarization, and image captioning. Google Translate started using such a model in production in late 2016. These models are explained in the two pioneeri..

※ 출처: https://jalammar.github.io/illustrated-transformer/ Attention is a concept that helped improve the performance of neural machine translation applications. The Transformer is a model that uses attention to boost the speed with which these models can be trained. The Transformer outperforms the Google Neural Machine Translation model in specific tasks. The biggest benefit, however, comes from..