잘 지내요

Attention 개념 – 사전적으로 “집중”한다는 의미 – Attemtion을 도입함으로써 문장이 길어도 성능이 떨어지지 않게 된다 – 기존 seq-to-seq의 문제점 encoder에 들어가는 문장의 크기가 다양하지만, context vector는 고정되어 있다. 입력되는 문장의 정보가 경우에 따라서는 충분히 context vector에 전달되지 않는 경우도 있다(bottleneck 문제), RNN 자체의 길이가 길어지면 정보 손실에 의해서 성능이 떨어진다, 3) 사람은 seq-to-seq 처럼 번역하지 … Read more