Attention 해석1 Transformer (트랜스포머) 해석 트랜스포머는 2017년에 구글브레인에서 작성한 Attention Is All You Need에서 언급된 self-attention 매커니즘을 기반으로하는 새로운 신경망 아키텍처라고 할 수 있다. 기계번역에 사용되며 Seq to seq 형태처럼 입력시퀀스를 받고, 디코더에서는 출력시퀀스를 반환한다. 특히, 강조되는 것은 오토인코더의 형식이 어텐션메커니즘(Attention mechanism)으로만 이용했다는 것이다. 트랜스포머는 아래의 두 가지 문제에서 기술적 발전을 이뤘다고 할 수 있다. 1) RNN 계열을 순차적으로 연산한다는 점에 있어서 병렬처리에 어려움이 있고, 연상량이 많아 학습속도가 느림을 해결 2) RNN에서 시간차가 먼 경우의 정보의 활용이 떨어짐(timestamp가 멀어 문장의 앞단어와 문장.. 2021. 5. 13. 이전 1 다음
