Transformers란?

---

Transformers는 자연어처리 분야에서 “Attention is All You Need”, Vaswani et al.라는 논문에서 처음 등장했다.

Transformer의 작동은 Attention 기법

Transformer가 2017년 첫 등장했을 때의 모델을 Vanilla Transformer 또는 Transformer라고 부른다.

즉 Vanilla Transformer란 초기 형태의 구조라고 볼 수 있다.