"Attention Mechanism" · 1개 게시물

Transformer and BERT

Transformer의 어텐션 구조와 이를 바탕으로 한 BERT를 살펴봅니다. 셀프 어텐션, 위치 인코딩, 사전학습 방식을 정리합니다.