BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
손상된 텍스트를 복원하며 사전학습하는 BART를 살펴봅니다. 양방향 인코더와 자기회귀 디코더를 결합한 구조 및 텍스트 생성 적용을 정리합니다.
계속 읽기"Pre-training" · 2개 게시물
모든 태그 보기
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
토큰을 생성하는 대신 교체된 토큰을 판별하며 학습하는 ELECTRA를 살펴봅니다. 생성기와 판별기를 활용한 효율적인 언어 모델 사전학습을 정리합니다.
계속 읽기