"Discriminator" · 1개 게시물

ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators

토큰을 생성하는 대신 교체된 토큰을 판별하며 학습하는 ELECTRA를 살펴봅니다. 생성기와 판별기를 활용한 효율적인 언어 모델 사전학습을 정리합니다.