Toolformer: Language Models Can Teach Themselves to Use Tools
언어 모델이 외부 도구의 호출 시점과 사용법을 스스로 학습하는 Toolformer를 살펴봅니다. API 호출 데이터를 구성하고 학습에 활용하는 과정을 정리합니다.
계속 읽기"자연어 처리" · 8개 게시물
언어 모델, 사전학습, 질의응답 등 자연어 처리 논문 리뷰
모든 태그 보기
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
손상된 텍스트를 복원하며 사전학습하는 BART를 살펴봅니다. 양방향 인코더와 자기회귀 디코더를 결합한 구조 및 텍스트 생성 적용을 정리합니다.
계속 읽기
LaMDA: Language Models for Dialog Applications
대화용 언어 모델 LaMDA의 학습과 평가를 살펴봅니다. 대화 품질, 안전성, 외부 정보에 근거한 응답을 위한 접근을 정리합니다.
계속 읽기
Few-Shot Question Answering by Pretraining Span Selection (Splinter)
적은 수의 예제로 질문 응답을 학습하는 Splinter를 살펴봅니다. 반복되는 스팬을 활용한 사전학습 과제와 스팬 선택 방법을 정리합니다.
계속 읽기
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
토큰을 생성하는 대신 교체된 토큰을 판별하며 학습하는 ELECTRA를 살펴봅니다. 생성기와 판별기를 활용한 효율적인 언어 모델 사전학습을 정리합니다.
계속 읽기
Transformer and BERT
Transformer의 어텐션 구조와 이를 바탕으로 한 BERT를 살펴봅니다. 셀프 어텐션, 위치 인코딩, 사전학습 방식을 정리합니다.
계속 읽기
End-to-End Neural Coreference Resolution
문서에서 같은 대상을 가리키는 표현을 연결하는 신경망 기반 상호참조 해결을 살펴봅니다. 스팬 표현과 선행사 예측의 핵심 아이디어를 정리합니다.
계속 읽기
Neural Machine Translation of Rare Words with Subword Units
희귀 단어와 미등록 단어를 다루기 위한 서브워드 기반 번역을 살펴봅니다. BPE로 단어를 작은 단위로 나누는 방법과 효과를 정리합니다.
계속 읽기