"PagedAttention" · 1개 게시물

Efficient Memory Management for Large Language Model Serving with PagedAttention

LLM 서빙에서 KV 캐시의 메모리 낭비를 줄이는 PagedAttention을 살펴봅니다. vLLM의 메모리 관리 방식과 처리량 개선의 핵심을 정리합니다.