"Model Acceleration" · 1개 게시물

AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

활성화 정보를 활용해 중요한 가중치를 보호하는 AWQ를 살펴봅니다. 낮은 비트의 가중치 양자화로 LLM의 메모리 사용량과 추론 비용을 줄이는 방법을 정리합니다.