FP4-Qaunt: FP4를 이용한 거대 언어 모델 양자화
Jiheon Seok
Abstract
거대언어모델(LLM)은자연어,비전,음성등다양한분야의벤치마크에서뛰어난성 능을보이고있습니다.하지만모델을운영하기위해서필요한많은양의자원이필요하고, 실행 시간 또한 오래 걸립니다. 이를 해결 하기 위해서 다양한 경량화 기법이 개발되었는 데, 그 중 가장 대표적인 방법이 양자화입니다. 양자화는 모델의 가중치 또는 활성화값을 16, 32bit가 아닌 4, 8 bit로 표현해서 필요한 메모리와 inference time을 줄이는 방법이 다. 최근에 LLM을 돌리는 데 필요한 엄청난 자원을 절약하기 위해서 또한, 추론 시간을 줄이기 위해서 다양한 INT8, INT4 양자화 방법이 개발되어 모델 성능을 유지한 채, 낮은 bit 수로 모델을 이용할 수 있게 되었다.하지만 최근 nvidia에서는 low bit integer(INT4) 의 지원을 하지 않고 low bit floating point(FP4)의 지원을 하기 시작했다. 이로 인해서 부동소수점 양자화에 대한 연구가 필요하다. 하지만 부동소수점 양자화 방법에 대해서 연구는 거의 이루어지지 않았으며, 기존에 제안되었던 방법은 실제로 사용하기에는 매우 오랜 시간이 걸린다. 본 논문에서는 FP4-Quant라는 FP4를 이용해서 양자화하는 방법을 제안하고, FP4 형태에 따른 양자화 성능 차이를 보여준다. 주요어: 양자화, 부동소수점, 거대 언어 모델 학번: 2022-22948