Challenges
Datasets
Workspaces
Papers
Discussions
Leaderboard
Log inSign up
Challenges
Datasets
Workspaces
Papers
Discussions
Leaderboard
Blog
Job Board
Q3AS

© 2026 Aqora Quantum S.A.S.

TermsPrivacyLegal Notice

FP4-Qaunt: FP4를 이용한 거대 언어 모델 양자화

Jiheon Seok

Published Jan 1, 2024• 0 citations
OpenAlex

Abstract

거대언어모델(LLM)은자연어,비전,음성등다양한분야의벤치마크에서뛰어난성 능을보이고있습니다.하지만모델을운영하기위해서필요한많은양의자원이필요하고, 실행 시간 또한 오래 걸립니다. 이를 해결 하기 위해서 다양한 경량화 기법이 개발되었는 데, 그 중 가장 대표적인 방법이 양자화입니다. 양자화는 모델의 가중치 또는 활성화값을 16, 32bit가 아닌 4, 8 bit로 표현해서 필요한 메모리와 inference time을 줄이는 방법이 다. 최근에 LLM을 돌리는 데 필요한 엄청난 자원을 절약하기 위해서 또한, 추론 시간을 줄이기 위해서 다양한 INT8, INT4 양자화 방법이 개발되어 모델 성능을 유지한 채, 낮은 bit 수로 모델을 이용할 수 있게 되었다.하지만 최근 nvidia에서는 low bit integer(INT4) 의 지원을 하지 않고 low bit floating point(FP4)의 지원을 하기 시작했다. 이로 인해서 부동소수점 양자화에 대한 연구가 필요하다. 하지만 부동소수점 양자화 방법에 대해서 연구는 거의 이루어지지 않았으며, 기존에 제안되었던 방법은 실제로 사용하기에는 매우 오랜 시간이 걸린다. 본 논문에서는 FP4-Quant라는 FP4를 이용해서 양자화하는 방법을 제안하고, FP4 형태에 따른 양자화 성능 차이를 보여준다. 주요어: 양자화, 부동소수점, 거대 언어 모델 학번: 2022-22948

Related papers

Enhancing Low-bit Quantization of Vision Models via Rotation Transformation

Jaewoo Park, Yunjeong Yong, Jihae Lee

최신 비전 모델들은 활성화 이상치로 인해 저비트 양자화 시 성능 저하가 크게 발생한다. 이를 완화하기 위해 본 논문에서는 LLM에서 검증된 직교 행렬 기반 회전 변환을 RF-DETR, RT-DETR, YOLOv12에 적용하였다. 실험 결과 회전 변환은 레이어별 첨도를 낮춰 긴 꼬리 분포와 극단적 이상치의 영향을 효과적으로 완화하였고, 저비트 설정에서 탐지 성능 저하를 유의미하게 줄였다. 특히 RF-DETR은 W4A8에서 Baseline에 근접한 성능을 회복하였으며, RT-DETR은 QRT-DETR 대비 추가적인 성능 향상을 통해 저비트 환경에서의 민감도를 낮추었다. YOLOv12 또한 저비트 설정에서 일관된 성능 개선을 보여 양자화 오류 완화에 기여함을 확인하였다.더불어 회전 변환 적용 후에도 추론 시간은 baseline(43.75ms)과 유사한 수준(41.31ms)으로 유지되어, 제안 기법이 추가적인 런타임 오버헤드를 유의미하게 증가시키지 않음을 시사한다.

Journal of the Institute of Electronics and Information Engineers•Mar 30, 2026•0 citations

양자 통신 시스템의 효율적 후처리 방식

이선의, 정국현, 김진영

양자 역학을 이용한 양자 암호 분야는 가장 구현가능성이 높은 분야중 하나이다. 그로인해 양자 암호는 꾸준히 연구되어 왔고 QKD시스템의 대표적인 BB84 프로토콜 등 다양한 통신 방식이 개발되어 왔다. 본 논문에서는 양자 통신의 기본적인 개념을 설명하고이를 이용한 양자 암호 교환 방식인 QKD 시스템을 설명한다. 또한 양자 암호의 개발이 필요한 이유와 보안성을 위협하는 QKD공격방식을 소개한다. 양자 채널을 모델링하고 qubit의 위상을 추정하여 양자 암호 공격을 시뮬레이션 한다. 다양한 공격 방식이QKD시스템에 보안성을 위협하는 원리를 설명하고 이를 극복하기 위한 양자 후처리 방식의 필요성을 논하고자 한다.

한국위성정보통신학회논문지•Dec 1, 2014•0 citations

부호책 제한을 가지는 표본 적응 프로덕트 양자기를 이용한 1차 마르코프 과정의 고 전송률 양자화

김동식

디지털 신호의 양을 줄이기 위한 손실 소스 부호화에서 양자화는 필수적이다. 이때 보다 효율적인 양자화를 위해서는 벡터 양자기(vector quantizer: VQ)를 사용하는데, 벡터의 차수 또는 전송률이 올라감에 따라 VQ의 부호화 복잡도는 기하급수적으로 증가한다. 이를 보완하기 위하여 여러 변형된 VQ가 제안되어 있다. 이러한 변형된 VQ의 일종으로 표본 적응 프로덕트 양자기(sample-adaptive product quantizer: SAPQ)가 있는데, 벡터의 차수를 줄여서 부호화 복잡도를 줄일 수 있는 프로덕트 VQ(product VQ: PQ)와 유사한 구조를 가지지만, 일반 PQ보다 더 좋은 성능을 가지면서 일반 VQ보다는 부호화 복잡도가 낮고 부호책을 위한 메모리의 크기도 작은 일종의 구조적 제한을 가지는 VQ이다. 이러한 SAPQ 중에서 부호책의 구조가 양자화 공간의 대각선에 대칭 형태를 가지는 단순한 형태의 1-SAPQ가 있는데, 이러한 1-SAPQ의 성능은 동일한 분포를 가지며 서로 독립인 입력에 좋은 성능을 보인다. 본 논문에서는 1-SAPQ를 1차 마르코프 과정에 대하여 설계하고 그 성능을 평가하였다. 효율적인 1-SAPQ의 설계를 위하여 초기 부호책 설계 알고리듬을 제안하였으며, 수치해석을 통하여 1-SAPQ는 비슷한 부호화 복잡도를 가지는 VQ보다 좋은 성능을 보임을 보였다. 또한 DPCM(differential pulse coded modulation) 기법에 Lloyd-Max 양자화를 사용한 경우의 성능에 근접함을 보였다.

Scientific Programming•Jan 1, 2012•0 citations

양자 소프트웨어 시뮬레이터 비교 및 분석

김제인, 조성민, 서승현

최근 IBM, Intel 과 같은 글로벌 ICT 기업들과 여러 스타트업들이 양자 컴퓨터 개발에 성공하였으며 그에 따라 양자 시뮬레이터와 컴파일러에 대한 관심이 높아졌다. 여러 개의 시뮬레이터가 존재하는 만큼 시뮬레이터마다 제공하는 기능과 성능 역시 제각각 다르다. 본 논문에서는 비교적 접근이 쉬운 파이썬과 Q# 기반의 대표적인 양자 시뮬레이터 3 가지(Qiskit, Project Q, Quantum Development Kit)에서 제공하는 기능들을 소개하고 시뮬레이션 실행시간을 비교한다. 10 뎁스의 20 큐비트 회로에서는 QDK 시뮬레이터가 0.227 초로 실행 시간이 가장 짧았고, 10 큐비트의 10 뎁스 회로의 경우 Project Q 가, 1000 뎁스의 경우 Qiskit 이 가장 짧은 실행시간으로 측정됐다.

한국정보처리학회 학술대회논문집•Jan 1, 2021•0 citations

Quasi-Cyclic Low Density Parity Check 복호기의 다양한 설계 관점에 대한 성능분석

정수경, 박태근

본 논문은 LLR-BP 복호 알고리즘을 사용하는 LDPC 복호기의 하드웨어 구조 분석하고 효율적인 복호기의 설계 방법들을 제시하였다. 또한 설계 시 복호 성능 및 하드웨어 복잡도에 영향을 미칠 수 있는 다양한 설계 이슈들을 제시하고 복호 성능의 변화를 모의실험을 통하여 분석하였다. 오류확률을 전달하는 메시지의 양자화는 정수부 3비트, 소수부 4비트를 할당하였고, 복호 성능이 저하되지 않도록 사전정보에 정수부 2비트, 소수부 4비트를 할당하였으며 LUT로 구현되는 Ψ(χ) 함수를 조합회로인 PWL 블록으로 대체하여 하드웨어 구조의 개선에 대해 논의하였다. 복호 시간을 단축하기 위하여 중첩 스케줄링을 적용하고, 각 복호기 구조 및 설계 변수들의 제한에 따른 하드웨어 자원을 비교함으로써, 하드웨어 복잡도를 분석하였다

전자공학회논문지-SD•Nov 1, 2009•0 citations

LDPC 부호의 복호를 위한 양자화 성능과 반복 횟수 통계

서영동, 공민한, 송문규

LDPC 복호기의 성능과 하드웨어 복잡도는 양자화 과정의 설계 변수인 클리핑 임계치(clipping threshold) c th 와 양자화 비트 수 q, 그리고 복호과정의 최대 반복 횟수에 의존한다. 본 논문에서는 이상적인 Min-Sum 알고리즘과 양자화된 Min-Sum 알고리즘을 비교하기 위해서 시뮬레이션을 통해 클리핑 임계치 c th 와 양자화 비트 수 q에 따른 LDPC 부호의 비트 오율 성능을 평가하였다. 시뮬레이션 결과 클리핑 임계치 c th = 2.5, 양자화 비트 수 q = 6일 경우에 이상적인 Min-Sum 알고리즘에 가장 근접한 비트 오율이 나타남을 확인할 수 있었다. 또한 반복 횟수의 통계적 분석을 통한 반복 횟수의 확률 밀도 함수를 이용하여 q와 반복 횟수에 따른 복호 복잡도를 계산하고, 부호어 에러율(word error rate; WER) 성능을 추정하였다. 이상의 결과는 LDPC 복호기 설계에서 부호의 성능과 복호 복잡도 사이의 절충을 위해 사용될 수 있다.

IEEE Transactions on Computers•Feb 1, 2008•0 citations
거대언어모델(LLM)은자연어,비전,음성등다양한분야의벤치마크에서뛰어난성 능을보이고있습니다.하지만모델을운영하기위해서필요한많은양의자원이필요하고, 실행 시간 또한 오래 걸립니다. 이를 해결 하기 위해서 다양한 경량화 기법이 개발되었는 데, 그 중 가장 대표적인 방법이 양자화입니다. 양자화는 모델의 가중치 또는 활성화값을 16, 32bit가 아닌 4, 8 bit로 표현해서 필요한 메모리와 inference time을 줄이는 방법이 다. 최근에 LLM을 돌리는 데 필요한 엄청난 자원을 절약하기 위해서 또한, 추론 시간을 줄이기 위해서 다양한 INT8, INT4 양자화 방법이 개발되어 모델 성능을 유지한 채, 낮은 bit 수로 모델을 이용할 수 있게 되었다.하지만 최근 nvidia에서는 low bit integer(INT4) 의 지원을 하지 않고 low bit floating point(FP4)의 지원을 하기 시작했다. 이로 인해서 부동소수점 양자화에 대한 연구가 필요하다. 하지만 부동소수점 양자화 방법에 대해서 연구는 거의 이루어지지 않았으며, 기존에 제안되었던 방법은 실제로 사용하기에는 매우 오랜 시간이 걸린다. 본 논문에서는 FP4-Quant라는 FP4를 이용해서 양자화하는 방법을 제안하고, FP4 형태에 따른 양자화 성능 차이를 보여준다. 주요어: 양자화, 부동소수점, 거대 언어 모델 학번: 2022-22948
최신 비전 모델들은 활성화 이상치로 인해 저비트 양자화 시 성능 저하가 크게 발생한다. 이를 완화하기 위해 본 논문에서는 LLM에서 검증된 직교 행렬 기반 회전 변환을 RF-DETR, RT-DETR, YOLOv12에 적용하였다. 실험 결과 회전 변환은 레이어별 첨도를 낮춰 긴 꼬리 분포와 극단적 이상치의 영향을 효과적으로 완화하였고, 저비트 설정에서 탐지 성능 저하를 유의미하게 줄였다. 특히 RF-DETR은 W4A8에서 Baseline에 근접한 성능을 회복하였으며, RT-DETR은 QRT-DETR 대비 추가적인 성능 향상을 통해 저비트 환경에서의 민감도를 낮추었다. YOLOv12 또한 저비트 설정에서 일관된 성능 개선을 보여 양자화 오류 완화에 기여함을 확인하였다.더불어 회전 변환 적용 후에도 추론 시간은 baseline(43.75ms)과 유사한 수준(41.31ms)으로 유지되어, 제안 기법이 추가적인 런타임 오버헤드를 유의미하게 증가시키지 않음을 시사한다.
양자 역학을 이용한 양자 암호 분야는 가장 구현가능성이 높은 분야중 하나이다. 그로인해 양자 암호는 꾸준히 연구되어 왔고 QKD시스템의 대표적인 BB84 프로토콜 등 다양한 통신 방식이 개발되어 왔다. 본 논문에서는 양자 통신의 기본적인 개념을 설명하고이를 이용한 양자 암호 교환 방식인 QKD 시스템을 설명한다. 또한 양자 암호의 개발이 필요한 이유와 보안성을 위협하는 QKD공격방식을 소개한다. 양자 채널을 모델링하고 qubit의 위상을 추정하여 양자 암호 공격을 시뮬레이션 한다. 다양한 공격 방식이QKD시스템에 보안성을 위협하는 원리를 설명하고 이를 극복하기 위한 양자 후처리 방식의 필요성을 논하고자 한다.
디지털 신호의 양을 줄이기 위한 손실 소스 부호화에서 양자화는 필수적이다. 이때 보다 효율적인 양자화를 위해서는 벡터 양자기(vector quantizer: VQ)를 사용하는데, 벡터의 차수 또는 전송률이 올라감에 따라 VQ의 부호화 복잡도는 기하급수적으로 증가한다. 이를 보완하기 위하여 여러 변형된 VQ가 제안되어 있다. 이러한 변형된 VQ의 일종으로 표본 적응 프로덕트 양자기(sample-adaptive product quantizer: SAPQ)가 있는데, 벡터의 차수를 줄여서 부호화 복잡도를 줄일 수 있는 프로덕트 VQ(product VQ: PQ)와 유사한 구조를 가지지만, 일반 PQ보다 더 좋은 성능을 가지면서 일반 VQ보다는 부호화 복잡도가 낮고 부호책을 위한 메모리의 크기도 작은 일종의 구조적 제한을 가지는 VQ이다. 이러한 SAPQ 중에서 부호책의 구조가 양자화 공간의 대각선에 대칭 형태를 가지는 단순한 형태의 1-SAPQ가 있는데, 이러한 1-SAPQ의 성능은 동일한 분포를 가지며 서로 독립인 입력에 좋은 성능을 보인다. 본 논문에서는 1-SAPQ를 1차 마르코프 과정에 대하여 설계하고 그 성능을 평가하였다. 효율적인 1-SAPQ의 설계를 위하여 초기 부호책 설계 알고리듬을 제안하였으며, 수치해석을 통하여 1-SAPQ는 비슷한 부호화 복잡도를 가지는 VQ보다 좋은 성능을 보임을 보였다. 또한 DPCM(differential pulse coded modulation) 기법에 Lloyd-Max 양자화를 사용한 경우의 성능에 근접함을 보였다.
최근 IBM, Intel 과 같은 글로벌 ICT 기업들과 여러 스타트업들이 양자 컴퓨터 개발에 성공하였으며 그에 따라 양자 시뮬레이터와 컴파일러에 대한 관심이 높아졌다. 여러 개의 시뮬레이터가 존재하는 만큼 시뮬레이터마다 제공하는 기능과 성능 역시 제각각 다르다. 본 논문에서는 비교적 접근이 쉬운 파이썬과 Q# 기반의 대표적인 양자 시뮬레이터 3 가지(Qiskit, Project Q, Quantum Development Kit)에서 제공하는 기능들을 소개하고 시뮬레이션 실행시간을 비교한다. 10 뎁스의 20 큐비트 회로에서는 QDK 시뮬레이터가 0.227 초로 실행 시간이 가장 짧았고, 10 큐비트의 10 뎁스 회로의 경우 Project Q 가, 1000 뎁스의 경우 Qiskit 이 가장 짧은 실행시간으로 측정됐다.
본 논문은 LLR-BP 복호 알고리즘을 사용하는 LDPC 복호기의 하드웨어 구조 분석하고 효율적인 복호기의 설계 방법들을 제시하였다. 또한 설계 시 복호 성능 및 하드웨어 복잡도에 영향을 미칠 수 있는 다양한 설계 이슈들을 제시하고 복호 성능의 변화를 모의실험을 통하여 분석하였다. 오류확률을 전달하는 메시지의 양자화는 정수부 3비트, 소수부 4비트를 할당하였고, 복호 성능이 저하되지 않도록 사전정보에 정수부 2비트, 소수부 4비트를 할당하였으며 LUT로 구현되는 Ψ(χ) 함수를 조합회로인 PWL 블록으로 대체하여 하드웨어 구조의 개선에 대해 논의하였다. 복호 시간을 단축하기 위하여 중첩 스케줄링을 적용하고, 각 복호기 구조 및 설계 변수들의 제한에 따른 하드웨어 자원을 비교함으로써, 하드웨어 복잡도를 분석하였다
LDPC 복호기의 성능과 하드웨어 복잡도는 양자화 과정의 설계 변수인 클리핑 임계치(clipping threshold) c th 와 양자화 비트 수 q, 그리고 복호과정의 최대 반복 횟수에 의존한다. 본 논문에서는 이상적인 Min-Sum 알고리즘과 양자화된 Min-Sum 알고리즘을 비교하기 위해서 시뮬레이션을 통해 클리핑 임계치 c th 와 양자화 비트 수 q에 따른 LDPC 부호의 비트 오율 성능을 평가하였다. 시뮬레이션 결과 클리핑 임계치 c th = 2.5, 양자화 비트 수 q = 6일 경우에 이상적인 Min-Sum 알고리즘에 가장 근접한 비트 오율이 나타남을 확인할 수 있었다. 또한 반복 횟수의 통계적 분석을 통한 반복 횟수의 확률 밀도 함수를 이용하여 q와 반복 횟수에 따른 복호 복잡도를 계산하고, 부호어 에러율(word error rate; WER) 성능을 추정하였다. 이상의 결과는 LDPC 복호기 설계에서 부호의 성능과 복호 복잡도 사이의 절충을 위해 사용될 수 있다.