Quantization — running a big model in a small memory

Quantization stores weights at lower precision (8-bit, 4-bit) so a large model fits on modest hardware, trading a measurable accuracy drop for a large memory and speed win.

Not yet scoped.

Why

The PoC runs one model at several bit-widths and measures the accuracy-versus-footprint curve, the number that decides whether local inference is viable.

How it works

Not yet built.

← All Dev Notes · Workspace Index · Top ↑

양자화 — 큰 모델을 작은 메모리에서 돌리기

양자화는 가중치를 더 낮은 정밀도(8비트, 4비트)로 저장해 큰 모델이 소박한 하드웨어에 들어가게 하며, 측정 가능한 정확도 하락을 큰 메모리·속도 이득과 맞바꿉니다.

아직 범위 미정.

왜

이 PoC는 한 모델을 여러 비트 폭으로 돌려 정확도 대 메모리 곡선을 측정합니다 — 로컬 추론이 가능한지 결정하는 숫자입니다.

동작 방식

아직 만들지 않음.

← 전체 개발 노트 · 워크스페이스 인덱스 · 맨 위 ↑