Why
The PoC distills a small model from a larger one's outputs on a narrow task and measures the capability retained versus the size saved.
How it works
Not yet built.
Workspace Index › Dev Notes › Distillation — a small model trained to imitate a big one
#202PoC
Distillation — a small model trained to imitate a big one
Distillation trains a compact student on a large teacher's outputs, capturing much of the capability at a fraction of the cost — the standard path from a frontier model to a deployable one.
증류 — 큰 모델을 모방하도록 학습된 작은 모델
증류는 작은 학생을 큰 교사의 출력으로 학습시켜 능력의 상당 부분을 비용의 일부로 담아냅니다 — 프런티어 모델에서 배포 가능한 모델로 가는 표준 경로입니다.
왜
이 PoC는 좁은 과제에서 더 큰 모델의 출력으로 작은 모델을 증류하고, 유지된 능력 대 절약된 크기를 측정합니다.
동작 방식
아직 만들지 않음.