Why
The PoC contrasts plain and speculative decoding on the same prompt and measures the latency win and its dependence on draft-model agreement.
How it works
Not yet built.
Workspace Index › Dev Notes › Speculative decoding — a small model drafts, a big model checks
#200PoC
Speculative decoding — a small model drafts, a big model checks
Speculative decoding speeds generation by letting a small draft model propose tokens that a large model verifies in parallel, cutting latency with no change to the output distribution.
추측 디코딩 — 작은 모델이 초안을 쓰고 큰 모델이 검사한다
추측 디코딩은 작은 초안 모델이 토큰을 제안하고 큰 모델이 병렬로 검증하게 해 생성을 가속하며, 출력 분포를 바꾸지 않고 지연시간을 줄입니다.
왜
이 PoC는 같은 프롬프트에서 일반 디코딩과 추측 디코딩을 대조해 지연시간 이득과 초안 모델 일치도에 대한 의존성을 측정합니다.
동작 방식
아직 만들지 않음.