Why
The PoC measures prefill versus decode cost with and without cache reuse, connecting the mechanism to the cache-read price cut that changes long-context agent bills.
How it works
Not yet built.
Workspace Index › Dev Notes › KV cache — why the second token is cheaper than the first
#201PoC
KV cache — why the second token is cheaper than the first
The KV cache stores attention keys and values so each new token does not recompute the whole context, which is why prefill is expensive and decoding is fast — and why cache pricing reshapes agent economics.
KV 캐시 — 두 번째 토큰이 첫 번째보다 싼 이유
KV 캐시는 어텐션 키와 값을 저장해 새 토큰마다 전체 컨텍스트를 재계산하지 않게 하며, 그래서 프리필은 비싸고 디코딩은 빠릅니다 — 그리고 캐시 가격이 에이전트 경제를 다시 짜는 이유입니다.
왜
이 PoC는 캐시 재사용 유무에 따른 프리필 대 디코드 비용을 측정하여, 이 메커니즘을 긴 컨텍스트 에이전트 청구를 바꾸는 캐시 읽기 가격 인하로 연결합니다.
동작 방식
아직 만들지 않음.