Why
The PoC visualizes attention on a short sequence and the O(n^2) scaling, connecting the mechanism to why context windows and caching matter downstream.
How it works
Not yet built.
Workspace Index › Dev Notes › Attention — the mechanism, and why context costs quadratically
#196PoC
Attention — the mechanism, and why context costs quadratically
Self-attention lets every token weigh every other, which is the transformer's power and its cost — compute grows with the square of context length, the reason long context is expensive.
어텐션 — 그 메커니즘, 그리고 컨텍스트가 제곱으로 비싼 이유
셀프 어텐션은 모든 토큰이 다른 모든 토큰을 저울질하게 하며, 이는 트랜스포머의 힘이자 비용입니다 — 계산이 컨텍스트 길이의 제곱으로 커지고, 긴 컨텍스트가 비싼 이유입니다.
왜
이 PoC는 짧은 시퀀스에서 어텐션과 O(n^2) 스케일링을 시각화하여, 이 메커니즘을 컨텍스트 창과 캐싱이 하류에서 중요한 이유로 연결합니다.
동작 방식
아직 만들지 않음.