Why
The PoC tokenizes English and Korean with the same tokenizer to show the cost asymmetry and the counting failures, making the invisible preprocessing visible.
How it works
Not yet built.
Workspace Index › Dev Notes › Tokenization — the model does not see characters
#197PoC
Tokenization — the model does not see characters
Text is split into subword tokens before a model sees it, which is why models miscount letters, why some languages cost more tokens, and why a prompt's real length is not its character count.
토크나이제이션 — 모델은 문자를 보지 않는다
텍스트는 모델이 보기 전에 서브워드 토큰으로 쪼개지며, 그래서 모델이 글자를 잘못 세고, 어떤 언어는 토큰이 더 들고, 프롬프트의 실제 길이가 문자 수가 아닙니다.
왜
이 PoC는 같은 토크나이저로 영어와 한국어를 토큰화해 비용 비대칭과 세기 실패를 보이며, 보이지 않는 전처리를 드러냅니다.
동작 방식
아직 만들지 않음.