Why
The PoC studies the routing mechanism and the capacity-versus-compute tradeoff, explaining how a model can be 'large' and 'cheap to run' at once.
How it works
Not yet built.
Workspace Index › Dev Notes › Mixture of Experts — a big model that only runs part of itself
#199PoC
Mixture of Experts — a big model that only runs part of itself
MoE models route each token to a few of many expert sub-networks, so total parameters can be huge while compute per token stays modest — the architecture behind several frontier models.
전문가 혼합 — 자기 일부만 돌리는 큰 모델
MoE 모델은 각 토큰을 여러 전문가 하위망 중 몇 개로 라우팅하여, 총 파라미터는 거대하되 토큰당 계산은 소박하게 유지합니다 — 여러 프런티어 모델 뒤의 아키텍처입니다.
왜
이 PoC는 라우팅 메커니즘과 용량 대 계산 트레이드오프를 연구하여, 모델이 어떻게 '크면서' '돌리기 싸게' 될 수 있는지 설명합니다.
동작 방식
아직 만들지 않음.