Why
The PoC replays a null experiment with daily peeking and shows how often it 'wins', then contrasts fixed-horizon and sequential designs that actually hold the error rate.
How it works
Not yet built.
Workspace Index › Dev Notes › A/B testing — the p-value that a peeked experiment inflates
#175PoC
A/B testing — the p-value that a peeked experiment inflates
A/B tests promise a clean causal read from randomization, but stopping early when the result looks good — peeking — silently multiplies the false-positive rate the test claims to control.
A/B 테스트 — 훔쳐본 실험이 부풀리는 p-값
A/B 테스트는 무작위화로 깨끗한 인과 해석을 약속하지만, 결과가 좋아 보일 때 일찍 멈추는 것 — 훔쳐보기 — 은 검정이 통제한다고 주장하는 거짓양성률을 조용히 배가시킵니다.
왜
이 PoC는 매일 훔쳐보는 귀무 실험을 재현해 얼마나 자주 '이기는지' 보이고, 오류율을 실제로 지키는 고정 지평·순차 설계와 대조합니다.
동작 방식
아직 만들지 않음.