Copy English

Why

Poker had to invent a word for judging a decision by its outcome, and the word is "resulting". It needed one because the correct play loses often enough that a player who learns from results learns the wrong lesson — folds a hand that was right to call because the last one lost, calls a hand that was wrong because the last one hit. Every field with noisy feedback has this problem; poker is unusual in having named it, priced it, and built its whole training culture around separating process from outcome. In a sample of one, a good bet that lost and a bad bet that lost are indistinguishable, and the only thing that separates them is a record of the reasoning made before the result was known.

The first transferable idea is that the threshold is arithmetic on costs rather than a level of confidence. Calling is correct when the probability of winning exceeds the amount to call divided by the pot plus that amount — a number the price hands you before you know anything about the hand. This catalogue keeps arriving at the same structure from other directions: lead-time-is-the-product finds the alert threshold already stated in the cost ratio on the motivating slide, and the-70-has-to-be-wrong argues that a threshold is a statement about costs and not a property of the forecast. Poker's contribution is that it writes the number down and everyone else leaves it implicit.

The second is that expected value is not the objective, and this is the correction most people need. A strategy that maximises expected value per decision, sized without regard to the bankroll, goes broke with probability one given enough time — because ruin is absorbing and no later edge can be collected from zero. Kelly turns a probability into a size, and the constraint that binds is not the size that maximises growth but the size that survives a bad run of the length the variance actually produces. Calibration gets you the right p, Kelly turns p into a stake, and risk of ruin says the stake is capped by survival rather than by edge. A trading agent with a well-calibrated model and no bankroll rule is a solved forecasting problem attached to an unsolved sizing problem.

The third is that a record means nothing until it is long enough, and how long is computable rather than a matter of opinion. Winning players lose over stretches long enough to destroy confidence, so "am I any good" is not answerable from a month of results. Given a claimed edge and a variance, the number of trials needed to distinguish that edge from zero at a stated confidence is arithmetic, and it is routinely far larger than the sample anyone has. Computing it first converts an argument into a schedule — the same move as the observation window in monad-last-general-purpose-l1, where the useful act was recording a baseline before it became unrecoverable.

And then the part that matters most, which is where the analogy stops. Poker is a game of risk: the distribution is known exactly — fifty-two cards, fixed rules — and only the realisation is hidden. Forecasting is a problem of uncertainty: the distribution itself is unknown and is the thing being estimated. So a poker player's calibration is arithmetic while a forecaster's is an empirical claim that has to be earned against reality, and poker intuitions systematically overrate how well calibrated one can be about the world. Borrow poker's decision hygiene and not its confidence. The second half of the disanalogy does transfer, though, and people forget it: poker is adversarial, so an edge decays as it is used and the opponent adapts. Markets do the same thing, which is why a backtest describes a world that no longer contains you once you trade in it.

How it works

Three ideas that transfer, and their form here

The threshold, written out

The number comes from the price, not from the hand. A decision that skips it is choosing a threshold anyway — just not on purpose, which is the same failure the-70-has-to-be-wrong finds in scoring a probability with accuracy.

Why expected value is the wrong objective

A well-calibrated model with no bankroll rule is a solved forecasting problem bolted to an unsolved sizing problem.

Where the analogy stops, which is the useful half

The first three rows are why poker intuitions overrate achievable calibration: borrow the decision hygiene, not the confidence. The last row is the one that does transfer and gets forgotten.

← All Dev Notes · Workspace Index · Top ↑

Copy 한국어

잃은 좋은 베팅과 잃은 나쁜 베팅은 똑같이 생겼다

포커는 좋은 결정과 좋은 결과 사이의 간극에 이름을 붙여야만 했던 게임입니다. 확률에 베팅하는 어떤 일에든 세 가지가 이전됩니다 — 임계값은 비용에 대한 산수이고, 목적함수는 기대값이 아니라 뱅크롤이며, 기록은 충분히 길어지기 전까지 아무 뜻도 없습니다. 네 번째는 비유가 끝나는 지점이고, 그쪽이 더 쓸모 있는 절반입니다.

빌드가 아니라 이미 돌고 있는 것에 대한 측정입니다. agent 카드가 확률을 기록하고 오더북에 대고 행동하니, 그 로그에 파생 칸 하나를 더합니다 — 거래한 가격이 함축하는 손익분기 확률. 그게 팟 오즈이고, 비용 말고는 아무것도 필요 없습니다. 그다음 숫자 셋. 첫째, 결정 중 몇 퍼센트가 실제로 자기 손익분기점을 넘는 엣지를 가졌는가 — 50%가 아니라 가격이 요구한 그 숫자를 넘었는지. 둘째, 실제로 건 금액을 뱅크롤 대비 비율로 잡고, 주장한 엣지가 함축하는 켈리 비율과 비교합니다. 둘의 비가 곧 지금 쓰고 있는 레버리지이고, 그걸 아무도 고르지 않았어도 쓰고 있는 것입니다. 셋째, 그리고 이것이 논쟁을 끝냅니다: 주장한 엣지와 관측된 분산이 주어졌을 때, 기록이 그 엣지를 0과 구별하려면 몇 번의 결과가 필요한가. 셋째는 전략을 돌리기 전에 계산하십시오 — "이거 되고 있는 건가"에 대한 정직한 답이고, 대개 누구든 가진 표본보다 훨씬 큰 숫자입니다.

왜

포커는 결과로 결정을 판단하는 것에 이름을 붙여야만 했고, 그 이름이 "resulting"입니다. 필요했던 이유는 옳은 플레이가 충분히 자주 지기 때문입니다 — 결과로 배우는 사람은 틀린 것을 배웁니다. 지난번에 졌다는 이유로 콜이 맞는 패를 폴드하고, 지난번에 맞았다는 이유로 틀린 패를 콜합니다. 피드백이 시끄러운 모든 분야에 이 문제가 있는데, 포커는 그것에 이름을 붙이고, 값을 매기고, 훈련 문화 전체를 과정과 결과를 분리하는 데 세웠다는 점에서 특이합니다. 표본이 하나일 때 잃은 좋은 베팅과 잃은 나쁜 베팅은 구별되지 않고, 둘을 가르는 유일한 것은 결과를 알기 전에 남긴 판단의 기록입니다.

이전되는 첫 번째는, 임계값이 확신의 수준이 아니라 비용에 대한 산수라는 것입니다. 콜은 이길 확률이 (콜 금액 ÷ (팟 + 콜 금액))을 넘을 때 옳습니다 — 패에 대해 아무것도 모르는 상태에서 가격이 건네주는 숫자입니다. 이 목록은 다른 방향에서 같은 구조에 계속 도달합니다: lead-time-is-the-product 는 경보 임계값이 동기 슬라이드의 비용비에 이미 적혀 있다는 것을 찾았고, the-70-has-to-be-wrong 은 임계값은 비용에 대한 진술이지 예측의 속성이 아니다라고 주장합니다. 포커의 기여는 그 숫자를 적어 둔다는 것이고, 나머지는 전부 암묵으로 남겨 둡니다.

두 번째는 기대값이 목적함수가 아니라는 것이고, 대부분이 필요로 하는 교정입니다. 결정마다 기대값을 최대화하되 뱅크롤을 무시하고 크기를 잡는 전략은, 시간이 충분하면 확률 1로 파산합니다 — 파산은 흡수 상태이고 0에서는 이후의 어떤 엣지도 거둘 수 없기 때문입니다. 켈리는 확률을 크기로 바꾸고, 묶이는 제약은 성장을 최대화하는 크기가 아니라 분산이 실제로 만들어내는 길이의 연패를 견디는 크기입니다. 캘리브레이션이 올바른 p 를 주고, 켈리가 p 를 베팅 크기로 바꾸며, 파산 위험이 그 크기의 상한은 엣지가 아니라 생존이라고 말합니다. 잘 캘리브레이션된 모델에 뱅크롤 규칙이 없는 트레이딩 에이전트는, 푼 예측 문제에 안 푼 사이징 문제를 붙여 놓은 것입니다.

세 번째는 기록이 충분히 길어지기 전까지 아무 뜻도 없다는 것이고, 얼마나 길어야 하는지는 의견이 아니라 계산입니다. 이기는 플레이어도 확신을 부술 만큼 긴 구간에서 집니다. 그러니 "내가 잘하는 건가"는 한 달치 결과로 답할 수 없습니다. 주장한 엣지와 분산이 주어지면, 그 엣지를 정해진 신뢰수준에서 0과 구별하는 데 필요한 시행 횟수는 산수이고, 대개 누구든 가진 표본보다 훨씬 큽니다. 먼저 계산하면 논쟁이 일정표로 바뀝니다 — monad-last-general-purpose-l1 의 관찰 창과 같은 수입니다. 거기서도 쓸모 있는 행동은 복원 불가능해지기 전에 기준선을 기록하는 것이었습니다.

그리고 가장 중요한 부분, 비유가 끝나는 지점입니다. 포커는 위험(risk) 의 게임입니다 — 분포가 정확히 알려져 있고(카드 52장, 고정된 규칙) 감춰진 것은 실현값뿐입니다. 예측은 불확실성(uncertainty) 의 문제입니다 — 분포 자체를 모르고, 그것이 바로 추정 대상입니다. 그래서 포커 플레이어의 캘리브레이션은 산수이고 예측자의 캘리브레이션은 현실에 대고 벌어야 하는 경험적 주장이며, 포커 직관은 세상에 대해 얼마나 잘 캘리브레이션될 수 있는지를 체계적으로 과대평가합니다. 포커의 결정 위생은 빌려 오되 자신감은 빌려 오지 마십시오. 다만 비유가 어긋나는 나머지 절반은 실제로 이전되고, 사람들이 그것을 잊습니다 — 포커는 적대적이라 엣지는 쓸수록 닳고 상대가 적응합니다. 시장도 똑같이 하고, 그래서 백테스트는 내가 거래하는 순간 더 이상 나를 포함하지 않는 세계를 서술합니다.

동작 방식

이전되는 셋, 그리고 여기서의 형태

임계값을 적어 보면

숫자는 패가 아니라 가격에서 나옵니다. 이걸 건너뛴 결정도 임계값을 고르긴 한 것입니다 — 다만 의도적으로 고르지 않았을 뿐이고, the-70-has-to-be-wrong 이 확률을 정확도로 채점하는 것에서 찾아낸 실패와 같습니다.

왜 기대값이 틀린 목적함수인가

잘 캘리브레이션된 모델에 뱅크롤 규칙이 없으면, 푼 예측 문제에 안 푼 사이징 문제를 볼트로 붙여 놓은 것입니다.

비유가 끝나는 곳, 그리고 그쪽이 쓸모 있는 절반

앞 세 줄이 포커 직관이 달성 가능한 캘리브레이션을 과대평가하는 이유입니다 — 결정 위생은 빌려 오되 자신감은 빌려 오지 마십시오. 마지막 줄이 실제로 이전되는데 잊히는 줄입니다.

← 전체 개발 노트 · 워크스페이스 인덱스 · 맨 위 ↑