@_map_universe_大量に試した投資ルールの『一番』は、偶然ではないと言えるか
A Reality Check for Data Snooping
Halbert White（2000）『Econometrica』
ひとことで言うと
同じデータで多数の投資ルールを試して最良の一つだけを選ぶと生じる偶然の好成績を補正する、Reality Check検定を提案した研究です。
図で読む：この研究は何を比べたか
最良の投資ルールは、多数探索を補正しても優秀か
素朴な検定
最良ルールだけを見る
多数探索をReality Checkで補正
補正後
偶然を超える証拠が弱まる
利益への距離
- 観測された差
-
確認された
補正による判定差を確認.
- 取引費用
-
支持されない
例では統計証拠が支持されない.
- 再現性
-
未確認
手法の独立評価は台帳で未確認.
- 日本市場
-
未確認
日本での適用評価は台帳に未収録.
研究で観測された差は、そのまま得られる利益ではありません。4つの関門はそれぞれ独立に読んでください。
この研究を読み解く
何を知りたかったのか
百や千の予測モデルを同じデータで試せば、実力がなくても偶然よく見えるモデルが出てきます。その『優勝モデル』が基準モデルより本当に予測力を持つのかを、候補を大量に試した事実まで含めてどう判定すればよいのでしょうか。
どうやって調べたのか
探索した全モデルと基準モデルの成績差を同時に扱い、『見つかった最良モデルにも予測上の優位性がない』という仮説を検定するReality Checkを構築しました。時系列の連続性を保つ定常ブートストラップでデータを繰り返し作り直し、探索全体で起きる最大値を評価します。
何が分かったのか
この手順により、同じ標本の再利用で最良成績が上振れする影響を含めたp値を計算できます。全文の例では、候補探索を無視した素朴なp値が0.1068だったのに対し、Bootstrap Reality Checkでは0.3674となり、見かけほど強い証拠ではないことが示されました。
この結果をどう読めばよいか
バックテストの最高成績だけを示す危険への基本的な対策です。ただし検定を通れば将来も高収益になるという意味ではなく、比較に含めたモデル集合、基準、データの依存構造に対する統計判断です。試した候補を隠したままでは、この補正自体を正しく適用できません。
- 対象市場
- グローバル
- 標本期間
- 1980
〜1998 - 対象銘柄群
- 複数の予測モデルと金融時系列
- 観測頻度
- simulation
- 再現性
- 未評価独立した標本外再現を本レコードでは評価していない。
- 日本市場での有効性
- 未評価日本市場を直接検証していないため、日本株への適用可能性は未評価。
観測結果
データスヌーピング補正
データスヌーピング補正。
効果量未掲載（not_reported）
一次資料で主要結論は確認したが、定義を統一できる効果量は本レコードでは採録していない。
効果量は原典の掲載値です。当サイトが再計算したものではなく、将来のリターンを示すものでもありません。
限界
原典の設計上、この結果をそのまま一般化できない条件です。
原典と利用条件
- 出版社・公式論文ページhttps://doi.org/10.1111/1468-0262.00152
- 公開全文（PDF）https://www.ssc.wisc.edu/~bhansen/718/White2000.pdf