{
  "schema_version": 1,
  "slug": "white-2000-reality-check",
  "title": "A Reality Check for Data Snooping",
  "title_ja": "大量に試した投資ルールの『一番』は、偶然ではないと言えるか",
  "authors": [
    "Halbert White"
  ],
  "published_year": 2000,
  "venue": "Econometrica",
  "identifiers": {
    "doi": "10.1111/1468-0262.00152",
    "arxiv": null,
    "jstage": null,
    "ssrn": null
  },
  "versions": [
    {
      "kind": "publisher",
      "url": "https://doi.org/10.1111/1468-0262.00152",
      "label": "出版社・公式論文ページ"
    },
    {
      "kind": "working_paper",
      "url": "https://www.ssc.wisc.edu/~bhansen/718/White2000.pdf",
      "label": "公開全文（PDF）"
    }
  ],
  "source": {
    "provider": "publisher",
    "metadata_license": "other",
    "text_reuse": "none",
    "accessed_at": "2026-08-11"
  },
  "categories": [
    "statistical_method"
  ],
  "methods": [
    "simulation"
  ],
  "sample": {
    "markets": [
      "GLOBAL"
    ],
    "period": {
      "start": "1980",
      "end": "1998"
    },
    "universe": "複数の予測モデルと金融時系列",
    "frequency": "simulation"
  },
  "findings": [
    {
      "label": "データスヌーピング補正",
      "effect": "データスヌーピング補正",
      "value": null,
      "unit": null,
      "basis": "not_reported",
      "note_ja": "一次資料で主要結論は確認したが、定義を統一できる効果量は本レコードでは採録していない。"
    }
  ],
  "replication": {
    "status": "not_assessed",
    "evidence": [],
    "note_ja": "独立した標本外再現を本レコードでは評価していない。"
  },
  "caveats": [
    "data_snooping_risk"
  ],
  "japan_applicability": {
    "status": "not_assessed",
    "note": "日本市場を直接検証していないため、日本株への適用可能性は未評価。"
  },
  "summary_ja": {
    "body": "多数の予測規則から選んだ最良結果を評価するReality Check検定を提案した。",
    "derivation": "original_summary",
    "reviewed_by": "operator",
    "reviewed_at": "2026-08-11"
  },
  "explainer_ja": {
    "one_liner": "同じデータで多数の投資ルールを試して最良の一つだけを選ぶと生じる偶然の好成績を補正する、Reality Check検定を提案した研究です。",
    "question": "百や千の予測モデルを同じデータで試せば、実力がなくても偶然よく見えるモデルが出てきます。その『優勝モデル』が基準モデルより本当に予測力を持つのかを、候補を大量に試した事実まで含めてどう判定すればよいのでしょうか。",
    "method": "探索した全モデルと基準モデルの成績差を同時に扱い、『見つかった最良モデルにも予測上の優位性がない』という仮説を検定するReality Checkを構築しました。時系列の連続性を保つ定常ブートストラップでデータを繰り返し作り直し、探索全体で起きる最大値を評価します。",
    "result": "この手順により、同じ標本の再利用で最良成績が上振れする影響を含めたp値を計算できます。全文の例では、候補探索を無視した素朴なp値が0.1068だったのに対し、Bootstrap Reality Checkでは0.3674となり、見かけほど強い証拠ではないことが示されました。",
    "interpretation": "バックテストの最高成績だけを示す危険への基本的な対策です。ただし検定を通れば将来も高収益になるという意味ではなく、比較に含めたモデル集合、基準、データの依存構造に対する統計判断です。試した候補を隠したままでは、この補正自体を正しく適用できません。",
    "glossary": [
      {
        "term": "データスヌーピング",
        "note": "同じデータを何度も試し、偶然よい結果を実力と誤認する問題。"
      },
      {
        "term": "ブートストラップ",
        "note": "観測データから繰り返し標本を作り、統計量のばらつきを推定する方法。"
      },
      {
        "term": "p値",
        "note": "優位性がないと仮定したとき、観測結果以上の差が出る確率の目安。"
      }
    ]
  },
  "source_verification": {
    "level": "fulltext",
    "checked_url": "https://www.ssc.wisc.edu/~bhansen/718/White2000.pdf",
    "checked_date": "2026-08-11"
  },
  "updated_at": "2026-08-11",
  "aliases": [],
  "diagram_ja": {
    "type": "before_after",
    "evidence_mode": "direction_only",
    "headline": "最良の投資ルールは、多数探索を補正しても優秀か",
    "caption": "多数候補から最良だけを選ぶ上振れを補正すると、例示した証拠は見かけより弱くなりました.",
    "before_after": {
      "before": {
        "label": "素朴な検定",
        "note": "最良ルールだけを見る"
      },
      "trigger": {
        "label": "多数探索をReality Checkで補正"
      },
      "after": {
        "label": "補正後",
        "note": "偶然を超える証拠が弱まる"
      }
    },
    "profit_distance": {
      "observed": {
        "status": "supported",
        "note": "補正による判定差を確認."
      },
      "costs": {
        "status": "unsupported",
        "note": "例では統計証拠が支持されない."
      },
      "replication": {
        "status": "not_tested",
        "note": "手法の独立評価は台帳で未確認."
      },
      "japan": {
        "status": "not_tested",
        "note": "日本での適用評価は台帳に未収録."
      }
    }
  },
  "lint_waivers": [],
  "disclaimer_ja": "一般的な研究紹介であり、売買推奨・投資助言ではありません。"
}