バックテストで勝てた、をどう検定するか — 多重検定・減衰・費用の枠組み

問いの分解

「バックテストで勝てた」という一つの観測は、検定の側から見ると 一つの問いではありません。少なくとも四つの別々の問いに分かれます。 どれか一つに答えても、残りは答えたことになりません。

• 同じデータで何通り試したか（多重検定の問い）
• 試行回数を織り込むと、その成績はどう見えるか（成績の割り引きの問い）
• 公表され、多くの人が同じことをした後も残るか（減衰と再現の問い）
• 取引費用と執行できる規模を差し引いた後も残るか（費用と容量の問い）

以下では、この四つを節に分けて、それぞれの問いにどの研究が どう答えたかを見ていきます。先に構図だけ書くと、一つ目と二つ目には 手続きが用意されており、三つ目には大規模な観測があり、四つ目は 戦略の種類によって答えが分かれます。

本記事で「有意」と書くのは、統計的な判定基準を超えたという意味であり、 利益が出るという意味ではありません。以下の各研究も、検定を通ったルールが 将来利益を生むとは述べていません。

何通り試したか

最初の問いは単純です。その一つのルールに行き着くまでに、 いくつの候補を捨てたか、ということです。同じデータで多数のルールを 試して最も成績の良いものを選ぶと、本当は何の実力もなくても、 選ばれた一つは良く見えます。これをデータスヌーピング（同じデータを 何度も試して、偶然良い結果を実力と誤認する問題）と呼びます。

この問題を正面から扱う検定として最初に置かれたのが、Reality Check です。 探索した全モデルと基準モデルの成績差を同時に扱い、「見つかった最良モデルにも 予測上の優位性がない」という仮説を検定します。時系列のつながりを保ったまま データを繰り返し作り直すブートストラップ（観測データから反復標本を作り、 統計量のばらつきを推定する方法）で、探索全体で起きる最大値を評価します。

この提案論文の例では、候補探索を無視した素朴なp値（優位性がないと仮定したとき、 観測結果以上の差が出る確率の目安）が0.1068だったのに対し、 Bootstrap Reality Check では0.3674となりました。同じ成績でも、 何通り試したかを織り込むかどうかで、証拠の強さの読みが変わるという例です。

台帳で見る — 大量に試した投資ルールの「一番」は、偶然ではないと言えるか（White, 2000）

この手続きを、実際に大量のルールが提案されてきた領域へ当てた研究があります。 曜日・月・休日といった暦の規則は、短期売買の文脈で最もよく引かれるパターンの 一つですが、1897年から1996年までの米国・英国株価指数の日次データで 多数の暦規則を列挙し、Reality Check で同時に検定した結果が報告されています。

Sullivan, Timmermann & White (2001)。標本は1897年から1996年までの 米国・英国株価指数の日次データ。この結果は季節差が一切存在しないことの証明ではなく、 検討した探索集合に対して統計的優位を確認できなかったという意味である。 経済的な利益については、費用の評価が別途必要になる。

台帳で見る — 多数の暦パターンは偶然を補正しても残るか（Sullivan, Timmermann & White, 2001）

この枠組みは、その後さらに手を入れられています。台帳には後続の二本を 収録しています。どちらも「補正するとすべて消える」という話ではなく、 補正しながら本当の差を見つける力をどう保つか、という方向の研究です。

White (2000) の標本は1980年から1998年の複数の予測モデルと金融時系列、 Hansen (2005) は1980年から2003年の複数予測モデルと経済時系列で、応用例は米国インフレの回帰予測群。 Romano & Wolf (2005) は1980年から2004年を対象とする多重検定の理論とシミュレーション。 いずれも売買ルールそのものの収益性を検証した研究ではなく、統計手続きの研究である。 検出力とは、本当に差があるとき、検定がその差を正しく見つける確率を指す。

台帳で見る — 多数の予測モデルから本当に優れた候補を見分ける検定（Hansen, 2005）

台帳で見る — 多数の仮説を段階的に調べる多重検定（Romano & Wolf, 2005）

これらの手続きに共通する要求は一つです。試した候補を全部申告すること。 Romano & Wolf (2005) の台帳レコードは、後から検定集合を変えれば保証も変わるため、 探索過程全体の記録が必要だと述べています。試した候補を隠したままでは、 補正自体を正しく適用できません。

試行回数を織り込んだ成績

二つ目の問いは、判定ではなく成績の読み方に関わります。 シャープレシオ（リターンをその振れ幅で割った、成績の代表的な指標）は バックテストの結果としてよく示されますが、この数値そのものは 「何回試したか」を知りません。

この点を補正する統計量として提案されたのが、デフレート・シャープレシオです。 標本の長さ、収益の分布のゆがみ（歪度と尖度）、試したシャープレシオのばらつき、 そして独立した試行数を入力に取り、複数試行の中で偶然得られる最大シャープレシオを 合格基準へ組み込みます。つまり、同じ成績でも、20通り試して出た値と 2万通り試して出た値では、要求される水準が変わるという構成です。

Bailey & López de Prado (2014)。1990年から2013年の投資戦略バックテストを対象とする 手法研究。補正後の値が高くても将来の利益を保証する検定ではなく、入力する試行数が 実際より少なければ過学習を十分に罰しない。似た戦略同士は完全には独立でもない。 この方法の目的は戦略を改善することではなく、報告されたバックテストを厳しく評価することである。

ここから読み取れる要求は明確です。成績を示すときは、試行回数を いっしょに示す必要があります。試行回数の申告が過少なら、補正は 効いているように見えて効いていません。

台帳で見る — 何度も試して選んだ投資戦略のシャープレシオを、どう割り引くか（Bailey & López de Prado, 2014）

日経225先物での探索規模

ここまでは手続きの話でした。では、日本市場を直接の標本とした テクニカル指標の検証は、この枠組みの中でどこに位置するのでしょうか。

当サイトの台帳には、日経225先物を標本としてMACDを検証した研究を 収録しています。この研究のシミュレーションは、19,456通りの異なる MACDモデルを用いて行われました。伝統的なパラメータ設定では 2011年から2019年の期間で負の成績、最適化したパラメータでは 有意に正のリターン、という報告です。後続の研究は対象を 日経225・ダウ・ナスダックの3指数へ広げ、最適パラメータ値の範囲は 指数ごとに異なると報告しています。

この研究群が何を報告したかの詳細は、当サイトの別ページで扱っています。 本記事の関心は、19,456という探索規模が、前二節の枠組みでどう読まれるか、 という一点にあります。

FAQで見る — 日経225先物でテクニカル指標（MACD）の有効性は学術研究で検証されていますか

関連記事 — 日本市場でテクニカル指標は検証されているか

Kang (2021) の標本は2011年から2019年の日経225先物価格。台帳の当該レコードには データスヌーピング懸念と取引費用控除前という留保タグを付与している。 Kang (2023) は日経225・ダウ・ナスダックの株価指数先物を対象とするが、 確認した抄録に標本期間の記載はなく、本記事でも期間を断定しない。

誤解を避けるために書いておくと、これは当該研究の結果が誤りだという 意味ではありません。研究自身が、誤シグナルを避ける追加条件で成績が改善する モデルの数を最適化群と非最適化群で比べるという、群レベルの比較を行っています。 言えるのは、多重検定補正を通した後の判定は、この研究の報告からは 読み取れないということだけです。

台帳で見る — 日経225先物でMACDのパラメータを最適化すると、成績は伝統的設定から反転する（Kang, 2021）

台帳で見る — 日経225・ダウ・ナスダック先物で、MACDの最適パラメータ範囲を比較する（Kang, 2023）

公表された後も残るか

三つ目の問いは、時間軸の話です。検定を通ったとしても、その結果が 公表され、多くの人が同じ情報を使って売買するようになった後まで 同じ大きさで残るかどうかは、別に確かめる必要があります。

株式リターンの横断面（同じ時点の複数銘柄間で将来リターンの差を予測すること）を 予測すると報告された97変数について、元研究の標本期間、論文には未使用の 標本外期間（モデルや規則を作る際に使わなかった期間）、公表後期間の 成績を比べた研究があります。

McLean & Pontiff (2016)。標本は1926年から2013年の公表済み米国株リターン予測変数97個、月次。 両者の差32ポイントを公表情報に基づく取引の推定効果と解釈している。 58%低下は全アノマリーが消滅したという意味ではなく、平均的な縮小率である。 標本外低下をデータ探索効果の上限、公表後との差を投資家学習とみなす識別には仮定がある。 個別戦略の現在の収益性を直接判定する数値ではない。

台帳で見る — 株価予測の効果は研究公表後にどれほど弱まるか（McLean & Pontiff, 2016）

減衰とは別に、そもそも同じ手順で作り直したときに再現するか、という 検証もあります。米国株の既報アノマリー447件を共通のデータ処理と ポートフォリオ形成で再実装した研究の報告は、次のとおりです。

Hou, Xue & Zhang (2020)。標本は1967年1月から2014年12月の米国CRSP・Compustat収録銘柄 （金融業と簿価が負の企業を除外）、月次。NYSE基準の区分と時価加重で小型株の影響を抑えている。 非再現は「現象が全市場で存在しない」ことではなく、このデータと統一手順で 基準を超えなかったという判定である。再現した価格モメンタムなども、 元の論文で報告された効果量より小さいと報告されている。

台帳で見る — 既報の株式アノマリーは共通手順でも有意になるか（Hou, Xue & Zhang, 2020）

この二本の観測を受けて、そもそも要求する判定基準を引き上げる提案も 出ています。1967年以降に公表された株式リターン因子を集め、研究全体を 一つの多数検定問題として扱った研究は、従来広く使われてきたt値 （推定効果が標準誤差の何倍かを表し、証拠の強さを測る統計量）2という 基準は多数探索の下では低すぎ、新しい因子には概ねt値3を超える証拠が 必要だと提案しました。

この研究の台帳レコードは、t値3が全研究へ機械的に適用する永久不変の線ではなく、 試された仮説数や相関、事前証拠で変わると述べています。既存の因子が 経済的に無意味だと即断する基準でもありません。標本は1967年から2012年の 公表済み株式ファクター研究で、日本市場を直接検証したものではありません。

台帳で見る — 新しい株式ファクターにはt値2より強い証拠が必要か（Harvey, Liu & Zhu, 2016）

費用と執行できる規模

四つ目の問いは、統計から離れます。検定を通り、公表後も残ったとしても、 売買のたびに支払う費用を引いた後に何が残るか、そしてどれだけの資金まで その方法が耐えるか、は別の観測を要します。短期売買は売買回数が多い分、 この問いの比重が大きくなります。

この点について、推計ではなく実際の執行データから費用を測った ワーキングペーパーがあります。1998年から2011年に19の先進国株式市場で 大手機関投資家が執行した約1兆ドル規模の売買データを使い、 価格インパクト（自分の売買そのものが価格を動かしてしまうことで生じる費用）を 推定して、サイズ・バリュー・モメンタム・短期リバーサルの各戦略に当てています。

Frazzini, Israel & Moskowitz (2012)。標本は1998年から2011年、19の先進国株式市場における 大手機関投資家の実際の執行データ。抄録は「10分の1未満」「1桁以上」という比較表現で述べており、 単一の効果量に換算できないため水準の数値は台帳へ収録していない。査読誌への掲載は 確認できておらず、ワーキングペーパーとして扱う。費用の推定は特定の大手機関投資家1社の 執行データに依存する。確認した抄録は日本市場を切り出した結果を示していない。

この研究の位置づけは二面あります。アノマリー全般については 「費用の壁は想定より低い」という主張であり、費用を理由に一律に 否定する立場とは逆向きです。同時に、直近で下げた銘柄を買い、 上げた銘柄を売る短期リバーサルだけは例外として扱われ、 相応の規模では費用控除後に成立しないと報告されています。

ここで測られている費用は、大手機関投資家が支払う執行コストです。 個人が負担する手数料・スプレッド・信用取引の金利や貸株料とは前提が異なります。 この研究から個人の費用条件を読み取ることはできません。

台帳で見る — 実売買データでは費用は小さいが、短期リバーサルだけは規模に耐えないと報告した研究（Frazzini, Israel & Moskowitz, 2012）

四つの関門の対照表

ここまでを一枚に並べます。「バックテストで勝てた」という観測が 偶然と区別されるまでに、何を通す必要があるか、という順序です。

四つは順に並んでいるが、独立ではない。多重検定補正を通ったことは 公表後の残存を保証せず、公表後も残ったことは費用控除後の成立を保証しない。 各研究の結論は、それぞれの標本・期間・前提の範囲でのみ成立する。

逆に言えば、この四つのどれについても情報が示されていない成績報告は、 偶然と区別する材料が揃っていない、ということになります。 これは「その成績が偽である」という判定ではなく、「判定できない」 という状態です。二つは違います。

研究では示されていないこと

ここまで整理した研究群が何を扱っていないかを、はっきり書きます。

• 短期売買の具体的なルールやパラメータを推奨した研究は、当サイトの台帳に収録がない
• 多重検定補正を適用したうえで、日経225の日中売買ルールを検証した研究も、台帳に収録がない
• 個人が負担する手数料・スプレッド・信用取引の金利や貸株料を差し引いた後の短期売買ルールの成績を報告した研究も、台帳に収録がない

本記事で引いた手続き系の研究は、いずれも統計的な判定の枠組みであり、 何を売買するかについては何も述べていません。Bailey & López de Prado (2014) の 台帳レコードが書いているとおり、この種の方法の目的は戦略を改善することではなく、 報告されたバックテストを厳しく評価することです。

日経225先物を標本としたKangの研究群は、日本市場を直接扱っていますが、 最適パラメータ範囲は指数ごとに異なると報告しており、ある市場で見つけた 設定を別の市場へそのまま持ち込む発想とは整合しません。取引費用を 差し引いた後の成績も、確認した抄録には示されていません。

「検定の枠組みが厳しい」ことと「短期売買に意味がない」ことは、別の主張です。 本記事は前者だけを扱っており、後者について当サイトの台帳から結論を出すことはできません。

日本市場と個人の条件への距離

本記事で引いた研究の標本を、日本市場との距離という観点で並べておきます。

日本のレバレッジ型ETF（1570等）、信用取引の金利・貸株料・管理費といった 日本固有の費用条件は、いずれの研究でも検証の対象に含まれていない。

個人の短期売買そのものの成績については、別の観測群があります。 こちらは検定手続きの話ではなく、実際の口座記録を集計した研究です。

関連記事 — デイトレーダーの成績は、どう観測されているか

FAQで見る — 過去のデータで短期売買のルールを最適化して見つけた好成績は、学術研究ではどう評価されていますか

本記事は査読誌等に掲載された研究の一般的な紹介であり、売買推奨・投資助言では ありません。特定の手法・パラメータ・検定手続きの利用を推奨するものでもありません。 各研究の結論は、それぞれの標本・期間・前提の範囲でのみ成立します。

出典一覧

• White, A Reality Check for Data Snooping (Econometrica, 2000) — 素朴なp値0.1068とBootstrap Reality Checkの0.3674の出典。全文で確認。
• Sullivan, Timmermann & White, Dangers of Data Mining: The Case of Calendar Effects in Stock Returns (Journal of Econometrics, 2001) — 米国・英国株価指数、1897年〜1996年の日次データ。
• Hansen, A Test for Superior Predictive Ability (Journal of Business & Economic Statistics, 2005) — SPA検定。1980年〜2003年の複数予測モデルと経済時系列。
• Romano & Wolf, Stepwise Multiple Testing as Formalized Data Snooping (Econometrica, 2005) — stepdown手順。1980年〜2004年の理論・シミュレーション。
• Bailey & López de Prado, The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting and Non-Normality (Journal of Portfolio Management, 2014) — 試行数・歪度・尖度・標本長を入力に取る補正。全文で確認。
• Harvey, Liu & Zhu, … and the Cross-Section of Expected Returns (Review of Financial Studies, 2016) — 1967年〜2012年の公表済み株式ファクター研究。t値3の提案の出典。
• McLean & Pontiff, Does Academic Research Destroy Stock Return Predictability? (Journal of Finance, 2016) — 97変数、1926年〜2013年。標本外26%・公表後58%の低下の出典。
• Hou, Xue & Zhang, Replicating Anomalies (Review of Financial Studies, 2020) — 米国CRSP・Compustat、1967年1月〜2014年12月。447件中286件・380件の出典。
• Kang, Improving MACD Technical Analysis by Optimizing Parameters and Modifying Trading Rules: Evidence from the Japanese Nikkei 225 Futures Market (JRFM, 2021) — 日経225先物、2011年〜2019年。19,456モデルによるシミュレーション。
• Kang, Optimal and Non-Optimal MACD Parameter Values and Their Ranges for Stock-Index Futures: A Comparative Study of Nikkei, Dow Jones, and Nasdaq (JRFM, 2023) — 3指数の最適パラメータ範囲の比較。確認した抄録に標本期間の記載はない。
• Frazzini, Israel & Moskowitz, Trading Costs of Asset Pricing Anomalies (SSRN Working Paper, 2012) — 19の先進国株式市場、1998年〜2011年の実執行データ。査読誌掲載は未確認。