日経225手口ラボ nk225-lab.com

最終更新

@_map_universe_

FAQ/市場効率性

過去のデータで短期売買のルールを最適化して見つけた好成績は、学術研究ではどう評価されていますか

結論

試した候補の数を考慮すると、証拠は見かけより弱くなると報告されています。個別には有意に 見えた暦のルールも多数探索を補正すると有意でなくなり、公表済みの予測変数の成績は 標本外で26%、公表後で58%低かったと報告されています。

同じデータで多数のルールを試し、最も成績の良かった一つを取り出すと、実力がなくても 偶然よく見えるものが現れます。White (2000) は、この上振れを含めて「見つかった最良の ルールにも予測上の優位性がない」という仮説を検定する Reality Check を提案しました。 全文の例では、候補探索を無視した素朴なp値が0.1068だったのに対し、ブートストラップを 用いた Reality Check では0.3674となり、見かけほど強い証拠ではないと示されています。

Hansen (2005) は、これを改良した SPA 検定を提案し、Reality Check より検出力が高く、 無関係で劣る候補を追加しても結果が鈍りにくいと報告しています。ただし著者自身が、この 種の検定は多数比較による誤判定を抑えるものであって、最良モデルの将来性能を保証する ものではないこと、候補集合・損失関数・時系列の依存構造・再標本化の設定が結論を 左右することを述べています。

Sullivan, Timmermann & White (2001) は、1897年から1996年の米国・英国株価指数の日次 データで多数の暦のルールを列挙し、同時に検定しました。個別に見ると非常に小さなp値を 持つルールがある一方、ルールを集中的に探索した事実を補正すると、カレンダー効果は 有意でなくなると報告されています。これは季節差が一切存在しないことの証明ではなく、 検討した探索集合に対して統計的優位を確認できなかったという意味です。

Bailey & López de Prado (2014) は、多数の候補から最高成績だけを選んだことで膨らんだ シャープレシオを、標本の長さ、収益の歪度と尖度、試したシャープレシオのばらつき、 独立した試行数を使って割り引く手続きを示しました。入力する試行数が実際より少なければ 過学習を十分に罰することができず、似た戦略同士は完全には独立でもありません。補正後の 値が高くても、将来の利益を保証する検定ではないと述べられています。

Harvey, Liu & Zhu (2016) は、多数の研究者が大量の変数を試す状況では従来のt値2という 基準は低すぎ、新しいファクターは概ねt値3を超えるべきだと論じています。ただしこの水準は 機械的に適用する不変の線ではなく、試された仮説数や相関、事前の証拠によって変わると されています。McLean & Pontiff (2016) は、公表済みの97個の株価予測変数を追跡し、 予測ポートフォリオのリターンが元研究の標本外で26%、論文公表後で58%低かったと報告し、 その差の32ポイントを公表情報に基づく取引の推定効果と解釈しています。

  • 多数のルールを試して最良を取り出した結果は、探索した候補の総数まで含めて検定しないと評価できないという枠組みが提案されている
  • 後から都合のよいルールだけを選んで報告すると、この補正自体が正しく適用できなくなる
  • シャープレシオは、試行回数と収益分布のゆがみを考慮して割り引く手続きが提案されている
  • 発見時の成績は、標本外と公表後に平均的に縮小したと報告されている（58%の低下は平均的な縮小率であり、すべてのアノマリーが消滅したという意味ではない）

これらはいずれも検定と評価の手続きに関する研究です。補正を通過したルールが将来も同じ 成績を出すことを示した研究ではありません。また、短期売買のルールを日本市場の費用条件 （日経225先物、レバレッジ型ETF、信用取引の金利・諸費用）のもとで検証した研究は、 研究検証台帳に収録されていません。

参照した研究

限界

White (2000) と Hansen (2005) はシミュレーションと経済時系列を用いた統計手法の研究であり、 Sullivan らの標本は米国・英国の株価指数、McLean & Pontiff の標本は米国株の公表済み予測 変数である。いずれも日本市場での適用は評価されておらず、取引費用を控除した後の損益も 扱っていない。分・時間単位の短期売買ルールを対象に同じ補正を適用した検証も、本台帳には 収録されていない。