多数の予測モデルから本当に優れた候補を見分ける検定

図で読む：この研究は何を比べたか

仕組みの経路方向のみ・数値なし

研究の問い多数の予測法を試すと偶然好成績の候補が出るデータスヌーピング問題に対し、WhiteのReality Checkより検出力が高く、劣った候補に影響されにくい検定を作れるかを問います。
確かめ方損失差をばらつきで標準化した統計量と、標本に応じた帰無分布を用いるSPA検定を提案します。
分かったことSPA検定はReality Checkより検出力が高く、無関係で劣る候補を追加しても結果が鈍りにくいと示します。

SPA検定はReality Checkより検出力が高く、無関係で劣る候補を追加しても結果が鈍りにくいと示します。応用例ではランダムウォークより回帰予測が優れ、標本上はPhillips曲線型が最良でした。図は方向だけを示し、利益額の大きさは表しません。

利益への距離

観測された差

確認された

研究標本内で報告された方向です。

取引費用

未確認

売買費用を引いた利益は本レコードで未確認です。

再現性

未確認

独立した別標本での追試は未評価です。

日本市場

未確認

日本市場での成立は検証していません。

研究で観測された差は、そのまま得られる利益ではありません。4つの関門はそれぞれ独立に読んでください。

この研究を読み解く

多数の予測法を試すと偶然好成績の候補が出るデータスヌーピング問題に対し、WhiteのReality Checkより検出力が高く、劣った候補に影響されにくい検定を作れるかを問います。

損失差をばらつきで標準化した統計量と、標本に応じた帰無分布を用いるSPA検定を提案します。モンテカルロ実験で性質を比較し、米国インフレの回帰予測群をランダムウォーク予測と比べます。

SPA検定はReality Checkより検出力が高く、無関係で劣る候補を追加しても結果が鈍りにくいと示します。応用例ではランダムウォークより回帰予測が優れ、標本上はPhillips曲線型が最良でした。

SPAは多数比較による誤判定を抑える検定で、最良モデルの将来性能を保証しません。インフレ予測の応用結果を株価へ移せず、候補集合、損失関数、時系列の依存構造、再標本化の設定が結論を左右します。

優越予測能力検定。

効果量未掲載（not_reported）

一次資料で主要結論は確認したが、定義を統一できる効果量は本レコードでは採録していない。

効果量は原典の掲載値です。当サイトが再計算したものではなく、将来のリターンを示すものでもありません。

原典の設計上、この結果をそのまま一般化できない条件です。