検証の手順

基本の検証

1. A1

   広大なグリッドサーチ

   広いパラメータ空間を総当たりし、最高の一点ではなく、少し条件を変えても成績が崩れない平らな領域があるかを見る。

2. A2

   パラメータ空間の頑健性

   グリッドの全パターンで Beta 調整後の Alpha を計算し、チャンピオンだけでなく Alpha が正だったパターンの割合を見る。

3. A3

   IS / OOS

   ある時点までの情報だけで選択し、その後の未知の期間で評価する。

4. A4

   複数窓ウォークフォワード

   時間を進めながら選択と評価を繰り返し、学習期間の長さも複数試す。特定の学習期間だけで偶然うまくいった可能性を疑う。

5. A5

   Beta 調整後 Alpha

   市場 Beta を推定し、市場連動分を除いても何かが残るかを見る。この段階で FAIL になる戦略もある。

6. A6

   拡張窓

   学習期間を伸ばし続ける拡張窓でも確認し、特定のローリング窓幅に結果が依存していないかを見る。

7. A7

   レジーム別の頑健性

   平均だけでなく、市場環境ごとに何が起きたかを見る。

8. A8

   ヴィンテージ OOS

   研究環境そのものを過去の時点に戻し、その時点で利用可能だった情報だけで選択して、その後を評価する。

9. A9

   棄却 / 採用

   初期の検証を通った戦略でも、後の検証で落ちれば捨てる。捨てた研究も記録に残す。

10. A10

    実際のフォワード観測

    どれだけ検証しても研究者は過去を知っている。事前に公開したシグナルをその後観測することだけがそれを消す。

DM-Signal 固有の追加検証

1. B1

   アルファ空間検証

   パラメータ空間全体の CAGR 正率を測る。パラメータ空間全体で広く正の結果が得られることは、一点だけの偶然のピークである可能性を下げる。ただし、それだけで過学習を否定するものではない。

2. B2

   デケイ分析

   過去時点で選ばれたchampionの優位性が経年で摩耗していないかを、6/12/24ヶ月窓のp_det_roll/p_erosionで直接測る。

3. B3

   Vintage分析

   異なる時点で選出されたchampion同士でOOS成績が再現するかを、選出タイムラインとIS/OOS比較で検証する。

4. B4

   パラメータ近傍分析

   championが孤立した一点豪華のピークでないかを、近傍パラメータでの性能落差を比較して確認する。

5. B5

   ストレステスト

   急落局面や利上げショックなどの極端な期間で、平常時に見えていた優位性がbenchmark比で剥がれていないかを見る。

6. B6

   foldパーセンタイル検証

   固定championが各walk-forward foldの母集団内でランダム以上の成績を維持しているかを、fold percentileで確認する。

7. B7

   α6指標top安定性

   計算期間を短縮してもtop集合がどれだけ保たれるかを、overlap率/Jaccard係数で測る。

8. B8

   レジーム条件付き検証

   Bull/Bear/Sidewaysいずれの相場局面でもαが正であるかを見て、特定局面依存の見かけの強さを炙り出す。

9. B9

   Rule Freeze(ルール確定)

   選定ルール・パラメータをある時点で確定し、以後は記録のない変更を行わない。この確定点が、まだ検証していない未来との境界線になる。

10. B10

    Forward observation(フォワード観測)

    Rule Freeze以降のリアルタイム実績のみを、バックテストと区別して観測・再計算する。フォワード指標はフォワード期間の行だけで計算する。

研究ログ

採用・棄却・保留・廃止を区別した研究ログは公開準備中です。公開したら、このページからリンクします。

Trust Center で読む →