バックテストは意味がないのか
バックテストは、過去のデータにルールを当てて成績を計算したものです。「意味がない」と言われる理由は、たいてい3つにまとまります。
1. 過去に合わせすぎる
線や期間を、過去の成績がいちばん良くなるように選ぶと、その期間だけの当たりを拾います。何通り試したかを書いていないバックテストは、本物の規則と偶然の当たりを区別できません。
2. 計算の仮定が実際の口座と違う
多くの道具は、毎日の値動きを掛け合わせて成績を出します。これは「毎日、元の割合に戻す売り買いをした」という仮定です。月に1回しか売り買いしない人の口座とは、数字がずれます。
3. 本物の商品が無い時代を、作った数字で埋める
たとえばTQQQは2010年に始まったETFです。それより前の数字は、指数を3倍にして作ったものです。
ずれを小さくする確かめ方
全部の組み合わせを並べる: 選んだ線が、試した全部の中でどこにいるかを見ます。
選ぶのに使わなかった期間で試す: 前半で選び、後半で使います。
本物の商品の値で測る。
実際の口座と同じ計算にする: 売り買いの日だけ割合を戻し、その間は値動きのままにします。

実例: 200日線のルールを本物のTQQQで測り直す
「金利と200日線でTQQQを外す」ルールは、1985年からの作った数字では20年の窓のすべてで持ち続けに勝つ、と紹介されることがあります。
本物のTQQQ(2010年〜)で測り直すと、年率は持ち続けの42.4%に対してルールが36.2%でした。試した10,680通りの線のうち、持ち続けに勝ったのは6.9%です。
詳しくは「TQQQを200日線と金利で外すルール」にまとめました。
確かめ方の実例
デュアルモメンタムのシグナルとバックテストを届ける DM-Signal は、ルールを選ぶ前に組み合わせを全部並べ、選んだ線の位置を見ています。成績は、売り買いの日だけ割合を戻す計算です。検証の手順は「検証の手順」の頁と、研究のコラムにまとめています。
DM-Signalは、全ての戦略に同じ検証の手順を通し、その手順と結果を公開しています。