
多くのトレーダーは、自分がそうしていることに気づいていない。彼らはバックテストを数回実行し、パラメータを少し調整するだけで、突然、自分の戦略が完璧に見えるようになるのだ。
それはデータの盗み見だ。
そして、公開する前から競争力を失わせてしまう可能性がある。
罠にはまらずに戦略を立てる方法と、それが多くのトレーダーが考えている以上に重要な理由を解説する。
データスヌーピング(ルックアヘッドバイアスや過学習とも呼ばれる)は、同じデータセットを使って戦略を何度も最適化しすぎた場合に発生する。同じデータで調整やテストを繰り返すたびに、将来の市場状況では実際には存在しないかもしれないパターンを学習してしまうのだ。
それは、科目の内容を理解する代わりに、模擬試験を何度も暗記するようなものだ。試験では満点を取れるが、実生活では失敗してしまう。
この問題は、次のような場合に頻繁に発生する:
一見すると、この戦略は見事に見える。しかし、実際の市場でプレッシャーがかかると? それは崩れてしまう。
それは、誤った自信を生み出すからだ。もしシステムが、学習に使用した過去のデータでしか機能しないのであれば、それは堅牢な戦略とは言えない――単なる統計的な錯覚に過ぎない。
問題点は以下の通りだ:
多くのトレーダーは、気づかないうちに、そもそも実現不可能な戦略を完成させるために何ヶ月も(あるいは何年も)費やしている。
これが最初の防衛線だ。
過去のデータを以下の3つの主要なグループに分類する:
ある戦略が、後者の2つに特化していないにもかかわらず、これら3つすべてにおいて良好なパフォーマンスを発揮する場合、実環境下でも生き残る可能性が高くなる。
重要:テストセットを確認した時点で、そのデータは汚染されてしまう。その結果に基づいて戦略を変更する場合は、新しいテストセットが必要になる。
データの盗み見を防ぐ最も簡単な方法の一つとは?まずルールを定めることだ。
つまり:
これらをすべて書き出してからでないと、バックテストを開始すべきではない。結果を見てからルールを調整すれば、すでにバイアスが混入していることになる。
これを徹底するために、仮定を文書化せよ:
これにより、戦略には単なるバックテストでの幸運な結果ではなく、論理に基づいた優位性が生まれる。
入力パラメータを延々と調整して、システムの性能を限界まで引き出そうとする誘惑に駆られるものだ。しかし、性能の向上が単なるノイズに過ぎなくなる時点がある。
代わりに:
特定のパラメータの組み合わせでしか機能しない戦略は脆弱だ。たった一つの入力が変化しただけでパフォーマンスが劇的に低下するなら、それは信頼性に欠ける。
ヒント:戦略をさまざまな市場環境(トレンド相場、もみ合い相場、ボラティリティの高い相場など)に適用して、ストレステストを行う。ある特定の環境以外で機能しなくなれば、それは過学習である。
ウォークフォワード・テストは、過去のデータを使用しつつも、リアルタイムでの取引をシミュレートするものだ。
仕組みは次の通りだ:
これにより、戦略を策定し検証するプロセスを、実際の取引に近い「継続的な」タイムラインで行うことになる。
メリット:
ウォークフォワード分析は、指標やアルゴリズム的ロジック、あるいは固定されたルールセットに基づく戦略において特に有用だ。
多くのトレーダーはバックテストの結果を記録していない。それは間違いだ。
日記はあなたの心の支えだ。そこには次のようなことが記録される:
テストを記録しておくことで、同じデータを何度も再テストしてしまっている場合や、論理ではなく結果に基づいて調整を行っている場合に気づくことができる。
また、それはペースを落とすことを強いる。バックテストは単に結果を見るだけのものではない――そのプロセスから学ぶことが重要だ。
戦略がバックテストとアウト・オブ・サンプル検証を通過したら、次は実環境でのシミュレーションを行う段階だ。
そこで、FX Replayのようなツールが役立つのだ。
フォワードテストとは、後知恵に頼ることなく、リアルタイムまたはシミュレーションされた市場環境下で戦略を実行することだ。
ローソク足の動きを見ている。価格の推移に応じて反応している。自分の執行力、感情、そして意思決定力を試している。
フォワードテストから明らかになったこと:
この段階では、論理の欠陥やルールの不明確さ、あるいは自身の心理的な偏りなどが明らかになることがよくある。これらはどれも、スプレッドシート上では表れないものだ。
ヒント:フォワードテスト中はすべての取引を記録すること。実戦と同じように扱うのだ。ここで身につけた習慣は、そのまま実戦に活かせる。
優れたシステムは、再現可能な市場の動向に基づいている。単なるデータのパターンではない。
自問してみよう:
例えば:
戦略がなぜ機能するのかを理解することは、次のようなメリットがある:
フォワードテストや実取引テストの結果に基づいて変更を加える場合は、それを戦略の新しいバージョンとして扱うこと。
新しいルールと過去の結果を混同してはならない。複数の反復にわたるパフォーマンスを平均化してはならない。
システムを調整するたびに、テストサイクルを再開する:
これにより、プロセスが明確になる。そして、結果に意味が生まれる。
上級トレーダーは、モンテカルロ法、ブートストラップ法、あるいは信頼区間を用いて、頑健性を評価することがある。
これらのツールは役に立つ。だが、論理の代わりにしてはいけない。
統計は次の疑問に答えるのに役立つ:
覚えておいてほしい。どんなに統計データがあっても、論理が脆弱だったり優位性がない戦略を修正することはできない。
データの詮索は、トレードのパフォーマンスを静かに蝕む要因の一つだ。
それは自信を持たせる。誤った正確さを感じさせる。そして、失敗へと導くのだ。
しかし、これは防ぐことができる。
体系的にシステムを構築せよ。科学者のようにテストせよ。データを尊重せよ。
単なる楽観主義ではなく、規律を持って戦略を立てれば、稀有なものを手に入れることができる:
本当に信頼できる取引システムだ。
主なポイント:
罠にはまらないように。やるべきことをやりなさい。
それが、本物のトレーダーが本物の戦略を構築する方法だ。
どちらも過去のデータに対して戦略を過度に最適化することだが、データスヌーピングは同じデータセットを使って繰り返しテストや微調整を行う場合に生じるのに対し、カーブフィッティングは通常、信号ではなくノイズをモデル化してしまうような、過度に精密なパラメータ調整を指す。
少なくとも3~5年分の質の高いデータを確保することを目指す。その60~70%を戦略策定に活用し、残りは検証とテストのために取っておく。対象期間が長ければ長いほど、得られる知見はより確かなものとなる。
トレーニングセット、検証セット、テストセットを厳格に分離する場合に限る。データセットが戦略策定の指針として一度使用されると、検証目的においてはもはやバイアスのない状態とは言えなくなる。
これは、戦略が変化する市場環境にどれだけうまく適応するかを評価したい、ルールベースの機械的なシステムにおいて特に有用だ。裁量型システムの場合、フォワード・シミュレーションの方が有用なことが多い。
警告すべき兆候としては、バックテストの結果は極めて良好であるにもかかわらず実戦でのパフォーマンスが低いこと、パラメータのわずかな変更に極端に敏感であること、そして新しい銘柄や市場環境に適用した際に機能しないことが挙げられる。