Бэктестинг против реальной торговли: в чём ошибаются большинство трейдеров

Даже хорошо проработанные торговые стратегии теряют от 10 до 20 % своей эффективности при переходе от тестирования на исторических данных к реальной торговле. Вы уже знаете, что такая цифра существует. Вы видели её мимоходом, слышали, как о ней говорили в торговых сообществах, а может быть, даже читали об этом в каком-нибудь руководстве по тестированию на исторических данных.

Но вот чего никто на самом деле не объясняет: эти 10–20 % — это не случайность. Это не удача и уж точно не признак того, что ваша стратегия не работает.

Это вполне предсказуемо, и если вы понимаете, откуда это берется, то сможете учесть это, прежде чем рисковать реальным капиталом.

У этого разрыва есть название: «дельта реальности»

Каждая стратегия существует в двух мирах.

Сначала он работает в контролируемой среде — в вашем бэктесте, где условия теоретически идеальны. Затем он попадает на реальный рынок, где от этих идеальных условий не осталось и следа.

Разница здесь не в мелочах, а в самой структуре.

При тестировании на исторических данных ордера исполняются по той цене, на которую вы их настроили. В реальной торговле же ордера исполняются по цене, которую готов предложить вам другой участник рынка, и эта цена зачастую бывает хуже, а иногда — значительно хуже.

В тестовом режиме нет очереди ордеров, нет задержек, нет спреда, который расширяется именно тогда, когда вам нужно, чтобы он сузился. В реальной торговле все это присутствует одновременно.

Однако самое важное отличие носит психологический характер.

Серия из 10 убыточных сделок в ходе тестирования — это просто статистический показатель, который вы видите на графике. А серия из 10 убыточных сделок на реальном счете — это десять решений, принятых в условиях реального стресса, когда реальные деньги уходят в минус и возникают реальные сомнения в том, не совершили ли вы ошибку. Ваш организм не делает различия между финансовыми потерями и физической угрозой, и реакция на стресс в обоих случаях одинакова. Это полностью меняет подход к тому, как вы будете совершать следующую сделку.

Именно поэтому и существует правило «10–20%», и именно понимание каждого его компонента определяет, сможет ли стратегия выстоять в период перехода или же рухнет в течение нескольких недель.

Проблема затрат: с чего начинаются большинство бэктестов

Откройте любой бэктест стратегии. Посмотрите на среднюю прибыль по сделке. Допустим, она составляет 30 долларов.

А теперь задайте себе вопрос: какая часть из этих 30 долларов на самом деле поступает на ваш счет?

Для большинства трейдеров честный ответ будет: «гораздо меньше». Бэктест никогда не покажет вам этого, если вы специально не заставите его это сделать.

Вот как выглядит реальная структура затрат:

Именно в вопросе проскальзывания большинство бэктестов полностью теряют связь с реальностью.

В обычные торговые часы проскальзывание незначительно — всего на один-два тика. Однако во время новостных событий, публикации отчетности или в моменты недостатка ликвидности проскальзывание может кардинально изменить прибыльность всей сделки. Бэктест, который не учитывает этот фактор или моделирует его как фиксированное значение, показывает значительно лучшие результаты, чем реальная стратегия в реальных условиях, именно в те моменты, которые имеют наибольшее значение: в периоды высокой волатильности, когда волатильность резко возрастает, поток ордеров иссякает, а качество исполнения ухудшается.

Вот первая проверка на реалистичность: вычтите из средней прибыли по удачной сделке реальные затраты на совершение сделки (в обе стороны). Если после этого вычета цифры перестают сходиться, значит, у вас нет преимущества.

В большинстве бэктестов предполагается идеальное исполнение, поскольку они строятся на основе статичных графиков. С помощью FX Replay вы открываете сделки по мере изменения цены, а не размещаете заявки на готовом графике. Это отличие позволяет выявить проблемы с выбором момента, неисполненные заявки и колебания, которые стандартный бэктест никогда не фиксирует.

Переобучение: бэктест, который выглядит слишком хорошо

Вы, наверное, уже видели такое. Стратегия с процентом выигрышей более 80%, ровной кривой капитала и незначительными на первый взгляд просадками. Внутри вас все говорит: это слишком идеально.

Ты прав. Наверное, так и есть.

Переобучение происходит тогда, когда правила стратегии ужесточаются, корректируются или подбираются так, чтобы они идеально соответствовали историческим данным. Проблема заключается в том, что они подстраиваются под случайные колебания, а не под реальные рыночные закономерности. В условиях бэктеста это работает отлично, поскольку бэктест опирается исключительно на данные прошлого, но как только стратегия сталкивается с новыми рыночными данными (а это происходит буквально при каждой сделке после запуска в реальной торговле), она перестает работать.

Вот как это распознать:

Стратегия с переобучением обычно проявляется следующим образом:

• Более высокий процент выигрышей (реальные стратегии обычно дают 45–65 %)
• Кривые капитала, которые практически никогда не опускаются (нереалистично)
• Производительность, которая полностью снижается при обработке новых данных
• Правила, которые требуют постоянной доработки, чтобы работать

Меры предосторожности против переобучения просты, но большинство трейдеров их игнорируют: четко зафиксируйте свои правила и больше к ним не прикасайтесь. Затем протестируйте эти зафиксированные правила на периоде данных, который вы не рассматривали на этапе разработки.

Если стратегия проваливается, значит, она была адаптирована к прошлым данным. Если же она показывает достаточно хорошие результаты, возможно, у вас действительно что-то получилось. Но даже в этом случае безупречный бэктест не гарантирует безупречного исполнения. Запуск тех же правил в FX Replay часто выявляет проблемы, которые не видны в исторических результатах: запоздалые входы, пропущенные сигналы и ошибки в выборе момента, которые проявляются только тогда, когда решения приходится принимать в режиме реального времени.

Риск рыночной конъюнктуры: ваш бэктест зафиксировал одну погодную модель

Стратегия, прошедшая бэктестинг за период 2020–2022 годов, продемонстрировала свою эффективность в условиях одной из самых необычных волатильностей за последнее время. Стратегия, прошедшая бэктестинг за период 2016–2018 годов, продемонстрировала свою эффективность в относительно благоприятных условиях с низкой волатильностью и четким трендом.

Оба бэктеста прошли «успешно». При этом оба могут ввести в заблуждение.

У каждой стратегии есть свои предпочтительные рыночные условия. Системы, следующие за трендом, приносят огромную прибыль на рынках с сильным направленным движением и терпят убытки в условиях волатильного бокового тренда. Системы, основанные на возвращении к среднему значению, показывают отличные результаты в стабильных боковых трендах и терпят крах во время резких импульсных ралли. Результаты бэктеста будут выглядеть либо великолепно, либо ужасно, почти полностью в зависимости от того, какой режим преобладал в тестовом периоде, при этом вы не имеете никакого контроля над тем, какой режим сложится при реальной торговле.

Это означает, что ваш бэктест дал ответ на один вопрос: «Сработала ли эта стратегия в условиях «именно этого» конкретного рыночного режима?» Но он ни в коем случае не ответил на вопрос: «Сработает ли эта стратегия в условиях «любого» режима, с которым я столкнусь в реальных условиях?»

Решение простое, но эффективное: проверьте свою стратегию на трех намеренно выбранных различных рыночных периодах.

Выберите из результатов бэктеста три месяца с наихудшими показателями. Какие рыночные условия были характерны для этих периодов? Определите противоположные условия: период тренда, период бокового движения, период резкого скачка волатильности. Проведите тестирование ваших фиксированных правил для каждого из этих периодов отдельно.

Стратегия, которая в разумных пределах работает во всех трех случаях, имеет гораздо более надежную основу, чем та, которая оправдала себя лишь в одном из этих случаев.

Психологический разрыв: почему ваша дисциплина теряется под давлением

Вот что в конце концов понимает каждый трейдер: выполнение правил в ходе бэктеста и выполнение правил в реальных условиях — это две совершенно разные вещи.

При бэктесте вы следуете правилам. Они применяются механически. Убыточная сделка — это линия на графике. Просадка — это цифра, которую вы проанализируете позже.

На реальном счете с реальными средствами организм реагирует на ситуацию, и качество принятия решений ухудшается. Та дисциплина, которой вы придерживались при анализе графиков, исчезает в тот же миг, как только цена начинает двигаться против вас.

Дальнейшее развитие событий предсказуемо:

• Вы перемещаете стоп-лосс («только на этот раз», «только из-за этой конкретной причины»)
• После проигрышей вы уменьшаете размер ставки, а после выигрышей — увеличиваете (тактика «мести»)
• Вы игнорируете достоверные сигналы, потому что они кажутся вам рискованными
• Вы держите выигрышные позиции дольше, чем это допускают ваши правила (в надежде)

Ничто из этого не является сознательной слабостью. Это физиологическая реакция на условия, которых в тестировании на исторических данных не было.

Именно в этом и заключается причина 10–20-процентного снижения эффективности. Дело не только в затратах, но и в разнице между механическим соблюдением правил и их соблюдением в стрессовых ситуациях.

Исследования в области психологии трейдинга показывают, что трейдеры, испытывавшие давление во время тренировок (то есть не просто изучавшие графики, а активно принимавшие решения в условиях динамики цен), демонстрировали значительно лучшие результаты в реальной торговле, чем те, кто ограничивался изучением статичных графиков. Такой вид тренировок способствует формированию нейронных связей, соответствующих стрессовым условиям реальной торговли.

Именно поэтому тренировки с использованием повторов дают результат, и именно для этого и существует FX Replay. Вы не анализируете то, что уже произошло, а принимаете решения в режиме реального времени. Цена меняется, вы находитесь под давлением времени, и серия убытков воспринимается вами не как цифры, а как три поражения подряд, пока вы все еще находитесь в сделке. Это давление, опыт и привыкание к стрессу действительно переносятся в реальную торговлю.

Три вещи, которые упускают из виду большинство трейдеров

Тестирование методом постепенного продвижения.

Статический бэктест проверяет результаты за один период. Тестирование методом «walk-forward» позволяет проверить, работает ли ваша стратегия в условиях меняющейся рыночной конъюнктуры, что более близко к реальным условиям торговли.

Анализ методом Монте-Карло

Ваш бэктест демонстрирует одну последовательность сделок. Реальная торговля же носит случайный характер. Метод Монте-Карло показывает реалистичный диапазон наихудшего сценария. Просадка в размере 5 000 долларов, зафиксированная в ходе бэктеста, может превратиться в просадку на 14 800 долларов в 95-м процентиле. Если это может психологически сломить вас, значит, размер вашего счета недостаточен.

**Ведение дневника поведения во время полевых испытаний**

Большинство трейдеров в ходе форвардного тестирования отслеживают прибыль и убытки. Однако им следует следить за соблюдением правил. Форвардный тест, в ходе которого вы использовали каждый действительный сигнал и игнорировали все недостоверные, дает больше информации, чем прибыльный тест, в котором вы открывали только те сделки, в которых были абсолютно уверены.

План перехода: последовательность действий, позволяющая избежать неудачи

Большинство трейдеров сразу переходят от тестирования на исторических данных к торговле в реальном времени.

Результаты бэктеста обнадеживают → растёт уверенность → вкладываем капитал.

Не хватает промежуточного этапа, и именно на этом этапе гибнет большинство стратегий.

Последовательность, которая действительно работает:

1. Проверить на данных вне выборки (с зафиксированными правилами)

Проверьте свою стратегию на данных, с которыми она не сталкивалась на этапе разработки. Если она выдерживает проверку, переходите к шагу 2. Если она дает сбой, значит, вы допустили переобучение. Вернитесь назад и перестройте модель.

2. Тест «продвижения вперед» (необязательный, но очень эффективный)

Проверяйте свою стратегию на скользящих временных интервалах, а не только на одном фиксированном периоде. Это позволяет имитировать реальные изменения рыночной конъюнктуры в ходе реальной торговли. Если стратегия показывает стабильные результаты на нескольких периодах, это свидетельствует о ее надежности.

3. Тренировка с просмотром записей (это обязательное условие)

Отрабатывайте свои торговые решения в условиях реальных исторических рыночных данных с помощью инструмента для просмотра записей, такого как FX Replay. Не ограничивайтесь простым изучением графика — активно принимайте решения о входе и выходе из сделок по мере формирования свечей. Ведите дневник соблюдения правил отдельно от учета прибылей и убытков. Использовали ли вы каждый достоверный сигнал? Удалось ли вам избежать всех недостоверных сигналов? Это гораздо важнее, чем то, заработали ли вы деньги.

4. Моделирование методом Монте-Карло (оценка реального риска)

Перегруппируйте порядок своих прошлых сделок более 1000 раз. Это позволит увидеть реальное распределение возможных просадок, а не только максимальную просадку, зафиксированную в ходе вашего бэктеста.

5. Небольшой реальный счет (30–50 сделок, с полным ведением журнала)

Начинайте торговать на рынке с достаточно небольшими суммами, чтобы убытки не влияли на вашу способность трезво судить о ситуации. Ведите подробный журнал каждой сделки: обоснование входа, исполнение, выход, ваши ощущения, соблюдение правил и т. д. Сравнивайте эти реальные данные с результатами тестирования на исторических данных. Уже после 30–50 сделок вы поймете, соответствует ли реальное исполнение результатам тестирования или же качество торговли ухудшается.

6. Увеличивайте объем только в том случае, если результаты тестирования на исторических данных соответствуют результатам реальных торгов (в разумных пределах)

После 30–50 сделок у вас появятся реальные данные. Если реальная прибыль и убытки находятся в пределах 10–15 % от ожидаемых результатов бэктеста, а правила соблюдаются строго, значит, переход проходит успешно. Дальше постепенно увеличивайте объемы.

Различия в реальности в одном контрольном списке

Прежде чем применять какую-либо стратегию в реальных торговых условиях, убедитесь в следующем:

Структура затрат

• Комиссионные расходы вашего брокера являются разумными
• Расходы на спред моделируются (не принимаются по средней цене)
• В периоды высокой волатильности учитывается проскальзывание
• Расходы на поездку туда и обратно вычитаются из средней суммы выигрыша

Защита от переобучения

• Правила заблокированы и не могут быть изменены
• Стратегия тестируется на данных, которые не использовались на этапе разработки
• Процент побед соответствует реальности (45–65 %, а не 85 %+)
• Стратегия подтверждается новыми данными без каких-либо изменений

Тестирование режимов

• Стратегия тестируется в условиях тренда, бокового движения и высокой волатильности
• Для определения характеристик режима анализируется период с наихудшими показателями
• Эти правила в целом остаются актуальными в различных условиях

Психология и исполнение

• Завершение тренировки с просмотром повторов и принятием решений в режиме реального времени
• При тестировании на исторических данных соблюдение правил оказывается важнее показателей прибыли и убытков
• Журнал ведет учет данных о поведении отдельно от данных о результатах

Почему это важно для вашей следующей стратегии

Разница между результатами бэктеста и реальной торговли не является недостатком бэктестинга. Это особенность, которая показывает, что бэктестинг — это фильтр, а не гарантия.

Хороший бэктест показывает, что стратегия может сработать. Но он не гарантирует, что она сработает в реальных условиях.

Если вы понимаете все составляющие этого разрыва, включая затраты, переобучение, риск смены рыночного режима и психологический фактор, и проверяете каждую из них перед запуском в реальную торговлю, вы устраните большую часть неопределенности. Снижение доходности на 10–20 % перестанет быть случайным явлением. Оно станет предсказуемым, управляемым и уже учтенным вами фактором.

Трейдеры, которым удается успешно перейти к реальной торговле, — это не те, у кого результаты бэктестинга идеальны. Это те, кто тщательно проверил свои стратегии и точно понял, о чем им говорит бэктестинг.