Хотя ценность оптимизации для улучшения будущей результативности системы открыта для дебатов, абсолютно очевидно, что использование оптимизированных результатов будет значительно искажать подразумеваемую будущую результативность системы. Причина состоит в том, что, как было показано ранее в этой главе, корреляция между наиболее результативными для одного периода параметрами системы и теми параметрами, которые приведут к наилучшей результативности в следующий период, крайне мала, если вообще существует. Следовательно, предположение, что результативность, достигнутая в прошлом, может быть повторена в будущем при том же самом наборе параметров, абсолютно нереалистично.
После многих лет работы мое отношение к симулированным результатам подытоживается тем, что я называю «Швагеровским законом моделирования» (по аналогии с денежным законом Гришэма). Как читатели могут вспомнить из «Economics 101», Гришэм утверждал, что «плохие деньги вытесняют хорошие». Суть соревнования, которое описывает Гришэм, состояла в том, что если в обращении находится два типа денег (например, золото и серебро) с произвольным курсовым соотношением (например, 16 к 1), то плохие деньги (деньги, переоцененные фиксированным курсом обмена) будут вытеснять хорошие. Таким образом, если бы справедливая стоимость унции золота была выше стоимости 16 унций серебра, соотношение 16 к 1 приводило бы к тому, что серебро вытесняло бы золото из обращения (поскольку люди стремились бы накапливать золото).
Мое закон формулируется так: «плохое моделирование вытесняет хорошее». Термин «плохое» означает моделирование, построенное на крайне ненадежных предположениях, а не плохое в смысле показанной результативности. Скорее наоборот, «плохое» моделирование будет показывать бросающиеся в глаза результаты.
Я часто получаю рекламу систем, которые предположительно делают 200, 400 или даже 600% в год. Давайте будем консервативны (я использую этот термин свободно) и предположим доходность лишь в 100% годовых. При таком уровне доходности $100 000 превратились бы всего за тринадцать лет в миллиард долларов! Может ли такая доходность быть достижимой на практике в течение длительного периода? Ответ: не может. Дело в том, что при достаточном желании можно добиться практически любого уровня ретроспективной результативности. Если бы кто-то попробовал продавать систему или программу для торговли, основанную на действительно реалистичном моделировании, результаты были бы до смешного ничтожны по сравнению с тем, что предлагает реклама. Именно в этом смысле плохое (нереалистичное) моделирование вытесняет хорошее (реалистичное) моделирование.
Как искажаются результаты тестов? Существует несколько основных способов.
Специально подобранный пример. При конструировании специально подобранного примера промоутер системы выбирает наилучший рынок в наилучший год, используя наилучший набор параметров. Предполагая, что система тестируется на 25 рынках за 15 лет и использует 100 вариантов наборов параметров, мы получили бы в обшей сложности 37 500 одногодичных результатов (25Х 15Х 100). Было бы трудно построить такую систему, в которой хотя бы один из этих 37 500 возможных исходов не показал бы великолепных результатов. Например, если вы подбрасываете десять монет 37 500 раз, неужели вы думаете, что они не упадут несколько раз десятью «орлами» вверх?
Специальное устранение убытков системы. С помощью добавления параметров и создания дополнительных системных правил, которые подходящим образом обслуживают убыточные периоды прошлого, вполне возможно создать фактически любой уровень ретроспективной результативности.
