О природе прогнозов


Все хотели бы знать точное будущее, а те, кто инвестициями напрягается — еще чтобы и остальные его не знали. Это у них прямо как «Эрос и Танатос» по Фрейду, стремление к жизни и смерти: вроде и самим знать, и с другой стороны чтобы никто другой не знал.

Однако не всё так просто, предвидеть будущее в принципе невозможно.

Но если антивещество представляет собой обычное вещество, движущееся назад во времени, то нельзя ли с его помощью послать сообщение в прошлое? Может быть, можно послать сегодняшний номер Wall Street Journal в прошлое самому себе и как следует нажиться на биржевых спекуляциях?

Ответ очень прост: нет, нельзя.

Ньютонова физика полностью отвергает возможность предвидения будущего. Железное правило причины и следствия никогда не нарушается. Квантовая теория допускает иные состояния вещества, такие как антивещество, которое соответствует обычному веществу, движущемуся назад во времени, но принцип причинности не нарушается. Более того, антивещество в квантовой теории необходимо для восстановления причинности. Тахионы на первый взгляд нарушают принцип причинности, но физики считают, что они исполнили свое предназначение — запустили механизм Большого взрыва и исчезли из нашей Вселенной.

«Физика невозможного»

В целом, именно наличие причинно-следственных связей не позволяет существовать предвидению будущего. То есть сказать, что «A -> E», пропустив при этом промежуточные вычисления «A -> B -> C -> D -> E», эквивалентно не вычислению, а простому гаданию (на кофейной гуще, которое не работает). По идее, будущее можно было бы вычислить полностью (в Ньютоновской физике), но и опять же — для этого нужен был бы компьютер, просчитывающий движение каждого атома в лучшем случае.

И существующие сейчас методы прогнозирования, сколько сложными бы они ни были, достаточно смешны по меркам систем и их величин, которые предполагаются к прогнозированию. По факту, прогнозы представляют собой экстраполяцию причинно-следственных связей — которые удалось пронаблюдать.

Хорошие и плохие экстраполяции

Хорошие — это те экстраполяции, которые попадают в факт, а те которые не попадают — нехорошие. Вот и всё, казалось бы, но до факта можем ли мы знать насколько экстраполяция хороша?

Есть процедура временной кросс-валидации, когда обучают модели на исторической части данных, а проверяют на наперед отложенной части. Это вполне честно, но до той степени, покуда поведение величины определяется заложенными факторами.

Пример кросс-валидации для прогноза на несколько шагов вперед, картинка отсюда

Как видим, тут участвует время, как и положено временным рядам. Отсюда все и проблемы, по моему мнению, что время рассматривается как координата.

Значение некоторой величины может определяться предыдущей историей до некоторой степени, но порядок во времени — плохой заменитель истории

это работает только для сезонности

Другими словами, прогноз

$$ future_x = G(time, history_x), $$

заведомо хуже

$$ future_x = G(history_y, history_z, …). $$

Потому что порядок — та же сезонность — это не зависимость от времени, а от свойств внутреннего устройства системы.

Так, температура воздуха — не функция истории или времени даже, а функция расстояния Земли и Солнца, как одного из показателей.

Зависит ли курс валюты от её истории? Только в простейших моделях, прогнозная сила которых удручает. Все кто мог сделать лимоны денег на скользящих средних — уже их сделали.

Таким образом, хорошая экстраполяция базируется на фундаментальных зависимостях в системе, которые не всегда всем известны. Это в физике можно поставить воспроизводимый эксперимент, в экономике уже считай что нет.

Дай рецепт?

Рецепт дал Нассим Талеб в книге «Антихрупкость»: нужно недорого подстраховываться от плохих событий, и эксплуатировать хорошие.

То есть не быть просто куском системы, а иметь стратегию.

А есть ли идеальная стратегия, или универсальный способ её получить? По теореме No Free Lunch — нет. Она о том, что если бы существовал универсальный прогнозирующий алгоритм, то на всех задачах в мире он бы предсказывал хуже специализированных (именно поэтому уже никаких универсальных решателей не ищут). Каждому случаю свой подход нужен.

А где пример какой-нибудь?

А чего нужен пример? Того что непрерывным наблюдением за небесными телами лучше прогнозировать завтрашний восход, чем просто сказать «вчера взошло, и сегодня взойдет?» (несмотря на обилие наблюдений, могут быть кометы, астероиды, вот это всё).

Не то что я хотел бы сказать что «сегодня так, а завтра всё иначе» (это так, но я хотел сказать не это).

Просто если хочется что-нибудь спрогнозировать, то нужно знать внутреннее устройство, а не внешние проявления. То есть больше признаков лучше длинной истории. Поэтому машинное обучение, которое любит много данных, не всегда может решить задачу — и надо изворачиваться. В каждом конкретном случае.

метеорологам всегда будет к чему стремиться. Это напоминает старинную загадку о том, можно ли пройти путь между двумя точками, если сначала преодолеть половину назначенного расстояния, потом половину от оставшегося отрезка, потом еще половину и т.д. Ответ понятен: нельзя, можно лишь постепенно приближаться к цели

Гидрометцентр

4 комментария на «“О природе прогнозов”»

  1. Прочитал. Что сказать… удачи в поиске Грааля 🙂
    Сейчас слабенький прогноз в экономике возможен только в том случае, когда знаешь, кто реально управляет большинством регулирующих процессов. Слабенький потому, что мы не знаем ни количество «принимающих решения» ни их алгоритмы. Но самое главное — мы не знаем, кто, в какой момент и с каким алгоритмом их заменит.
    т.е. базу данных для анализа не накопишь

    • 1. нет грааля… No Free Lunch говорит что его нет ¯\_(ツ)_/¯
      2. я о том и говорю, что работает не история в прогнозе, а механика, для экономики — это проекты (тренд) и куда ветер дует в конечном спросе потребителей («амплитуда»).

      насчёт грааля еще раз — скрытый код это не из той категории (и даже категории записей этого блога), он про ограниченность мира как такового. А эта запись — про его разнообразие 🙂

    • Ну… иногда без матана сложновато… хотя и его можно на словах. В рубрике «прочее» вроде как у меня намерение писать меньше матана. Надеюсь смогу 🙂

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *