Что если нейроны в процессе оптимизации «играют в игру» друг с другом. Если равновесие Нэша существует — при некоторых условиях это да, то тогда когда улучшение положения одного нейрона будет ухудшать остальные (равновесие), в зависимости от функции «положения» — может быть минимум лосса сетки.

Условия, при которых равновесие существует в непрерывном случае можно найти в книгах (например, Опойцев, дифференциальные уравнения, этот человечище также известен как В. Босс). Вкратце — если некоторая омега есть равновесное значение конкретного нейрона как функция от всех весов, и производная каждой такой омеги по остальным весам менее 1 — eps, — то (по теореме о сжимающих отображениях) — равновесие существует.

Еще раз, нужно выбирать награду так, чтобы равновесие совпадало с минимумом лосса.

Некоторый эксперимент можно найти здесь, в этой тетрадке.

Там, конечно, не без элементов подгонки, но некоторая иллюстрация. Возможно, кто-то хорошо умеющий в якобианы (и не в torch), сможет как-то покрасивше всё формализовать.

«Возможно сразу получать весам оптимум, мы работаем над этим»

Это на конференции AI Talks 2020 сказал Ветров. Ну… я не дождался что-то