Разреженные награды и любопытство: как ИИ находит выход в лабиринте без подсказок
Представьте, что вас забросили в гигантский темный лабиринт, где никто не подсказывает, становитесь ли вы ближе к выходу.
Игра не дает промежуточных очков, отметок на карте или подсказок. Вы можете три часа бродить по пустым залам, карабкаться по веревкам, перепрыгивать через ямы с шипами и уворачиваться от летящих валунов, а счетчик на табло будет упрямо показывать круглый ноль. Единственный способ заработать хотя бы один балл — добраться до самого дальнего угла подземелья и повернуть тяжелый медный ключ в замочной скважине.
Если вы погибли в двух шагах от финала, игра считает, что эти три часа прошли абсолютно впустую.
Долгие годы именно эта ситуация хоронила алгоритмы обучения с подкреплением. В науке ее называют проблемой разреженных наград (Sparse Rewards).
Пока системы вроде DQN от DeepMind за считанные часы громили человека в Pong и Breakout, на классической игре Montezuma’s Revenge 1984 года они терпели полное фиаско. В Pong каждое касание мяча ракеткой сразу приносит очко или отнимает жизнь — алгоритм мгновенно понимает, сделал ли он что-то полезное. В Montezuma’s Revenge герою нужно пробежать десяток экранов, проскакать по конвейерным лентам и спрыгнуть на движущуюся платформу задолго до того, как игра начислит первое очко.
Если нейросеть учится только на изменении счета, а среда выдает ноль на протяжении сотен тысяч действий подряд, математический градиент превращается в идеально плоскую пустыню. Агент просто дергается на стартовой клетке и бесцельно нажимает случайные кнопки, пока не закончится время тренировки.
Реальность
Живому игроку не нужно, чтобы табло звенело каждые три секунды. Когда опытный спидраннер заходит в незнакомую локацию, им движет внутренний мотор: «А что там за поворотом? А что будет, если допрыгнуть до этой платформы?»
В 2017 году исследователи из Беркли и OpenAI встроили точно такой же внутренний двигатель в нейросети, назвав его искусственным любопытством (Intrinsic Curiosity).
Вместо того чтобы ждать похвалы от игрового движка, агента оснастили второй, внутренней нейросетью-предсказателем.
На каждом шаге система пытается угадать, как будет выглядеть следующий экран или комната:
- Если агент идет по знакомому коридору, который видел уже сотню раз, ошибка прогноза близка к нулю — награды за любопытство нет.
- Но как только он заходит в незнакомый отсек, трогает странный рычаг или прыгает на новую платформу, прогноз трещит по швам. Высокая ошибка предсказания превращается во внутреннюю награду — своего рода синтетический дофаминовый всплеск.
Агенту больше не нужен счетчик на табло. Он исследует лабиринт просто потому, что стремится увидеть то, что еще не умеет предсказывать.
Почему это важно
Любопытство превращает слепой перебор вариантов в осмысленную экспедицию.
Двигаясь за собственным удивлением, алгоритм методично исследует и картографирует весь лабиринт. Рано или поздно во время такой прогулки он неизбежно натыкается на тот самый медный ключ. И как только в систему прилетает гигантский внешний турнирный балл, в дело вступает уравнение Беллмана, которое моментально связывает всю цепочку шагов в победный маршрут.
В чем подвох аналогии?
У чистого любопытства есть коварная слабость — так называемая «проблема белого шума» (Noisy TV Problem). Если поощрять алгоритм исключительно за непредсказуемость, его легко загипнотизировать помехами на сломанном телевизоре или рябью на воде. Поскольку белый шум случаен по своей природе, его невозможно предсказать в принципе. Агент может сесть перед экраном с рябью и бесконечно собирать очки любопытства, начисто забыв о турнире и ключе. Чтобы победить этот парадокс, инженеры придумали более тонкие механизмы (например, Random Network Distillation), которые учат модель отличать по-настоящему новые структуры от бесполезного случайного шума.
Главная мысль
Когда внешняя награда находится в тысячах шагов впереди, бессмысленно ждать аплодисментов от зала — нужен внутренний мотор любопытства, способный провести вас сквозь темноту.
Специалисты по ИИ называют это: Разреженные награды (Sparse Rewards) / Модуль внутреннего любопытства (Intrinsic Curiosity Module, ICM) / Дистилляция случайных сетей (Random Network Distillation, RND)
В средах с разреженными наградами стандартные методы градиента политики и Q-обучение страдают от затухания градиентов из-за отсутствия сигнала от функции потерь. Внутреннее любопытство дополняет внешнюю награду R_e внутренним бонусом: R_total = R_e + η * R_i. В архитектуре ICM (Pathak et al., 2017) величина R_i рассчитывается как ошибка предсказания динамики среды в пространстве признаков. В методе RND (Burda et al., 2018) новизна оценивается через ошибку предсказания между фиксированной случайной сетью и обучаемой моделью, что защищает агента от залипания на белый шум.
💬 Приходилось ли вам работать над сложным проектом, где неделями не было никакой отдачи или одобрения со стороны, и единственным стимулом продолжать оставался азарт узнать: «А получится ли вообще заставить эту штуку работать»?
Часть 9 из 15 | #ReinforcementLearningForHumans
#ai_edu На основе лекций Стэнфорда и индустрии