Оценка или инстинкт: почему ИИ учится мышечной памяти вместо расчетов
У футбольного вратаря во время пенальти есть меньше трехсот миллисекунд, чтобы среагировать на удар.
Если голкипер достанет блокнот, выпишет математическое ожидание для каждого угла ворот, присвоит каждому прыжку числовой балл и выберет максимальный, мяч окажется в сетке задолго до того, как его мысль дойдет до финала.
Вратарь прыгает на чистом мышечном рефлексе.
В обучении с подкреплением инженеры сталкиваются с абсолютно такой же развилкой. Существуют две фундаментальные школы того, как научить искусственный интеллект принимать решения: методы на основе ценности (Value-Based) и методы на основе политики (Policy-Based).
Реальность
До этого момента в нашей серии мы разбирали алгоритмы на основе ценности — такие как Deep Q-Networks (DQN).
Агент в DQN ведет себя как дотошный бухгалтер. На каждом тике игрового времени нейросеть смотрит на картинку, оценивает будущую выгоду для каждой кнопки на геймпаде и нажимает ту клавишу, за которую насчитала больше всего очков.
Этот подход великолепен, пока у агента есть горстка дискретных кнопок: «влево», «вправо», «прыжок» или «выстрел».
Но бухгалтерский учет рассыпается в прах, как только мы покидаем аркадные автоматы Atari.
Представьте управление болидом Формулы-1 в крутом повороте на скорости двести километров в час. Вы не выбираете из четырех кнопок. Вы плавно поворачиваете руль на непрерывный угол от минус 180 до плюс 180 градусов с точностью до десятых долей, одновременно дозируя усилие на педалях газа и тормоза.
В непрерывном мире существует бесконечное число возможных действий. Никакой бухгалтер не способен пересчитать бесконечность вариантов за долю секунды.
Кроме того, алгоритмы ценности страдают от излишней прямолинейности. Выбирая действие с максимальным баллом, они действуют строго детерминировано. Если вы сыграете в «Камень, ножницы, бумага» по жестко фиксированному алгоритму, внимательный соперник мгновенно разгадает вашу логику и победит в каждой партии.
Чтобы обойти эти ограничения, исследователи создали методы на основе политики (Policy Gradients).
Вместо того чтобы оценивать числовую выгоду каждого отдельного действия, сеть политики выдает само действие напрямую. Она строит плавное вероятностное распределение для непрерывных углов руля, усилий или траекторий. Модель не занимается сложением очков — она вырабатывает прямой рефлекс и мышечную память.
В 2017 году компания OpenAI представила алгоритм Proximal Policy Optimization (PPO). В PPO добавили остроумный механизм обрезки (clipping), который не позволяет модели менять свои базовые инстинкты слишком резко за один шаг. Это спасло тренировки от катастрофических сбоев, когда агент из-за одного неудачного шага за секунды забывал недели практики.
Почему это важно
Переход от подсчета ценности к оптимизации политики — это мост, соединяющий ботов для ретро-игр с современными большими языковыми моделями.
Когда разработчики выравнивают языковые модели с помощью обучения с подкреплением на основе отзывов людей (RLHF), нейросеть не выбирает из четырех кнопок. Она выбирает среди десятков тысяч токенов в миллионах возможных контекстов диалога. Алгоритмы вроде PPO стали рабочей лошадкой, которая превращает сырые текстовые генераторы в надежных и полезных ассистентов.
В чем подвох?
Методы политики невероятно прожорливы до свежих данных. Если системы вроде DQN могут сотни раз повторно использовать старый архив матчей с диска, то классические методы градиента политики учатся почти исключительно на свежих траекториях, собранных прямо сейчас. Если генерация данных стоит дорого или требует времени, тренировка чистого рефлекса сжигает вычислительные ресурсы гигантскими темпами.
Главная мысль
Подсчет баллов делает вас безупречным в шахматах, но прямой мышечный инстинкт спасает жизнь на скорости двести километров в час.
Специалисты по ИИ называют это: Обучение на основе ценности и политики (Value-Based vs. Policy-Based RL) / Градиенты политики (Policy Gradients) / Оптимизация проксимальной политики (Proximal Policy Optimization, PPO)
Методы ценности обучают функцию Q(s, a) и выводят стратегию через argmax_a Q(s, a), что неэффективно в непрерывных пространствах действий и при стохастических стратегиях. Методы градиента политики оптимизируют параметры стратегии π_θ(a|s) напрямую через градиентный подъем: ∇J(θ) = E[∇log π_θ(a|s) * A(s, a)]. Алгоритм PPO (Schulman et al., 2017) стабилизирует обучение за счет усечения целевой функции с помощью суррогатного множителя clip, исключая разрушительные для сходимости резкие изменения политики.
💬 Когда вы ведете машину или играете в быструю спортивную игру, ощущаете ли вы тот момент, когда мозг перестает просчитывать варианты и полностью передает управление мышечной памяти?
Часть 10 из 15 | #ReinforcementLearningForHumans
#ai_edu На основе лекций Стэнфорда и индустрии