Техобслуживание: Почему работа ИИ никогда не заканчивается
Корабль стартовал. Двигатель работает. Грузы доставляются. Вы наконец-то садитесь в ангаре, закидываете ноги на стол и наливаете себе чашку ужасного космического кофе.
И тут вспыхивают сигнальные огни.
Добро пожаловать в техобслуживание.
Сценарий
Когда вы запускали корабль, он умел уклоняться от астероидов. Но год спустя образовался новый пояс астероидов. Или датчик начал покрываться космической пылью, и его зрение затуманилось. Двигатель не изменился — он по-прежнему делает ровно то, чему вы его научили. Но изменилась вселенная.
Если вы не следите за телеметрией двигателя, вы даже не поймете, что корабль медленно отклоняется от курса, пока он не врежется в луну.
Реальность
В глубоком обучении (Deep Learning) это называется фазой мониторинга и поддержки.
Модель машинного обучения начинает деградировать в ту самую секунду, когда вы ее развертываете. И дело не в багах кода, а в том, что реальный мир постоянно меняется. Меняется поведение пользователей. Меняются данные с датчиков. Это называется “Смещение данных” (Data Drift).
Если вы обучите ИИ предсказывать цены на недвижимость в 2019 году и оставите его работать без изменений до 2024 года, его прогнозы будут абсолютно бесполезны, хотя в самом коде не будет ни одной ошибки.
Почему это важно
Развертывание ИИ — это не разовый проект; это пожизненная подписка на реальность. Вы должны создать дашборды для отслеживания точности модели, скорости ее работы и качества поступающих данных. Когда производительность падает ниже определенного порога, вы не переписываете код — вы идете, собираете новые данные и переобучаете модель.
Главное
Модель ИИ умна ровно настолько, насколько актуальны данные, на которых она обучалась. По мере того как мир меняется, ваша модель снова глупеет. Следите за ней, или готовьтесь к крушению.
Специалисты называют это: Model Monitoring & Data Drift (Мониторинг моделей и смещение данных) Это практика отслеживания показателей производительности развернутой модели с течением времени, чтобы вовремя заметить, когда статистические свойства входных данных изменяются, что требует нового цикла обучения.
💬 Какой процесс или инструмент в вашей работе раньше был идеальным, но медленно деградировал просто потому, что «мир» вокруг него изменился?
Часть 10 (Мониторинг) из 20 | #DLLifecycleForHumans #ai_edu На основе лекций CS230 Stanford