Зажигание: Покидая симулятор
Вы вырвались из временной петли. Двигатель наконец-то безупречно проходит VR-симулятор. Он уклоняется от астероидов, стыкуется со станциями и игнорирует черные дыры. Тренировочные колеса сняты.
Теперь вам нужно прикрутить этот двигатель к настоящей ракете, загрузить настоящий груз и нажать гигантскую красную кнопку.
Добро пожаловать на стартовую площадку.
Сценарий
В симуляторе двигатель был подключен к массивным генераторам энергии (GPU) и мог не торопиться с расчетом каждого движения. Но в открытом космосе у него есть только батарея корабля, и он должен принимать решения за доли секунды, прежде чем настоящий метеорит сотрет его в пыль.
Хуже того, в симуляторе вы управляли погодой. Там, снаружи, вселенная будет бросать на датчики космическую пыль, которую двигатель никогда раньше не видел. Он больше не может учиться. Он может только реагировать.
Реальность
В глубоком обучении (Deep Learning) это называется фазой развертывания (Deployment).
Когда вы развертываете модель, вы перестаете ее обучать. Внутренняя математика (веса) замораживается. Модель переходит из режима «обучения» в режим «вывода» (inference) — то есть она только принимает новые входные данные и генерирует прогнозы.
Основатели часто предполагают, что обученная модель — это готовый продукт. Это не так. Развертывание модели требует совершенно другой инженерии. Вы должны оптимизировать ее, чтобы она работала быстро (задержка), обслуживала тысячи пользователей одновременно (пропускная способность) и выживала при столкновении со странными, грязными данными из реального мира, которые совсем не похожи на ваши идеально вычищенные тренировочные наборы.
Почему это важно
Модель, которая обладает высокой точностью, но отвечает на вопрос пользователя десять секунд — это бесполезный продукт. Развертывание — это момент, когда теоретический ИИ становится практическим программным обеспечением. Вы меняете контролируемую, медленную среду лаборатории на хаотичную, быструю среду продакшена.
Главное
Обучение ИИ доказывает, что он может работать. Развертывание ИИ доказывает, что он может работать для клиента.
Специалисты называют это: Model Deployment & Inference (Развертывание модели и инференс) Это процесс интеграции обученной модели машинного обучения в производственную среду, где она может получать живые данные и возвращать прогнозы (инференс) эффективно и надежно.
💬 Какие самые хаотичные данные из “реального мира” на вашей памяти ломали систему, которая идеально работала на тестах?
Часть 9 (Развертывание) из 20 | #DLLifecycleForHumans #ai_edu На основе лекций CS230 Stanford