Диагностика: Хватит угадывать
Двигатель вибрирует. Гипер-труба поставляет вам данные. Вы знаете, что что-то не так, но не знаете, что именно. Поэтому вы берете гигантский гаечный ключ и начинаете наугад бить по трубам в надежде, что вибрация прекратится.
Теперь двигатель горит.
Добро пожаловать в диагностику.
Сценарий
Когда кораблю доставки не удается нормально пристыковаться, что именно пошло не так? Датчики не увидели станцию? Маневровые двигатели проигнорировали команду? Или пилот уснул?
Если вы не знаете точной первопричины сбоя, любое «исправление», которое вы попытаетесь внедрить, — это просто слепая догадка. Случайное кручение тумблеров может исправить проблему со стыковкой, но оно же может случайно сломать систему жизнеобеспечения.
Реальность
В глубоком обучении (Deep Learning) это называется анализом ошибок (Error Analysis) или ортогонализацией.
Когда модель ИИ работает плохо, неопытные инженеры часто просто “скармливают” ей больше данных, добавляют больше слоев в нейросеть или дольше ее обучают. Это эквивалент удара по двигателю гаечным ключом.
Вместо этого профессионалы разбивают систему на части. Они берут 100 конкретных примеров, где ИИ ошибся, и вручную категоризируют их. Он ошибся, потому что изображения были размытыми? Потому что текст был на другом языке? Потому что объект был частично скрыт?
Почему это важно
Вы не можете починить систему, пока не узнаете, какой именно компонент дает сбой. Если 80% ошибок вашего ИИ вызваны размытыми фотографиями, тратить полгода на переписывание базового алгоритма — это пустая трата времени. Вам просто нужна камера получше. Анализ ошибок говорит вам, куда именно инвестировать свое инженерное время.
Главное
Не оптимизируйте до того, как проанализируете. Неделя написания кода наугад, конечно, сэкономит вам час ручного анализа ошибок, но в процессе вы уничтожите свой продукт.
Специалисты называют это: Error Analysis & Orthogonalization (Анализ ошибок и ортогонализация) Это процесс ручной проверки неверных прогнозов модели для выявления конкретных первопричин сбоя. Это позволяет инженерам настраивать отдельные, независимые компоненты системы (ортогонализация), не ломая при этом всё остальное.
💬 Вы когда-нибудь тратили дни на попытки исправить сложную проблему, только чтобы понять, что работали над совершенно другой частью системы?
Часть 12 (Диагностика) из 20 | #DLLifecycleForHumans #ai_edu На основе лекций CS230 Stanford