Слухи и шёпот: поиск правды в шуме
В «поле» вы редко получаете чистый и четкий отчет. Чаще всего вы действуете в темноте, собирая историю по кусочкам из трактирных сплетен, постов в соцсетях и отчетов местной полиции. Ничто из этого не идеально. Большая часть — это просто шум.
Сценарий
Представьте, что вы выслеживаете высокопоставленного перебежчика в переполненном мегаполисе. У вас нет спутниковой связи и команды прикрытия. Ваши единственные источники:
- Зернистый снимок с камеры наблюдения, где время может быть указано неверно.
- Твит туриста о том, что он видел «кого-то знаменитого» в кафе.
- Отчет местной полиции о «подозрительном типе» тремя кварталами дальше.
Любая отдельная улика здесь — «слабая». Если вы пойдете по одному следу, то окажетесь в тупике. Но когда вы пропускаете через себя десять тысяч таких «шёпотов» одновременно, шум начинает гасить сам себя. Проступает размытый, но безошибочный след. Вы нашли истину не по одной «эталонной» метке, а усреднив десять тысяч «слабых». Это и есть СЛАБОЕ ОБУЧЕНИЕ (Weakly-supervised Learning).
Реальность
Слабое обучение — это ультимативный способ ускорения современного ИИ. Вручную размечать миллионы изображений — долго и дорого. Поэтому вместо найма экспертов мы используем «шумные» метки.
Мы можем обучить модель, используя хэштеги из соцсетей. Если миллион фотографий помечен тегом #закат, ИИ поймет, как выглядит закат — даже если на некоторых фото на самом деле просто люди в баре, говорящие о закате. ИИ понимает, что общим знаменателем во всех этих «слабых» метках является оранжевое свечение на горизонте. Он учится игнорировать ошибки и фокусироваться на консенсусе.
Почему это важно
Именно так ИИ выходит из лабораторий в реальный мир. Мир хаотичен, а «идеальные» метки — редкость. Слабое обучение позволяет использовать массивные неорганизованные данные из интернета для создания удивительно точных систем. Это искусство быть «в основном правым» в миллиарде случаев, что в итоге оказывается мощнее, чем быть «идеально правым» в десяти.
Главное
Слабое обучение — это искусство тренировки ИИ на «шумных» или неточных метках, позволяющее находить истину через анализ консенсуса множества несовершенных источников.
Специалисты называют это: Weakly-supervised Learning (Слабое обучение / Обучение со слабым учителем) Слабое обучение — это раздел машинного обучения, где модель обучается на метках, которые являются шумными, ограниченными или неточными, а не на высококачественных «золотых стандартах».
💬 Мы подошли к финалу. За последние 25 дней вы увидели всю архитектуру того, как машины учатся видеть, думать и предсказывать. Если бы вы могли дать ИИ один «слабый» сигнал из своей жизни, чтобы помочь ему понять, кто вы на самом деле, что бы это было?
Часть 25 (Слабое обучение) из 25 | #DeepLearningДляЛюдей