Изучение распределения данных: Математика сути
Молодой подмастерье молча сидит в бамбуковом лесу. У него нет ни кисти, ни туши. Месяцами он просто наблюдает. Он замечает, что восемь из десяти листьев бамбука слегка изгибаются вниз, а два — резко. Он понимает, что стебли никогда не бывают идеально прямыми, а пустоты между ними подчиняются невидимому ритму. Он не пытается заучить наизусть какой-то один конкретный стебель бамбука. Он изучает фундаментальные правила того, как бамбук вообще существует в этом мире.
Когда он наконец возвращается в мастерскую, он не рисует тот самый бамбук, который видел. Он рисует совершенно новый стебель, который подчиняется ровно тем же невидимым правилам.
Реальность
Именно это происходит при обучении генеративной ИИ-модели.
В машинном обучении этот процесс называется «изучением распределения данных». Распределение — это просто гигантская математическая карта вероятностей. Когда вы «скармливаете» ИИ миллионы фотографий человеческих лиц, он не сохраняет эти снимки в базу данных, как в цифровой фотоальбом.
Вместо этого он ведет себя как тот подмастерье. Он изучает вероятности. Он усваивает, что глаза всегда находятся над носом, что определенные тени естественно ложатся вдоль линии подбородка, и что вероятность встретить лицо с тремя глазами равна ровно нулю.
Почему это важно
Если бы ИИ просто заучивал тренировочные данные наизусть, он был бы бесполезен — он мог бы выдавать только точные копии того, что уже видел. А для этого достаточно обычной поисковой системы.
Изучая математическое распределение, модель постигает саму суть данных. И это позволяет ей творить магию, которую ученые называют «семплированием» (sampling). Модель может взять новый набор точек из этой карты вероятностей, чтобы сгенерировать лицо, песню или строку кода, которых никогда раньше не существовало, но которые идеально подчиняются правилам реальности.
Главная мысль
Генеративные модели не заучивают мир наизусть; они изучают математическую вероятность его сути.
Специалисты по ИИ называют это: Изучение распределения данных (Learning Data Distributions)
Вместо сохранения конкретных примеров генеративные модели изучают базовую функцию плотности вероятности (PDF) тренировочных данных, что позволяет им генерировать новые образцы из зон высокой вероятности.
💬 Если бы вам пришлось описать «распределение данных» вашего собственного стиля письма, какие невидимые правила заметил бы ИИ?
Часть 2 из 14 | #GenerativeModelsForHumans
#ai_edu На основе лекций Стэнфорда и индустрии