Дискриминативные и генеративные модели: Сортировать или создавать
Суровый самурай-стражник стоит у городских ворот. Его единственная задача — посмотреть на каждого путника и ответить на один вопрос: «Купец или шпион?». Со временем он становится экспертом в том, чтобы проводить невидимую границу между этими двумя типами людей. Он не знает, как вести себя как купец, и не умеет подделывать документы шпиона. Он просто знает, где проходит граница.
Тем временем в глубине города в своей мастерской сидит старый художник. Ему не интересно сортировать людей. Всю свою жизнь он изучал пропорции, одежду и выражения лиц каждого жителя города. Когда он прикладывает кисть к свитку, он может нарисовать совершенно новый, гиперреалистичный портрет человека, которого никогда не существовало.
Реальность
В мире машинного обучения это два фундаментальных способа работы с данными.
Самурай-стражник — это Дискриминативная модель. Она принимает данные и предсказывает ярлык. Она ищет границу между классами (например, «кошка» или «собака», «спам» или «не спам»). Она очень эффективна, но ее понимание мира ограничивается лишь умением отличать одни вещи от других.
Художник — это Генеративная модель. Вместо того чтобы просто учить, где проходит граница, она изучает всё базовое распределение данных. Она постигает саму «суть» того, что делает кошку кошкой. И поскольку она понимает эти сложные статистические правила, она может генерировать совершенно новые, искусственные примеры.
Почему это важно
Долгое время IT-индустрия держалась на самураях-стражниках. Мы использовали дискриминативные модели для всего: обнаружения мошенничества, распознавания лиц и алгоритмов рекомендаций. Но они не могли создать ничего нового.
Нынешняя революция нейросетей произошла потому, что мы, наконец, научились эффективно обучать художников — создав инструменты, которые не просто классифицируют наш мир, а генерируют его новые версии.
Главная мысль
Дискриминативные модели проводят границы между вещами; генеративные модели учатся эти вещи рисовать.
Специалисты по ИИ называют это: Дискриминативное и генеративное моделирование
Дискриминативные модели изучают условную вероятность $P(Y|X)$ для классификации, тогда как генеративные модели изучают совместную вероятность $P(X, Y)$, чтобы понять, как эти данные вообще появились на свет.
💬 А в вашей повседневной работе есть задача, где сейчас сидит «самурай-стражник», а вам очень хотелось бы посадить туда «художника»?
Часть 1 из 14 | #GenerativeModelsForHumans
#ai_edu На основе лекций Стэнфорда и индустрии