Академия: школа общих знаний
Прежде чем агента отправят на опасную миссию по проникновению в конкретный штаб, он должен выжить в Академии. Его обучение начинается не с секретных шифров, а с основ устройства мира.
Сценарий
Представьте молодого рекрута, прибывшего в секретный тренировочный центр в горах. В следующие три года он не услышит ни слова о своих будущих целях. Вместо этого он будет изучать всё остальное.
Он учит десять языков. Изучает мировую историю, химию и учится водить любой транспорт — от мотоцикла до грузового самолета. Он понимает, как работает гравитация и как люди реагируют на стресс.
К моменту выпуска он не является экспертом по «Операции Полночь», но он является экспертом по миру в целом. Он прошел ПРЕДОБУЧЕНИЕ (Pre-training). Когда наконец придет время миссии, ему не нужно будет учиться ходить или говорить — ему останется только выучить планировку конкретного здания.
Реальность
В глубоком обучении мы редко начинаем обучать модель с абсолютного нуля. Вместо этого мы берем модель, которая уже провела месяцы, «читая» весь интернет или «просматривая» миллионы обычных фотографий.
Это и есть ПРЕДОБУЧЕНИЕ. На этом этапе ИИ усваивает фундаментальные паттерны: правила грамматики, то, как выглядят углы и линии на изображениях, или базовую логику человеческого общения. Эти общие знания делают модель невероятно мощной и — что самое важное — готовой к специализации под вашу конкретную задачу всего за несколько часов.
Почему это важно
Обучение модели с нуля — это дорого, долго и требует колоссальных объемов данных. Предобучение позволяет нам «позаимствовать» интеллект, который уже создали технологические гиганты. Это как нанять ветерана разведки, который уже знает мир вдоль и поперек, вместо того чтобы пытаться обучить новорожденного младенца искусству шпионажа.
Главное
Предобучение дает ИИ «общее образование», чтобы ему не приходилось учить правила мира заново для каждой новой задачи.
Специалисты называют это: Pre-training / Foundation Models (Предобучение / Фундаментальные модели) Предобучение — это процесс обучения нейронной сети на огромном общем наборе данных для усвоения универсальных признаков. Впоследствии такую модель можно «дообучить» (fine-tune) на меньшем, специализированном наборе данных.
💬 Если бы вы могли мгновенно загрузить в свой мозг один навык из категории «общих знаний», что бы это было?
Часть 16 (Предобучение) из 25 | #DeepLearningДляЛюдей