Финальный экзамен: подготовка к неизвестному
В агентстве одной памяти недостаточно. Можно вызубрить каждое дело в архиве, но если вы не способны справиться с новой ситуацией в «поле», вы становитесь обузой.
Сценарий
Представьте, что вы рекрут в Академии. Последние полгода вы изучали стопку из 800 архивных дел. Вы знаете каждое имя, каждую дату и каждый секрет на этих страницах. Это ваш ОБУЧАЮЩИЙ НАБОР (Training Set).
Если инструктор даст вам экзамен по этим же 800 делам, вы сдадите его на отлично. Но значит ли это, что вы хороший агент? Нет. Это значит лишь то, что у вас хорошая память.
Чтобы по-настоящему проверить вас, инструктор достает 200 дел, которых вы никогда раньше не видели. Это ТЕСТОВЫЙ НАБОР (Test Set). Эти дела — ваша «Симулированная миссия». Если вы сможете применить логику, которую усвоили из первых 800 дел, чтобы решить эти 200 новых задач — вы готовы. Если же вы провалите новые дела, несмотря на зазубренные старые, значит, вы ПЕРЕОБУЧИЛИСЬ (Overfitted) — вы выучили частности, но упустили общие закономерности.
Реальность
В глубоком обучении мы никогда не используем весь объем данных для тренировки. Мы всегда делим их — обычно в пропорции 80% для Обучения и 20% для Тестирования.
Модель «изучает» обучающий набор, чтобы выявить паттерны. Но мы оцениваем её настоящий интеллект на тестовом наборе — данных, которые она никогда не видела. Это единственный способ узнать, может ли ИИ применять знания в реальном мире или он просто «зазубрил» ответы на вопросы из учебника.
ПОЧЕМУ ЭТО ВАЖНО Модель, которая идеально работает на обучающих данных, но проваливается на тесте, похожа на агента, который знает учебник наизусть, но впадает в ступор на первой же настоящей миссии. Мы разделяем данные, чтобы заставить машину быть честной. Это проверка реальностью, которая гарантирует, что наш ИИ действительно учится, а не просто копирует.
Главное
Обучающий набор — для учебы; Тестовый набор — это симуляция миссии, которая доказывает готовность ИИ к реальному миру.
Специалисты называют это: Train/Test Split (Разделение на обучающую и тестовую выборки) Разделение на обучающую и тестовую выборки — это метод оценки эффективности алгоритма машинного обучения. Процедура включает разделение набора данных на два подмножества: обучающий набор (используется для подгонки модели) и тестовый набор (используется для оценки производительности модели на невидимых данных).
💬 Если бы вам сегодня пришлось сдавать «Финальный экзамен» по вашему самому важному жизненному навыку, как бы выглядел «Тестовый набор»?
Часть 20 (Обучающая и тестовая выборки) из 25 | #DeepLearningДляЛюдей