Данные для обучения нейросети: как подготовить набор обращений
Практика для продакта: разметка обращений, правила категорий, удаление дублей и разделение данных для обучения и проверки модели.
Допустим, ты хочешь автоматически направлять обращения пользователей в нужную команду. Прежде чем обсуждать обучение нейросети, подготовь набор примеров, на котором люди одинаково понимают правильный ответ. Если два коллеги размечают одно обращение по-разному, модель унаследует эту неопределённость.
В этом упражнении соберём маленькую учебную таблицу для классификации обращений. Она помогает проверить правила разметки; её размер недостаточен, чтобы заявлять о качестве обученной модели.
1. Определи, для чего нужны данные
Данные могут играть разные роли. Примеры в промпте показывают желаемое поведение прямо в запросе. База знаний даёт факты для поиска. При дообучении примеры используются для изменения модели. Проверочный набор помогает сравнить результат с заранее заданными ответами.
Начни с простого промпта и измерения ошибок. Если проблема в отсутствующей актуальной информации, сначала разбери поиск по документам. Если модель систематически нарушает устойчивые правила классификации, подготовленный набор пригодится для эксперимента с дообучением. Это решение принимается по наблюдаемым ошибкам, а не по количеству накопленных файлов.
Запиши цель: «Для каждого обращения выбрать одну очередь: доступ, оплата, предложение или уточнить». Не добавляй одновременно определение эмоции, срочности и обещание ответа клиенту — это отдельные задачи с собственными правилами.
2. Согласуй правила категорий
Создай таблицу с колонками id, текст, категория, основание, группа, проверил. Группа объединяет сообщения одного инцидента, чтобы позже они не попали в разные части набора.
| Категория | Правило | Пограничный случай |
|---|---|---|
| доступ | Нельзя войти или получить разрешённый доступ | «Хочу второй аккаунт» требует контекста |
| оплата | Списание, счёт, возврат | Упоминание тарифа без проблемы не всегда оплата |
| предложение | Просьба добавить возможность | Неработающая существующая функция — не предложение |
| уточнить | Недостаточно данных или несколько независимых тем | Нельзя угадывать основную причину |
Зафиксируй приоритет: если в одном тексте две независимые проблемы, метка «уточнить». Это правило нашего упражнения, а не универсальный стандарт поддержки. В реальном продукте можно выбрать несколько меток, но тогда надо изменить формат ответов и оценку.
3. Разметь учебные обращения
Ниже вымышленные учебные сообщения, не данные клиентов.
| id | Текст | Категория | Основание |
|---|---|---|---|
| A01 | После смены пароля не могу войти | доступ | Прямо указан сбой входа |
| A02 | За подписку списали дважды | оплата | Повторное списание |
| A03 | Добавьте экспорт отчёта в PDF | предложение | Запрос новой возможности |
| A04 | У меня ничего не работает | уточнить | Не названа проблема |
| A05 | Не могу войти, и ещё списали дважды | уточнить | Две независимые темы |
| A06 | Где скачать счёт за сентябрь? | оплата | Запрос платёжного документа |
Дай эту таблицу двум коллегам без колонки «Категория». Попроси разметить независимо, затем сравни расхождения. Для A05 важнее соблюдение договорённого правила, чем спор о том, какая проблема серьёзнее. При расхождении сначала улучши инструкцию, затем пересмотри затронутые строки.
ИИ можно использовать как помощника разметчика:
Разметь учебные обращения по правилам ниже.
Категории: доступ, оплата, предложение, уточнить.
Доступ — вход или разрешения. Оплата — списание, счёт, возврат.
Предложение — новая возможность.
Уточнить — мало данных либо две независимые проблемы.
Верни id, метку и короткий фрагмент текста, который её подтверждает.
Не додумывай причины и не исправляй исходные сообщения.
A01: После смены пароля не могу войти.
A04: У меня ничего не работает.
A05: Не могу войти, и ещё списали дважды.Ожидаемые метки: A01 — доступ; A04 и A05 — уточнить. Ответ помощника становится рабочей разметкой только после проверки человеком. Поле «проверил» должно отражать реальную проверку.
4. Удали утечки между частями набора
На схеме training set — обучающая часть, validation set — часть для выбора настроек, test set — итоговая независимая проверка. Пропорции на картинке иллюстративны: обязательного деления 70/15/15 нет. Google объясняет, почему проверочные примеры нужно отделять от обучения.
В рабочей таблице объедини дубли и близкие сообщения одного инцидента в группу. Разделяй группы целиком: перефразированное обращение не должно одновременно учить модель и проверять её. Для проверки будущих обращений можно выделить более поздний период, сохранив ту же защиту от дублей. Проверь также наличие редких категорий.
Шесть строк выше не дели ради красивых процентов. Это упражнение для согласования правил. Для настоящего эксперимента собери достаточно независимых случаев каждой важной категории, включая ошибки и неоднозначные тексты. Размер зависит от задачи, разнообразия данных и требований выбранной платформы.
5. Подготовь пакет для эксперимента
Перед передачей убери ненужные персональные данные и проверь право использовать исходные обращения. Сохрани версию правил, дату набора, происхождение строк и способ разделения. Отдельно отметь синтетические примеры: они не заменяют независимые реальные случаи для оценки.
Формат выгрузки выбирают после выбора модели. Например, подготовка данных для Gemini описывает собственную структуру обучающих примеров. Обычная таблица разметки — удобный рабочий исходник, но не универсальный файл загрузки в любой сервис.
Пакет готов к обсуждению, если у каждой строки есть проверенная метка, спорные случаи разобраны, группы не пересекаются между частями и сохранена базовая оценка без дообучения. Сравнивать варианты удобно по первому eval-набору: отдельно считай ошибки по категориям, чтобы частая метка не скрыла провал редкой.
Моя рекомендация: сначала добейся согласия людей на сложных примерах. Увеличивать таблицу до тысяч строк имеет смысл, когда понятны правила правильного ответа.
Проверка материала: официальные источники сверены 16 октября 2026 года. Примеры учебные; подключение MCP, запуск контейнера и обучение модели в рамках подготовки статьи не выполнялись.
Освоить рабочие сценарии с ИИ можно на курсе AI Product Club.
Собери своего ИИ-агента и проверь результат
«AI Agents: от vibe coding к AI-команде»: desktop agents, MCP, skills, evals и harness. Отдельные воркшопы — от подключения инструментов до контроля качества.
7 практических воркшопов · записи · вопросы автору в чате
Посмотреть программу курса ↗