Как анализировать отзывы с помощью ИИ
Анализ отзывов с ИИ: категории, цитаты, частота проблем и проверка неоднозначных сообщений. Учебный набор и промпт для разметки.
Анализ отзывов с помощью ИИ лучше начинать с разметки отдельных сообщений. Сначала сохрани связь вывода с исходным отзывом, затем считай частоты и выбирай, что исследовать дальше. Общий пересказ сотни сообщений может потерять редкую, но важную проблему и превратить эмоциональную фразу в неподтверждённую причину.
Разберём обратную связь о вымышленном сервисе заметок. Нужны темы, подтверждающие фрагменты и вопросы для следующего исследования. В комплекте — шесть сообщений и контрольные категории. Это небольшой учебный набор, не репрезентативное исследование пользователей.
Сохрани идентификаторы и происхождение
Для каждой записи оставь review_id, текст, дату и источник. Если один человек отправил одинаковый отзыв в два канала, сначала реши, считаешь ли ты сообщения или уникальных пользователей. Эти единицы анализа дают разные числа.
Убери ненужные личные данные, но сохрани сведения, влияющие на смысл: устройство, версия приложения, шаг сценария. Фраза «экспорт не работает» без контекста даёт меньше информации, чем «экспорт CSV зависает после выбора большого периода».
Не удаляй отрицательные отзывы как «шум» только из-за эмоциональной лексики. Отдели тон сообщения от описанной проблемы. Если сообщение содержит несколько проблем, разреши несколько меток и учти это при подсчёте.
Задай правила категорий
Для упражнения используем export, search, pricing, praise, unclear. Первая категория относится к выгрузке, вторая — к поиску, третья — к цене и тарифам. praise означает явную похвалу без конкретной проблемы, unclear — недостаточно понятный текст.
Разметь каждый отзыв отдельно. Верни review_id, категории,
короткую цитату-основание и вопрос для уточнения при необходимости.
Используй только заданные категории. Разрешены несколько меток.
Не придумывай техническую причину и не определяй личность автора.
Если смысл неясен, используй unclear и объясни неоднозначность.В наборе «CSV скачался без строк» относится к export. «Не нахожу вчерашнюю заметку» — к search, но не доказывает удаление заметки. «Спасибо, всё удобно» — praise. «Ну отлично…» без контекста лучше оставить неоднозначным, чем автоматически считать положительным.
Проверь разметку до подсчёта
Возьми все шесть учебных строк и сравни метки с контрольным набором. В рабочей выгрузке вручную проверь выборку из каждой категории, особенно unclear и редких тем. Исправление инструкции должно опираться на конкретные ошибки, а не на желание получить более красивую диаграмму.
Проверь сохранность ID: их должно быть столько же, сколько исходных записей после заранее определённой очистки. Если модель объединила два сообщения, частоты уже нельзя считать по её сводке. Вернись к разметке по строкам.
Посчитай частоты с правильным знаменателем
По проверенной разметке посчитай число уникальных review_id
с каждой меткой. Знаменатель доли — все сообщения набора.
Отдельно укажи число сообщений с несколькими метками.
Поясни, что сумма долей может превышать 100%.Если две из шести записей касаются экспорта, это 33,3% сообщений данного набора. Нельзя писать «треть пользователей недовольна экспортом»: неизвестны способ отбора, доля ответивших и количество уникальных пользователей.
Расчёты по большому набору лучше выполнять кодом или формулами после проверки категорий. Пример независимой сверки чисел есть в статье про Excel и CSV. Генерация текста не должна подменять арифметику.
Переведи наблюдения в действия
Раздели результат на наблюдение, гипотезу и проверку. Наблюдение: несколько сообщений описывают пустой CSV. Гипотеза: проблема связана с фильтром периода. Проверка: воспроизвести экспорт с теми же параметрами. Пока проверки нет, гипотеза не становится диагнозом.
Приоритет зависит не только от частоты. Потеря данных в одном подтверждённом случае может быть важнее нескольких пожеланий к цвету интерфейса. Уточни влияние и воспроизводимость, прежде чем отдавать автоматическую сводку в план разработки.
Для повторяемой обработки используй связку n8n и Google Sheets, сохраняя исходный текст и результат разметки рядом. После смены промпта или модели повторяй контрольный набор. Возможности анализа файлов и ограничения платформы следует сверять с официальной документацией работы с файлами.
Преврати ИИ-инструменты в рабочую систему
«Быстрый старт в AI»: практические воркшопы по AI-инструментам, прототипам и автоматизации. Собираем результат, который можно применить в работе.
21 практических воркшопов · записи · вопросы автору в чате
Посмотреть программу курса ↗