Локальный ИИ или облачная модель: как сравнить под свою задачу
Сравниваем качество, приватность и полную стоимость AI-сценария. Формула расчёта, учебный пример и локальный запрос через Ollama.
Выбор между локальной LLM и облачным API лучше делать на конкретной задаче. Сначала сравни качество на одинаковых примерах, затем посчитай полную стоимость принятого результата: вычисления, проверку, повторы и поддержку. Цена одного токена не описывает весь процесс.
Локальный запуск даёт больше контроля над местом обработки, а облачный сервис может упростить старт. Но ни один вариант не гарантирует одновременно лучшего качества, минимальной цены и безопасности.
Шаг 1. Зафиксируй требования
| Вопрос | Почему важен |
|---|---|
| Какие данные обрабатываем? | Определяет допустимые сервисы и места хранения |
| Какой результат считаем пригодным? | Позволяет сравнивать модели, а не демонстрации |
| Сколько задач в месяц? | Меняет соотношение постоянных и переменных расходов |
| Допустимо ли ждать? | Пакетная обработка и интерактивный чат требуют разной задержки |
| Кто поддерживает систему? | Обновления и сбои требуют времени |
Не считай локальную систему автоматически изолированной. Если документы уходят в облачный OCR, журналирование или резервную копию, данные всё равно покидают компьютер. Нарисуй весь путь одного документа.
Шаг 2. Собери одинаковый тест
Выбери 20 разрешённых примеров своей задачи: например, извлечение полей из коротких заметок. Сохрани ожидаемые значения, ограничения длины и допустимое время ответа. Прогони обе системы, отметив ошибки и время ручной проверки.
Если локальная модель требует больше исправлений, эта работа должна войти в расчёт. Если облачный сервис недоступен по требованиям к данным, низкая цена не решает ограничение. Правила для конкретной организации нужно уточнить до пилота.
Шаг 3. Посчитай стоимость
Для облака:
N × (Tin × Pin + Tout × Pout) / 1 000 000
+ инструменты + хранение + проверка + повторные запросыЗдесь N — количество задач, Tin/Tout — средний вход и выход, Pin/Pout — цены за миллион токенов. Кэширование, пакетные скидки и отдельные инструменты считай по условиям конкретного провайдера.
Для локального варианта:
оборудование / срок использования в месяцах
+ электричество + поддержка + хранение + проверкаУчебный пример: 10 000 задач, 2 000 входных и 500 выходных токенов, условные цены 1 и 4 доллара за миллион. Получается 40 долларов за генерацию. Оборудование за 1 200 долларов при распределении на 24 месяца — 50 долларов в месяц ещё до электричества. Это вымышленные параметры для демонстрации формулы, не актуальные тарифы и не рекомендация к покупке.
Шаг 4. Сделай локальный пробный запрос
Если Ollama уже установлен, выбери локальную модель из каталога, подходящую компьютеру, и скачай её по инструкции поставщика. В примере используется переменная с точным именем установленной модели; сначала проверь список командой ollama list.
curl http://localhost:11434/api/generate -d '{
"model": "ИМЯ_УСТАНОВЛЕННОЙ_МОДЕЛИ",
"prompt": "Извлеки срок из текста: Анна отправит смету в пятницу.",
"stream": false
}'Заменить имя обязательно. API возвращает текст в поле response; stream: false запрашивает ответ целиком. Поля запроса описаны в документации Ollama. Здесь нет обещания определённой скорости: она зависит от модели, памяти и оборудования.
Шаг 5. Выбери простую архитектуру
Для нерегулярных экспериментов оцени облачный вариант. Для устойчивой нагрузки и локальных данных проверь локальную модель на своих примерах. Иногда подходит смешанный процесс: локальный поиск и извлечение, облачный анализ только разрешённых фрагментов.
Скачать калькулятор с условными параметрами. Он сравнивает месячные суммы, но не оценивает качество моделей. Решение принимай после eval, включая стоимость исправлений и требований к эксплуатации.
Идея материала — из поста Михаила Карпова в todo2go. Практические примеры в руководстве учебные, если не указано иное.
Преврати ИИ-инструменты в рабочую систему
«Быстрый старт в AI»: практические воркшопы по AI-инструментам, прототипам и автоматизации. Собираем результат, который можно применить в работе.
21 практических воркшопов · записи · вопросы автору в чате
Посмотреть программу курса ↗