GigaChat как сердце агента: подключить получилось, пользоваться нет
На прошлой неделе я писал, что Алиса сценарий есть, а нормальной работы с нечеткими задачами нет. Я уже тогда захотел чекнуть Гигачат, тормозил гемор с ротацией API ключей.
Вчера у Паши вышел
https://t.me/evilfreelancer про https://github.com/ai-forever/gpt2giga — адаптер для моделей GigaChat через OpenAI-совместимое API. Утилита мне понравилась — не надо думать об обновлении токенов, есть поддержка и OpenAI и Anthropic API. Пошел тестить на своём OpenClaw, тем более что у Паши в Hermes был успешный тест.
🧪 Тест с помехами
Взял тот же кейс про
«Проверь расписание моего барбера в Топгане Хорошёво, он на какой-то набережной, барбер самый дорогой».
Задача мутная: есть опечатки, нет точного адреса, нет имени мастера, есть только намёк на филиал и критерий по цене.
Расчет, что агент воспользуется сначала поиском, потом браузером. Все тулы уже есть. Более того, в обвязке лежит скилл для этой же задачи и есть отдельный субагент чисто под записи. Вариантов записаться масса.
⚙️ Хорошая новость: оно вообще подключается
Через gpt2giga GigaChat действительно можно завести в агентную систему. Всё работает и базовые кейсы успешны.
В изолированном тесте GigaChat-2-Pro умеет вернуть вызов функции. Пример с web_search отработал нормально: модель вернула вызов инструмента. На этом тесте я предположил, что раз мы можем найти барбершоп, то и барбера сможем.
OpenClaw у меня имеет 22 инструмента. И вот в такой конфигурации начались проблемы.
😀 Забегая вперед скажу, что руки (тулы) модель иногда чувствует. Проблема в том, что она не всегда понимает, что ими надо пользоваться.
🤖 Какие были проблемы
Модель ведет себя совешенно разнообразно.
1️⃣ В одном запуске Гигачат Про ответил, что у него нет доступа к интернету или браузеру. Хотя инструменты были переданы.
2️⃣ В повторном запуске он увидел скилл про запись к барберу, но не прочитал его, не сделал поиск, не открыл браузер. Просто написал: «воспользуемся навыком» — и попросил уточнить мастера.
3️⃣ Когда я попросил использовать web_search, инструмент наконец вызвался. Изолированно на русском языке хорошо. В обвязке OpenClaw на русском всё ок, для транслита не осилила search для topgan horoshevo и вызвала web_fetch(url=https://topan.horoshevo). Но это я придираюсь.
Короче говоря тестовая песочница может вызвать тул, но на сложных наборах данных всё ломается. Может даже сломаться аргумент.
💸 А теперь экономика
По https://developers.sber.ru/docs/ru/gigachat/tariffs/legal-tariffs GigaChat 2 Pro стоит 0,5 ₽ за 1 000 токенов, GigaChat 2 Max — 0,65 ₽ за 1 000 токенов. Для https://developers.sber.ru/docs/ru/gigachat/tariffs/individual-tariffs пакет GigaChat 2 Pro на 3 млн токенов стоит 1 500 ₽.
Ссылки на тарифы: https://developers.sber.ru/docs/ru/gigachat/tariffs/legal-tariffs https://developers.sber.ru/docs/ru/gigachat/tariffs/individual-tariffs
Мой OpenClaw ест примерно 140 млн токенов за 7 дней (спасибо Heartbeat). Если считать на месяц, получится примерно 300-400 тыс руб в месяц за Гигачат.
Один только запрос про барбершоп у меня сжигал от 15 000 до 46 000 токенов: системный промпт, память, скиллы, схемы инструментов и т д.
🚧 Интересно, что на 4-х тестах и одном запросе про барбера я получил ошибку: пора платить. 50 000 онбординг токенов улетели и пришлось платить 1500 рублей чтобы продолжить свои исследования.
🧩 Главный вывод
Суверенный ИИ — нужная штука. Я правда хочу, чтобы российские модели можно было использовать не только в пресс-релизах, но и в реальных агентных системах. Чтобы не переживать, как там дела у моих подписок в ОпенИИ.
Но если за суверенный ИИ может платить только корпорация, массового внедрения не будет.
🤔 Школьник может купить подписку на несувeренный ChatGPT примерно за цену пары доставок еды и получить модели, которые стабильнее работают с инструментами. Ценообразование фактически за токены, без дисконта для подписок вряд ли привлечет массу людей.
Кто уже пробовал GigaChat в агентах? У вас инструменты вызываются стабильно или тоже начинается лотерея?
----
— AI, код и кейсы
