Как мы во Fluently автоматически закрываем 90% саппорт тикетов
Когда мы запустили мобильного AI тьютора в начале этого года, то я лично отвечал на все тикеты, которые прилетали в intercom. Их было мало и это не занимало много времени.
Вскоре мы начали очень быстро расти, и этим мне заниматься стало очевидно тупо.
И тут на самом деле было 2 пути: либо скейлить кол-во людей в саппорте, либо уйти в ai автоматизацию.
Вы удивитесь, но скорее всего живой саппорт вам обойдется дешевле AI автоматизации 😃
Платформы типа intercom берут $1 за закрытие одного тикета своим AI-ботом. Мало того, что это дорого, так он еще и до усрачки тупой.
В то же время, можно нанять фулл-тайм саппорт агента в Казахстане, который будет не только закрывать вам тикеты в 3 раза дешевле, но и абсолютно ЛЮБЫХ тикетов.
Тем не менее я решил, что во Fluently мы автоматизируем все по максимуму и оставим 1 человека, который будет постоянно улучшать автоматизацию и быть на подхвате. Это может быть сложнее в моменте, но будет проще скейлиться с нашим ростом.
Специфика большинства b2c заключается в том, что 80% тикетов так или иначе связаны с менеджментом подписки и платежами: кто-то хочет отменить подписку, но не разобрался как; другой пришел просить рефанд; третий купил через AppStore и пришел жаловаться, что Apple его послали и тд.
Большой чанк таких реквестов легко автоматизировать через тривиального чатбота с кнопочками даже без всякого ИИ. Чел хочет отменить Stripe подписку? Дергаем апишку страйпа. Чел купил через AppStore? Обьясняем, как сделать отмену самому. Красота в том, что это сразу закрывает 50% обращений и стоит $0 за тикет. Это как раз те самые 20% усилий.
Вторые же 50% менее тривиальны, поскольку содержат сложные кейсы с платежами (например, не помню на какую почту куплена подписка) и длинный хвост вопросов про продукт.
Вот тут уже мы подключаем AI бота, который снаряжен всеми необходимыми ручками для работы со Stripe (найти по имейлу, сделать отмену/рефанд подписки) и нашим бекендом, а также обладает базой knowledge snippets (считай база вопрос-ответ), чтобы шарить за фичи продукта.
Эта часть намного сложнее, потому что AI любит галлюцинировать: ботик может нести полную чушь; делать отмены, когда его не просили; утверждать, что он сделал рефанд, когда на самом деле нет и тд.
Что мы делаем, чтобы максимизировать процент авто-закрытия тикетов и качество ответов?
Во-первых, мы ручками отсматриваем ответы бота и много итерируем prompt, чтобы он лучше и лучше хендлил корнер кейсы.
Беседы бота лежат в отдельном инбоксе и закрываются только, если пользователь не ответит в течение суток на его последнее сообщение. Это даёт время отсмотреть их глазками в спокойном режиме и вклиниться, если что-то пошло не так.
Во-вторых, мы инструктируем бота в любой непонятной ситуации или, если видно, что пользователь недоволен/жалуется, переводить его на человека.
В-третьих, я собрал n8n автоматизацию, которая постоянно дает рекомендации по улучшению базы знаний, чтобы мы увеличивали покрытие ответов.
Она ждет, пока накопится 50+ обращений, с которыми не справился AI бот, и они были переведены на человека.
Эти тикеты (с ответами агента) вместе с текущей базой знаний скармливается LLM с просьбой выдать рекомендации:
- какие сниппеты стоит удалить, потому, что они могли устареть или начать конфликтовать;
- какие сниппеты стоит отредактировать, чтобы лучше отвечать на вопрос;
- и какие новые сниппеты стоит добавить.
Эти рекомендации падают в канальчик в слаке вместе со ссылками на тикеты, которые они могли бы закрыть (скрин в комментах), а дальше мы пока в ручном режиме вносим правки в базу знаний.
Сейчас AI бот закрывает 70% своих тикетов, но мы планируем таким образом довести этот процент до 90+, чтобы человеку перепадало меньше 5% от всех обращений.
Если соберем 300 🔥, то расскажу еще про один крутой юзкейс применения аи агентов у нас во Fluently, которым я пользуюсь по много раз в неделю!
