Как измерить эффективность ИИ-справочника в администрации: KPI, которые реально работают

Администрация района запустила ИИ-справочник. Прошло три месяца. Глава спрашивает: «Окупилось или нет?» Ответ «вроде жители довольны» не годится. Нужны конкретные цифры. Ниже — четыре категории KPI, которые покажут реальную пользу от системы, и как их измерять с первого дня пилота, чтобы не гадать задним числом.

Почему важно измерять с первого дня

Главная ошибка администраций — запускать систему и надеяться, что через полгода станет понятно, сработало или нет. Не станет. Без базовой линии вы не сможете доказать изменения. Базовая линия — это замер показателей ДО запуска системы. Сколько обращений обрабатывали вручную, сколько времени это занимало, сколько жителей оставались недовольны. Зафиксируйте эти цифры в первую неделю пилота. Через три месяца сравните. Только так вы увидите реальный эффект.

Второй момент: не все KPI одинаково важны для всех администраций. Одна администрация хочет разгрузить приёмную, другая — снизить количество повторных звонков, третья — повысить удовлетворённость жителей. Выберите 3-4 метрики, которые соответствуют вашим целям, и отслеживайте именно их. Не пытайтесь измерить всё сразу — утоните в данных.

Категория 1. Операционные метрики

Время обработки типового обращения. Житель спрашивает график приёма главы. Раньше: сотрудник искал информацию в папке, отвечал по телефону или в письме — в среднем 5-10 минут на обращение. С ИИ-справочником: житель получает ответ за 10-15 секунд. Замерьте среднее время ДО и ПОСЛЕ. Если время сократилось в 20-30 раз, это измеримая разгрузка.

Доля обращений, закрытых без участия сотрудника. Вымышленный пример: из 100 обращений за неделю 40 закрыл справочник, 60 потребовали вмешательства специалиста. Значит, система закрывает 40% рутины. Через три месяца смотрите динамику: если доля растёт до 50-60%, система обучается на новых документах и улучшается. Если застряла на 40% — нужно дообучение или расширение базы знаний.

Количество повторных обращений по одному вопросу. Житель спросил про справку, получил ответ, но через день звонит снова, потому что ответ был неполным. Это провал системы. Замеряйте долю повторных обращений ДО и ПОСЛЕ. Хорошая система снижает повторные обращения, потому что даёт исчерпывающий ответ с первого раза.

Категория 2. Качество обслуживания

Удовлетворённость жителей. После каждого ответа система может спрашивать: «Помог ли вам этот ответ?» Да/Нет. Цель — не менее 80% положительных оценок. Если меньше — изучайте журнал, смотрите, на какие вопросы система отвечает плохо, и дообучайте её. Это простейшая метрика, которая не требует опросов и анкет — встроена прямо в интерфейс.

Скорость первого ответа. Житель задал вопрос. Сколько времени прошло до первого ответа? У справочника это секунды. У сотрудника — часы или дни, если обращение пришло в нерабочее время. Замерьте среднее время первого ответа ДО и ПОСЛЕ. Если раньше житель ждал ответ 4 часа, а теперь получает за 15 секунд — это измеримое улучшение сервиса.

Доступность системы 24/7. Справочник работает круглосуточно. Замерьте, сколько обращений приходит в нерабочие часы (вечером, в выходные). Вымышленный пример: из 300 обращений за месяц 80 пришло после 18:00 или в выходные. Это 27% обращений, которые раньше ждали бы до утра понедельника. Теперь они закрыты сразу. Это конкретная ценность для жителей.

Категория 3. Экономия ресурсов

Высвобожденное время сотрудников. Если система закрывает 40% обращений, сколько часов в неделю это освобождает? Вымышленный расчёт: приёмная обрабатывает 200 обращений в неделю, каждое занимает 10 минут. Это 2 000 минут или 33 часа. Система закрыла 40% — это 80 обращений, 800 минут, 13 часов. Почти два рабочих дня в неделю. Куда направить это время? На сложные обращения, на выезды, на улучшение качества работы. Это измеримая экономия.

Снижение нагрузки на телефонную линию. Если раньше 70% обращений шло по телефону, а после запуска справочника доля телефонных звонков упала до 50%, значит, 20% обращений перешло в цифровой канал. Меньше звонков — меньше пропущенных вызовов, меньше стресса у сотрудников. Замерьте количество входящих звонков за неделю ДО и ПОСЛЕ.

ROI пилота. Пилот стоит 150 000 ₽ разово плюс 30 000 ₽ в месяц. За три месяца это 240 000 ₽. Если справочник высвободил 13 часов в неделю, это 52 часа за месяц, 156 часов за три месяца. При средней зарплате специалиста приёмной это экономия, которую можно посчитать. Но главное — не прямая экономия зарплаты (сотрудник никуда не уходит), а возможность направить его время на задачи, которые раньше не делались из-за нехватки ресурсов.

Категория 4. Точность и надёжность

Доля корректных ответов. Проверка на 30-50 типовых вопросах — обязательная часть пилота. Но проверка не заканчивается на приёмке. Раз в месяц берите 20-30 случайных обращений из журнала и сверяйте ответы с документами вручную. Цель — не менее 95% корректных ответов. Если ниже — дообучение системы или обновление документов.

Доля ответов «данных не найдено». Система должна честно говорить, когда ответа нет. Если доля таких ответов больше 20-30%, это сигнал: либо в базе не хватает документов, либо жители задают вопросы, которые выходят за рамки полномочий справочника. Изучите журнал, выделите топ-10 вопросов без ответа и решите: добавить документы или настроить правила перенаправления к сотруднику.

Время до обновления базы знаний. Вышло новое постановление. Сколько времени прошло, пока оно попало в базу справочника? Цель — не более 3 рабочих дней. Если документы обновляются медленнее, система начинает цитировать устаревшее, и доверие к ней падает. Замерьте этот показатель и зафиксируйте в регламенте обслуживания.

Как собирать эти метрики технически

Большинство метрик берутся из журнала системы. Каждое обращение записывается: дата, время, вопрос, ответ, источник, оценка жителя. Раз в месяц выгружаете журнал, строите таблицу в Excel или Google Sheets и считаете. Время на это — около часа. Не нужны сложные дашборды на старте. Простая таблица с пятью столбцами покажет всё, что нужно главе района для принятия решения о продолжении или расширении пилота.

Для сравнения ДО и ПОСЛЕ нужна базовая линия. Перед запуском пилота попросите сотрудников приёмной в течение недели записывать: сколько обращений, сколько времени на каждое, сколько повторных. Это и будет ваша базовая линия. Через три месяца повторите замер — уже с учётом работы справочника. Разница покажет реальный эффект.

Как это устроено у нас

Мы делаем локальный ИИ-справочник для администраций района. Пилот включает установку на ваше оборудование или у нас в с. Месягутово, загрузку до 50 документов, настройку одного канала для жителей, обучение одного сотрудника и проверку на 30–50 типовых вопросах. Условия и стоимость — на странице пилота. Журнал системы и метрики доступны вашему ответственному сотруднику с первого дня. Как справочник работает в реальных условиях — разбирали отдельно.

Если хотите увидеть, какие метрики система отслеживает по умолчанию и как выглядит журнал обращений, закажите демонстрацию: 30–45 минут, лично или онлайн. Мы покажем на ваших документах, как собирать данные для отчёта главе района.