Обновления AutoFAQ: релизы 5.9.0 и 5.10.0

В релизах 5.9.0 и 5.10.0 мы представили новый модуль валидации качества бота и полностью переработали список активных запросов. Модуль валидации позволяет регулярно проверять точность ответов бота по заданным эталонам и отслеживать динамику качества в одном месте. Обновлённый список активных запросов стал гибче: появились расширенные фильтры, настраиваемые колонки и таймеры с контролем SLA. Читайте подробнее в полном описании релизов.

Сервис валидации качества бота предназначен для регулярной проверки того, насколько точно ответы бота соответствуют заданным вами эталонам.

Сервис рассчитывает единую метрику качества, которая отражает работу бота в целом, и позволяет оценить качество работы бота в динамике. После любых изменений в настройках бота вы можете в один клик убедиться, что общее качество работы бота не снизилось.

Новый сервис можно открыть через пункт меню «Валидация», который доступен всем пользователям с ролью Супервизор.

Эталон — это пример правильного ответа бота: вопрос клиента и ответ, который вы считаете верным. Сервис валидации будет проверять соответствие реального ответа бота и эталонного ответа. Оценка будет проводиться как по смыслу ответа, так и по его оформлению. В результате каждой проверки сервис валидации вернёт метрику качества — степень его близости эталону; незначительные отклонения в тексте ответа без изменения смысла не приведут к низкой оценке.

Вы можете создать эталон с нуля или взять готовую пару вопрос-ответ из переписки с клиентом.

Подробнее о создании и управлении эталонами — см. раздел «Эталоны».

Измерение — это процесс сверки реальных ответов и эталонных ответов у всех эталонов. Вы нажимаете кнопку, и сервис задаёт боту все вопросы из активных эталонов, получает ответы и сравнивает их с ожидаемыми. По итогам вы видите оценку по каждому эталону и общую оценку за весь запуск.

Процесс измерения проводится по всем активным базам знаний бота в группе, с учётом всех настроек автоматических ответов, так как если бы вопрос задавал пользователь.

Если перед измерением отключить какую-либо базу знаний, то бот не сможет предоставить ответ из неё и сводная метрика упадёт. Если перед измерением, наоборот, подключить новую базу знаний, то процесс проверки может получить новые ответы, которые могут не совпадать с эталонными.

Подробнее о создании измерений — см. раздел «Измерения».

Индекс качества ответа (Qi) — оценка того, насколько реальный ответ бота совпал с тем, что вы задали как эталонный ответ. В рамках измерения сервис рассчитывает данную метрику для каждого эталона отдельно, а в результатах всего измерения указывается сводный индекс качества — среднее значение метрик всех эталонов. Отслеживая сводный индекс всего бота от измерения к измерению, вы сразу увидите, если что-то пошло не так.

На главной странице сервиса валидации отображается сводный индекс последнего измерения.

Так как сервис валидации сам по себе не знает, что считать качественным ответом, он рассчитывает качество ответов только по заданным эталонам ответов.

Поэтому для начала работы сервиса необходимо создать как минимум один эталон ответа. Создать его можно либо вручную через кнопку «Новый эталон», либо на основе диалога в разделе «История запросов».

При создании эталона можно вписать текст ответа вручную или получить текущий ответ бота через кнопку «Сгенерировать эталонный ответ" — форма создания эталона заполнит поле текста ответа и его источник. При необходимости можно отредактировать текст ответа до идеального состояния, но источник в этом случае будет убран.

При наличии качественных диалогов с пользователями можно создать эталон прямо на основе этого диалога.

Для этого в контекстном меню диалога надо выбрать пункт «Создание эталонного примера».

В настоящее время сервис валидации умеет проверять только пары вопрос-ответ, а не целиком диалог, поэтому если в диалоге было несколько пар вопрос-ответ, то надо отметить нужную.

При необходимости можно внести исправления в текст вопроса или ответа.

В итоге на странице валидации появятся новые эталоны.

Теперь можно запустить измерение и получить текущие ответы бота и метрику качества.

После первого измерения вы получите первую метрику качества ответа бота и сможете предметно проанализировать случаи неверных ответов. В последующем эти и новые эталоны будут участвовать во всех измерениях и, если в ответе бота на эти вопросы что-то поменяется, — вы сразу узнаете об этом.

На главной странице валидации показывается информация о последнем измерении для указанной группы. Сменить группу можно в шапке страницы.

Индекс качества — блок показывает сводный индекс качества последнего измерения, а также изменение этой метрики относительно прошлого значения и дату последнего измерения.

Источники ответов — показывают базы знаний AutoFAQ и Xplain на момент последнего измерения. Указано число баз знаний обоих типов, которые были включены в группе в «Ответы и рекомендации». Кроме того, для баз знаний AutoFAQ указывается число документов, для баз знаний Xplain — число подключённых источников информации. В дальнейшем планируется дополнить блок информацией о текущем состоянии баз знаний.

Настройки — показывают основные настройки системы в части автоответов на момент последнего измерения: пороги уверенности для ответов из баз знаний AutoFAQ и Xplain и отметка об использовании уточнения вопроса в текущей группе. В дальнейшем список отображаемых параметров может быть расширен.

История измерений — график показывает последние 20 измерений для выбранной группы. При наведении на точку всплывает окно с настройками системы для того измерения. При клике на точку графика открывается страница выбранного измерения.

Подробнее о создании измерений — см. раздел «Измерения».

В таблице отображаются те эталоны, которые принимали участие в последнем измерении, плюс новые эталоны, только что созданные. В дальнейшем в описании на этой странице будут подразумеваться именно последнее измерение для любого эталона в таблице.

Колонки таблицы: Дата добавления, Вопрос, Статус (Активен/Отключён), Qi (текущая метрика и % изменения относительно прошлого результата), Эталонный ответ, Ответ последнего измерения, Комментарий.

Кнопки «Новый эталон» и «Импорт XLSX» создают новые эталоны в текущей группе. В таблице предусмотрена сортировка по колонкам даты добавления и метрики, а также фильтрация по дате добавления, статусу эталона и изменению метрики.

Для каждого эталона в правой части есть кнопка действий. Для новых эталонов доступен только вариант «Открыть» для просмотра и редактирования. Для тех эталонов, кто принимал участие в последнем измерении, доступны три действия: «Открыть», «Скопировать ссылку», «Изменить комментарий».

В процессе измерения система может либо найти ответ, превысивший установленные пороги из настроек группы, либо не найти. Если такой ответ найден, он является фактическим ответом и отображается в обычной белой ячейке.

Если найденный ответ не пробил порог уверенности, то отображается «потенциальный ответ», поле закрашивается красным и указывается пометка, почему именно нет ответа. В этом случае метрика качества (Qi) равна 0.

Правила заполнения потенциального ответа: если ответа в основных базах знаний не было найдено, то:

• если ответ из Xplain имеет уверенность 11% или выше — он записывается в потенциальный ответ и отображается уровень уверенности;
• если ответ из Xplain имеет уверенность 10% или ниже, а потенциальный ответ баз AutoFAQ имеет уверенность 31% или выше — показывается текст «Xplain не нашёл ответ, ответ AutoFAQ» и подставляется ответ из обычных баз AutoFAQ;
• если обычные БЗ или Xplain отключены — показывается текст «Xplain получил ответ, но не пробил порог» / «AutoFAQ получил ответ, но не пробил порог»;
• если потенциальный ответ баз AutoFAQ имеет уверенность 30% или ниже — показывается текст «Ответа нет» и ячейка не закрашивается красным.

В релизе полностью обновлен список активных запросов.

Список активных запросов обновляется самостоятельно при любом изменении — поступлении нового запроса, смене статуса или закрытии существующих запросов. На случай сетевых сбоев в заголовке страницы добавлена кнопка принудительного обновления списка — она обновит список, не сбрасывая установленные отборы.

В список добавили отображение запросов, находящихся в работе у бота и отправленных операторами на паузу.

Для быстрого включения и отключения отображения запросов над списком были добавлены кнопки быстрого отбора для каждого типа диалогов:

• в работе у бота — отображение диалогов в работе у бота;
• в очереди — отображение диалогов в нераспределенной очереди операторов;
• на паузе — отображение диалогов на паузе;
• в работе у оператора — отображение диалогов в работе и распределенной очереди операторов.

По умолчанию список отображает только диалоги в работе и очередях операторов.

По умолчанию список отображает диалоги, которые находятся во всех группах, доступных пользователю. Для быстрого выбора запросов по нужной группе в заголовок списка добавили фильтр для быстрого выбора групп.

Кроме быстрого отбора по статусу и группе диалогов обновленный список активных запросов позволяет установить отбор по следующим полям:

• дата и время создания;
• канал;
• оператор (поиск ведется по любой части ФИО или логина);
• пользователь (поиск ведется по любой части ФИО, почты, телефона или логина);

Выбранный отбор отображается в общей строке отборов и может быть в любой момент отключен.

Установленные в списке отборы сохраняются только при обновлении страницы. Если закрыть страницу со списком и открыть снова — установленные отборы будут сброшены в состояние по умолчанию.

По аналогии с управлением отчетами установленный отбор можно сохранить для быстрого выбора в дальнейшем.

Сохраненный отбор можно выбрать в меню выбора отборов или закрепить на отдельную строку для моментального выбора.

При выборе сохраненного отбора (из меню или из отдельной строки) сохраненный отбор моментально применяется.

Обновлённый список позволяет выбирать отображаемые колонки таблицы.

Настройка позволяет включить или выключить отображение колонки, а так же изменить порядок колонок.

Поддерживаемые колонки:

• Создан — дата и время создания диалога;
• Группа — текущая группа диалога, может изменяться в течение жизни диалога;
• Канал — название канала переписки;
• Тип — тип диалога (входящий, исходящий, рассылка);
• Статус — текущий статус диалога:
• в работе у бота,
• в нераспределенной очереди,
• в индивидуальной очереди оператора;
• в работе у оператора;
• на паузе;
• Состояние бота — состояние бота в диалогах, которые находятся в работе у бота;
• Оператор — если диалог находится в работе или индивидуальной очереди оператора, то в этой колонке указано ФИО или логин оператора;
• Длительность — общая длительность диалога от даты создания (таймер);
• Первый ответ — время первого ответа оператора (таймер, актуально только для диалогов находящихся в очереди или работе операторов);
• Ожидание пользователя — время ожидания ответа операторов для всех реплик (таймер, актуально только для диалогов, находящихся в очереди или работе операторов);
• Пользователь — ФИО пользователя (если указано);
• Телефон — телефон пользователя (если указано);
• Почта — электронная почта пользователя (если указано);
• Логин — логин пользователя (если указано);
• Тематика — название базы знаний, из которой был дан последней в диалоге ответ;
• Последний документ — название документа, использованного в диалоге последним;
• Первые реплики — первые несколько реплик пользователя в диалоге (число реплик настраивается);
• Последние реплики — последние несколько реплик пользователя в диалоге (число реплик настраивается).

Колонки с датой и временем создания и статусом диалога отключить нельзя, они будут отображаться обязательно. Все остальные колонки можно включить или выключить. Перетаскиванием пунктов в меню настройки можно сменить порядок колонок.

Для диалогов, которые находятся в работе у бота, в колонке Состояние бота отображается более детальный статус происходящего в диалоге. Возможные значения:

• Готовит автоответ — идет опрос баз знаний;
• Отправил автоответ — бот ответил пользователю и ожидается реакция пользователя;
• Сценарий документа — запущен сценарий из документа базы знаний;
• Сценарий интеграции — запущен сценарий из интеграции/приветствия/уточнения;
• Ждет группу — бот ожидает выбора группы пользователем;
• Ждет уточнение — бот ожидает выбора варианта в уточнении.

В обновленном списке можно вывести 3 таймера:

• таймер общей длительности диалога — считает время от момента создания диалога;
• таймер времени ожидания пользователем первого ответа — считает время первого ответа оператора (появляется только у диалогов, попавших в очередь или работу операторов);
• таймер времени ожидания пользователем ответа на любую реплику (не только первую) — считает время любого ответа оператора.

Таймер Первый ответ ведет расчет от указываемого в настройках момента до момента первого ответа оператора. Как только первый ответ оператора дан — ход таймера останавливается и поле отображает достигнутое значение. Момент начала отсчета таймера можно выбрать в настройках работы операторов из 4-х вариантов:

• первая неотвеченная реплика пользователя перед переключением запроса на операторов;
• момент попадания диалога в очередь;
• момент назначения диалога на оператора;
• момент взятия диалога оператором в работу.

Таймер Ожидание пользователя считает паузы между любыми репликами пользователя и репликами оператора. Для первого ответа оператора таймер повторяет значение таймера первого ответа, после первого ответа оператора таймер начинает считать время от реплик пользователя до реплик оператора. После каждого ответа оператора таймер сбрасывается и начинается заново при поступлении реплики пользователя.

Если в настройках сервиса установлены SLA на время первого ответа оператора и SLA на среднее время ответа операторов, то в ячейке с таймером появляется прогрессбар, который меняет свой цвет от серого до красного.

В настройках списка активных запросов можно настроить режим работы таймеров.

Расширенный режим отображения таймеров в дополнение к прямому расчету таймера отображает обратный отсчет до момента истечения лимита по SLA. Осторожнее — этот режим может вызвать повышенную нагрузку на браузер.

Упрощенный режим отображения таймеров обновляет таймеры не каждую секунду, а каждые пять секунд, что позволяет снизить нагрузку на браузер.

Поля отображают несколько первых и несколько последних реплик пользователя в диалоге. Количество реплик устанавливается в настройках списка активных запросов.

Чтобы просмотреть содержание диалога, необходимо открыть правую боковую панель списка.

При переключении диалогов в списке содержание меняется. Содержание выбранного диалога не обновляется автоматически, для обновления содержания необходимо кликнуть кнопку обновления.

Действия над диалогами доступны в отдельном меню диалога в правой нескрываемой колонке таблицы. В зависимости от статуса диалога список действий меняется.

В работе у бота

• Закрыть запрос — штатно закрыть запрос, пользователь получит необходимые служебные сообщения, запустится сценарий, привязанный к событию закрытия запроса, и запустится оценка.
• Закрыть запрос в тихом режиме — запрос будет закрыт без отправки служебных сообщений, без запуска сценария и без оценки, даже если она включена.
• Передать в общую очередь — запрос будет передан в очередь операторов текущей группы диалога, если в сервисе включено назначение запросов на операторов, то запрос будет автоматически назначен на свободного оператора.
• Передать оператору — запрос будет назначен в работу выбранному оператору, выбрать можно среди операторов, которые работают в текущей группе диалога.

В нераспределенной очереди

• Закрыть запрос — штатно закрыть запрос, пользователь получит необходимые служебные сообщения, запустится сценарий, привязанный к событию закрытия запроса, и запустится оценка.
• Закрыть запрос в тихом режиме — запрос будет закрыт без отправки служебных сообщений, без запуска сценария и без оценки, даже если она включена.
• Передать группе — запрос будет передан в очередь операторов указанной группы, если в сервисе включено назначение запросов на операторов, то запрос будет автоматически назначен на свободного оператора этой группы.
• Передать оператору — запрос будет назначен в работу выбранному оператору, выбрать можно среди операторов, которые работают в текущей группе диалога.

В работе или индивидуальной очереди оператора

• Закрыть запрос — штатно закрыть запрос, пользователь получит необходимые служебные сообщения, запустится сценарий, привязанный к событию закрытия запроса, и запустится оценка.
• Закрыть запрос в тихом режиме — запрос будет закрыт без отправки служебных сообщений, без запуска сценария и без оценки, даже если она включена.
• Передать группе — запрос будет передан в очередь операторов указанной группы, если в сервисе включено назначение запросов на операторов, то запрос будет автоматически назначен на свободного оператора этой группы.
• Передать оператору — запрос будет передан в работу выбранному оператору, выбрать можно среди операторов, которые работают в текущей группе диалога.
• Передать в общую очередь — запрос будет передан в очередь операторов текущей группы диалога, если в сервисе включено назначение запросов на операторов, то запрос будет автоматически назначен на свободного оператора.

На паузе

• Закрыть запрос — штатно закрыть запрос, пользователь получит необходимые служебные сообщения, запустится сценарий, привязанный к событию закрытия запроса, и запустится оценка.
• Закрыть запрос в тихом режиме — запрос будет закрыт без отправки служебных сообщений, без запуска сценария и без оценки, даже если она включена.
• Вернуть с паузы — запрос будет штатно возвращен с паузы оператору, который поставил на паузу или, если он недоступен, передан в общую очередь операторов группы.