Техника 5.10: Индикаторы работоспособности контента

Когда организация внедряет KCS, KCS тренера или коучи играют важную роль в обеспечении контроля качества содержимого статей, созданных Кандидатами KCS. Цель тренера — помочь Кандидатам KCS научиться следовать процессам Цикла Решения и придерживаться контент стандарта при решении инцидентов.В широком смысле KCS это можно назвать здоровьем или работоспособностью контента.

С этой целью KCS предлагает использовать две основных метрики: Индекс Качества Статьи (Article Quality Index - AQI) и Индекс Следования Процессу (Process Adherence Rate - PAR).

Разграничение ролей сотрудников поддержки в процессе KCS, процесс квалификации, развития и дальнейшего роста сотрудников по этим ролям так же вносит свой вклад в управление качеством контента базы знаний.

В методологии KCS существует пять ключевых элементов, влияющих на качество статьи:

1. Контент стандарт, определяющий требования организации к качественным статьям.
2. Индекс Качества Статьи (ниже), который определяет соответствие статьи стандарту контента.
3. Проверка следования процессу KCS (PAR)
4. Роли в KCS
5. Модель оценки производительности.

Индекс Качества Статьи

Идея Индекса Качества Статьи (AQI) заключается в том, что особенно для больших и распределенных команд, организации должны иметь согласованные показатели качества для оценки статей и производительности (эффективности) сотрудников их создающих и управляющих.

Но многие организации истолковывают его неправильно и сосредоточивают все свое внимание на количестве статей, как показателе качества их базы знаний.

На самом деле AQI должен быть инструментом обратной связи, чтобы помочь сотрудникам поддержки понять и запомнить, как как правильно пользоваться контент стандартом, а организации получить общую картину того, насколько хорошо сотрудники понимают и применяют этот стандарт. Обратите внимание, что AQI используется для оценки технических знаний в статье, поскольку это покрывается практикой «повторное использование — это проверка» и практикой смены статусов статьи.

Индекс качества статьи можно настраивать и дополняться течением времени. Он должен описывать стандарт «хорошей статьи» и поддаваться некой нормированной оценке для облегчения составления отчетов . Для начала KCS предлагает использовать следующие базовые параметры проверки в виде ответов на вопрос «да/нет»:

• Уникальна ли статья? - статья не повторяется, нет никакой другой статьи с таким же содержанием и более ранней датой создания
• Статья завершена? - в статье присутствует полное описание проблемы по шаблону симптомы/окружение/причина/решение.
• Понятно ли содержание? - утверждения представляют собой законченные мысли, и понятны для сотрудников и клиентов.
• Относится ли заголовок к статье? - заголовок содержит наиболее уникальное и правильное описание основной проблемы (влияет на релевантность в поисковых системах)
• Ссылки действительны? - все ссылке в статье рабочие.
• Верны ли метаданные? - статус статьи, аудитория или другие ключевые метаданные, определенные в контент стандарте.

Мы фиксируем ответы на эти вопросы в таблице AQI. В приведенном ниже примере мы просматриваем несколько статей, которые сотрудники создал или связал за определенный период времени, и подсчитываем количество ответов «да» в каждом столбце. Полученный процент отражает частоту, следования контент стандарту.

Проценты рассчитываются путем деления (общее количество возможных баллов минус общее количество баллов, умноженное на 2) на общее количество возможных баллов.

Умножение "ошибочных баллов" на два сделано для придания им веса и более четкого учета и различие между передовиками и отстающими. В этом примере те сотрудники, у кого AQI ниже 90, заслуживают внимание руководителя и тренера - им совершенно точно нужна обратная связь, возможно дополнительный тренинг и менторство. Если AQI постоянно ниже 80 и сотрудник не показывает тенденции к исправлению, это повод задуматься об эффективности такого сотрудника в целом и возможно даже поставить вопрос о его увольнении. Важно отслеживать тенденции AQI с течением времени как для команд, так и для отдельных лиц.

Такую матрицу без сомнения можно кастомизировать и настроить в соответствии с уникальными требованиями организации. Но не переусердствуйте! Начните с простого и развивайте его на основе своего опыты, аудитории и рынка вашего продукта. Со временем, вы можем добавить некоторые дополнительные или более детальные критерии оценки.

Вот некоторые ключевые моменты, которые следует отметить (подробнее см. в Практике 7: Оценка эффективности):

• Сравните количество просмотренных статей для каждого автора, т.к. размер выборки важен. Если количества просмотренных статей слишком мало, то результат такой выборки не является репрезентативным для AQI
• Имеет смысл сделать сводную таблицу по количеству проблем в каждой из оцениваемых областей. Это будет показателем для руководителя и тренера - на что имеет смысл обратить внимание в рамках всей команды поддержки
• Обратите внимание на сотрудников, которые делают много, но качество заметно ниже 80%. Возможно такой сотрудник не так понял принципы KCS, хоть и старается делать много. Возможно имеет смысл отправить его на тренинг повторно.

Развивайте и добавляйте элементы AQI по мере приобретения опыта.

Многие организации разрабатывают систему весов для этого более сложной оценки, где разные критерии могут иметь различную степень влияния на качество статьи. Например, дубликат статьи — более серьезная ошибка, чем статья с битыми ссылками. Но мы рекомендуем вводить такие веса (как и новые критерии) лишь после полного внедрения и запуска методологии KCS, поработав с более простой дефолтной версии индекса качества статей.

Выборка статей для проверки

Для наибольшей эффективности и непредвзятости статьи для проверки должны выбираться случайным образом, и назначаться разным рецензентам из числа руководителей и тренеров/коучей.

Вот типичный процесс:

• Разработайте критерии для Индекса Качества Статей и контент стандарта.
• Сделайте статистически репрезентативную выборку и оцените статьи.
• Рассчитайте AQI по каждому сотруднику и сделайте сводный отчет.
• Предоставляйте сотрудникам регулярную обратную связь с комментариями человека, проводившего оценку.
• Предоставляйте сводный отчет руководству

Во время первичного внедрения KCS и обучения сотрудников частота этого мониторинга должна быть еженедельной. Это сперва будет занимать много времени из-за большого количества Кандидатов KCS (людей, только начавших изучать KCS). Как только организация пройдет этап внедрения, периодичность можно уменьшить до ежемесячной. И она должна занимать не более нескольких часов в месяц на одного рецензента. Обратите внимание, что элементы для оценки в начале внедрения KCS будут более базовыми, чем те на которых организация сосредоточится через год-два.

С Индексом качества статей мы проверяем соответствие статьи контент стандарту. Другая область, которую нужно оценивать это проверка соблюдения процесса (PAR). Одним из критически важных элементов PAR, является точность связывания - правильность привязки статьи, которая описывает проблему к заявке клиента. Это часть PAR, которая также выполняется с использованием выборки и оценки руководителями и коучами может быть интегрирована в в индекс AQI. Второй элемент при оценке точности связывания это оценка связывания с новыми и/или известными статьями.

Процент связанности (процент заявок, закрытых со ссылкой на статью) и точность ссылок (статья точно решает проблему, описанную в заявке) являются ключевыми элементами для правильной оценки первопричин, которые приводят к обращению клиента в службу поддержки и как следствие увеличению затрат на оную.

Достоверными считаются данные с коэффициентом связанности более 60%, и точностью больше 90%.

Просмотр статей при их использовании

Принцип публикации статей основанный на спросе (использовании) и концепция коллективной собственности обеспечивают эффективность методологии KCS. Идея того, что люди чувствуют ответственность за качество статей, с которыми они взаимодействуют, имеет решающее значение. Она устраняет проблему, возникающую в традиционных походах к управлению знаниями, когда люди имеют тенденцию перекладывать ответственность на другого - например авторов конкретной статьи. Чувство коллективной ответственности укрепляется с помощью коучинга, программы компетентности, мотивации, оценки эффективности и программ поощрения. Новый герой в организации — это человек, который создает ценность за счет своего вклада в базу знаний, а не человек, который знает больше всего и является "бутылочным горлышком".

Обратная связь с сотрудниками поддержки

Сотрудники должны иметь доступ к своим оценкам AQI для понимания своей эффективности и областей, где им следует подтянуть знания. Сводные результаты AQI также являются ключевым инструментом для руководителей и тренеров, поскольку они помогают им выявить возможности для обучения и роста сотрудников.

Оценка ценности статей

При оценке ценности статей необходимо учитывать три точки зрения: частота повторного использования, частота кросс-ссылок и успешность статей.

Ценность статьи на основе повторного использования

Ценность любой конкретной статьи можно измерить количеством раз, когда она используется для решения тикета. Если мы связываем статьи с тикетами, мы можем легко рассчитать количество повторных использований. По мере того, как мы переходим к Этапу 3 — Эффективное использование KCS, измерение повторного использования статей становится намного сложнее, потому что клиенты начинают чаще использовать стать самостоятельно, находя их в базе знаний. В таком случае статьи не связаны с инцидентами. Так же они могут редко оценивать полезность и удовлетворенность статьями, что уменьшает прямую (легко считаемую) обратную связь.

Чтобы оценить интегральную ценность статей мы должны учитывать ряд факторов:

• Количество просмотров статьи
• Количество внутренних переходов на статью (из документации, продукта и тикетов)
• Отзывы клиентов (опыт участников показывает, что клиенты оставляют отзывы о крошечном проценте просмотренных статей: 1-2%)

Ценность статьи на основе частоты кросс-ссылок

Вторая точка зрения – ценность не одной, а нескольких статей объединенных схожей тематикой. Если конкретная статья не может быть решением проблемы, то возможно статья о похожей проблеме может навести на некоторые мысли или предоставить диагностический метод, который в конечном итоге может привести к решению.

Ценность на основе успешности статей

Показатели ценности сбора контента можно рассчитать на основе успешности клиентов в самостоятельном применении статей. Наиболее распространенный показатель в этом случае это "упреждение тикетов" или Deflection. Существует мнение, что этот термин не совсем клиентоориентировнный, т.к. учитывает интересы компании, а не клиента. И возможно правильно применять некий термин, который бы характеризовал "успех в решении проблемы клиента, найденный кратчайшим путем". Однако в обоих случаях это Win-Win ценность, т.к. с одной стороны она позволяет клиенту быстро найти решение своей проблемы, а компании оптимизировать свои расходы!

Что такое "Хорошо"?

Одна из вещей, которым учит классическая теория Эдвардса Деминга - отца революции качества, заключается в том, что качество оценивается по какому-то стандарту или критериям. Чтобы управлять качеством нашей продукции, мы должны знать критерии того, что приемлемо, а что нет. В методологии KCS критерии качества статей базы знаний определены в контент стандарте. Однако не все статьи базы знаний одинаковы по своей важности или назначению. Большинство организаций имеют дело с разными типами знаний, у которых могут быть разные критерии качества. Например, некоторые статьи базы знаний описывают опыт людей, решающих какую-то проблему (где мы допускаем вариативность и интерпретацию), в то время как другие типы статей описывают политику компании или нормативные требования, установленные законом, в отношении которых мы не допускаем никакой вариативности.

Насколько хорошо достаточно хорошо? Все зависит от типа информации, с которой мы имеем дело. Определив категории и различные типы информации, мы можем определить критерии качества для каждого типа статей. Здесь следует предостеречь: мы не рекомендуем завышать количество типов статей. Начните с минимума:

• контент, основанный на опыте решения клиентских проблем
• контент, основанный на политиках, нормативах и т.д.

Затем скорректируйте типы статей и критерии, исходя из накопленного опыта. Каждая организация должна сама определить, что достаточно хорошо для различных аудиторий и типов знаний, с которыми они имеют дело. Не все статьи будут иметь одинаковые требования к качеству.

Чтобы лучше понять вопросы качества статей, члены Консорциума провели опрос своих клиентов. Участниками опроса стали приблизительно 67 % B2B компаний с более чем 300 сотрудниками, 27 % малых и средних B2B компаний (с менее чем 300 пользователями) и 6% B2C компаний. В этом опросе оценивались потребности клиентов и критерии качества в отношении статей KCS.

Интегральный ответ клиентов на этот опрос можно сформулировать следующим образом: "Статьи должны быть достаточно хорошими, чтобы их можно было найти и использовать"

Основные критерии

Респонденты выбрали следующие критерии, в основном в категории «точность», как «очень важные» (в порядке приоритета):

• Статья технически точная и актуальная
• Полное и понятно описание проблемы и решения
• Наличие причины проблемы
• Быстрое нахождение
• Решение понятно и ясно
• Действительные гиперссылки
• Наличие информации об окружении (ОС, версия продукта и т.д)

«Относительно важными», в основном в категории «редактирование и форматирование», были признаны:

• Законченные и четкие мысли
• Дата создания
• Грамматика и пунктуация
• Последнее изменение
• Отсутствие дублирования информации
• Частота использования

«Наименее важными», что, возможно, неудивительно для технической аудитории, были :

• Юридическая информация
• Использование товарных знаков
• Дата последнего использования

Влияние на имидж компании

Большинство респондентов считают качество редактирования и форматирования статей не особенно важным. Поскольку процесс, связанный с "полировкой" статей, может занимать много времени и задерживать доступ к информации, мы решили оценить влияние на корпоративный имидж компании публикации статей с различным уровнем редакционного качества:

• Не согласен с утверждением или нейтрально отношусь к нему: «Я не очень хорошо отношусь к компании, которая не предоставляет доступ к непроверенной информации». (Другими словами, большинство респондентов не обвиняли компанию в сокрытии информации, которая не была технически подтверждена.)
• Согласен с заявлением: «Компании теряет свой имидж, если не предоставляет доступ к актуальным статьям, чтобы достичь редакционного совершенства».
• Согласен с заявлением: «Я хотел бы получить возможность просмотра статей, которая еще не были полностью проверены».
• Согласен с утверждением: «Я был бы готов взять на себя ответственность за использование любой неполной и непроверенной информации». Примечание. Чтобы снизить риск, связанный с распространением этих знаний, многие организации поддержки требуют, чтобы клиенты приняли соответствующее соглашение, прежде чем просматривать статью.

Компромисс между временем и ценностью: рекомендации KCS

Опираясь на этот опрос в сочетании с опытом внедрения KCS, Консорциум с уверенностью рекомендует организациям инвестировать в скорость и точность контента, а не в "полировку" и формат. Мы должны стремиться к получению своевременных и точных знаний, обеспечивать быстрое обучение сотрудников и в идеале следовать модели публикации ""точно - вовремя"" (см. Этап 4 внедрения KCS), оценивая статьи за счет процесса выборки и Индекса Качества Статей (AQI).

Однако организации должны заранее оценить соотношение риска и выгоды от публикации информации, базируясь на специфике своей работы, продукте, аудитории и т.д.