Перейти к содержанию

Техника 7.3: Оценка ценности контента

Индикаторы для отдельных лиц и команд

Теперь, когда мы понимаем, что мы пытаемся создавать (стандарт контента) и как мы собираемся это создавать (структурированный рабочий процесс), мы готовы разработать модель измерения для оценки того, как мы работаем.

Оценка эффективности KCS учитывает ряд важных концепций:

  • Свяжите индивидуальные цели с целями отдела и организации, чтобы помочь людям увидеть, как их производительность связана с общей картиной.
  • Посмотрите на производительность с разных точек зрения. Типичная система показателей учитывает ключевые заинтересованные стороны: клиентов, сотрудников и бизнес.
  • Различайте опережающие индикаторы (действия) от запаздывающих индикаторов (результатов).

В этом разделе мы покажем примеры того, как мы применяем методологию системы показателей для учета показателей как для отдельных лиц, так и для команд:

  • Опережающие индикаторы (действия) и отстающие индикаторы (результаты): очень важное различие
  • Триангуляция — взгляд на вещи как минимум с трех точек зрения, чтобы увидеть, кто создает ценность.
  • Радарные диаграммы — метод представления и визуализации
  • Образцы оценочных листов

Наша первая важная концепция проводит различие между действиями и результатами. К сожалению, деятельность сама по себе не является показателем ценности и не обязательно приводит к желаемому результату. Например, если мы поставим перед каждым сотрудником задачу создавать десять статей KCS в месяц, мы будем получать десять статей в месяц. Однако , с большой вероятностью, мы обнаружим, что эти статьи создаются в последние несколько дней месяца и содержат мало или совсем не содержат ценной информации. Они были созданы для достижения цели, без учета желаемого результата. Цели деятельности редко, если вообще когда-либо, приводят к желаемому результату.

Создание бесполезных статьей, которые не просто пустая трата времени, а еще их присутствие в базе знаний вредит здоровью всей системы KCS. Вот почему различие между действиями и результатами так важно, и вот почему мы часто говорим: не ставьте перед перед сотрудниками цели действия.

В нашем примере , на самом деле, мы хотим, чтобы статьи были доступны для поиска и использования целевой аудиторией. Нам нужно выполнить действие «создать» в контексте результата. В центре внимания должен быть результат, а не деятельность.

Постановка целей на деятельность будет:

  • Создавать нежелательные результаты
  • Умалять ценность метрик как таковых
  • Отвлекать людей от реальной цели
  • Не заставлять людей думать
  • Делать работу скучной и демотивировать

Концепция сбалансированной системы показателей учит различать индикаторы производительности ( описанные в разделе «Лидерство») от опережающих индикаторов (деятельности) и запаздывающих индикаторов (результатов). Хотя каждый из этих трех элементов важен, роль каждого из них в системе измерения различна. Понимание различия между ними имеет решающее значение.

Нам нужно обратить внимание на тренды индикаторов деятельности и их корреляцию с результатами.

  • Направлены ли индикаторы активности в правильном направлении?
  • Насколько быстро они меняются?
  • Имеют ли сотрудники своевременную видимость своих показателей эффективности?

Хотя различие между показателями деятельности и результатов имеет решающее значение, мы обнаружили, что людям трудно определить, какие показатели являются действиями (опережающими показателями), а какие — результатами (отстающими). Вот несколько полезных способов протестировать индикатор:

  • Легко измерить и легко манипулировать — это, вероятно, деятельность (не ставьте перед ней цель)
  • Трудно измерить и трудно манипулировать — это, вероятно, результат
  • Измеряется только постфактум (когда событие завершилось) — вероятно, это результат.

Всякий раз, когда мы обсуждаем индикатор, мы должны четко понимать, является ли это действием или результатом. См. раздел «Матрица показателей» для примера.

Триангуляция — кто создает ценность?

Различие между действиями и результатами — это только часть картины. Поскольку не существует единого показателя, указывающего на создание ценности, мы оцениваем его, сопоставляя как минимум три различных точки зрения. Базовая модель включает в себя оценку деятельности (тренды), ключевые результаты (измеряемые по целям) и Индекс Качества Статьи . Эти три точки зрения рассматривают метрики, которые являются как объективными (количественными), так и субъективными (качественными) для оценки создания ценности отдельными лицами и командами.

Концепция триангуляции отражает идею о том, что создание ценности нельзя непосредственно измерить или подсчитать — ценность неосязаема. Как и в случае с устройствами GPS (глобальная система позиционирования), которые вычисляют наше местоположение на земле на основе данных, поступающих с нескольких спутников, эффективная модель оценки производительности включает в себя несколько представлений для оценки создания ценности.

В качестве примера мы предлагаем набор метрик, которые могут использоваться для начальной оценки. Каждая организация должна тщательно продумать и разработать собственный набор показателей, которые соответствуют целям организации и их продукту.

Сделайте показатели видимыми для сотрудников

Рассмотрим аналогию с вождением: мы хотим поехать из Сан-Франциско в национальный парк Йосемити. Мы могли разумно ожидать, что проедем 180 миль за три-четыре часа при средней скорости 55 миль в час. Наш желаемый результат — добраться до Йосемити в разумные сроки, но мы не узнаем, добились ли мы успеха, пока не прибудем. Что нам понадобится в путешествии? Нам нужна машина, водительские права и немного бензина, но успешная поездка требует, чтобы мы также обращали внимание на многие другие факторы (опережающие индикаторы) по пути. Поскольку мы хотели бы иметь среднюю скорость 55 миль в час, мы хотим обратить внимание на то, как быстро мы движемся. Поскольку мы определили, что три-четыре часа являются приемлемым периодом, мы хотим знать о течении времени на разных скоростях и о том, сколько у нас бензина, чтобы избежать задержек с дозаправкой. Приборная панель в автомобиле помогает и формировать нас о факторах, способствующих успешной поездке.

В KCS тренды опережающих индикаторов представляют собой панель инструментов, которая позволяет сотруднику поддержки и организации узнать о состоянии дел и успешности их действий. Сотрудникам поддержки эта обратная связь особенно необходима, так как дает им понимание, как их действия влияют на общую картину и результат.

Цели для результатов, а не действий!

Поскольку опережающие индикаторы представляют собой действия, поддающиеся количественной оценке, их часто легче измерить, чем результаты. Это создает, казалось бы, непреодолимое желание ставить цели в действиях, необходимых для достижения результата. Как мы уже упоминали несколько раз, это... контрпродуктивно.

Рассмотрим поездку в Йосемити. Если бы заявленная цель заключалась исключительно в поддержании средней скорости 55 миль в час, это можно было бы сделать. Но при отсутствии понимания цели (Йосемити) водитель будет выбирать дороги, позволяющие поддерживать среднюю скорость независимо от пункта назначения. Мы можем оказаться в Чикаго! Не то чтобы Чикаго был плохим местом; это просто не то место, куда мы хотели поехать.

В процессе внедрения KCS мы видели, как организации ставили цели по созданию статей KCS (каждый должен создавать пять статей KCS в неделю) или повторному использованию статей KCS (сотрудники поддержки будут оцениваться по тому, как часто они ссылаются на статьи KCS). Цели для этих опережающих индикаторов, возможно, были достигнуты, но качество базы знаний было серьезно подорвано. Создаются некачественные и повторяющиеся статьи KCS, поскольку основное внимание уделяется деятельности, а не результату. Хуже того, акцент может сместиться на попытки "обыграть систему", а не на создание реальной ценности. Неизбежно страдает качество статей и моральный дух сотрудников, руководство выглядит менее компетентным, а ценность знаний снижается.

Тем не менее, мониторинг действий (связать, изменить, создать) и их трендов дают нам ценную информацию о поведении сотрудников, пока (мы повторим это снова) мы не ставим им на это целей. Эти действия также являются ранним индикатором того, насколько эффективно руководство организации описало цель и преимущества KCS, и вдохновило сотрудников поддержки на применение практики Цикла Решений. Если люди понимают, почему они это делают и что для них это значит, то вероятность того, что они будут следовать правильному рабочему процессу сильно увеличивается. Если сотрудники узнают, что мы пытаемся добраться до Йосемити, они правильно оценят действия, необходимые для достижения этого результата. Если они не знают, куда мы хотим поехать, они могут достичь всех целей по показателям деятельности, но кто знает, где мы окажемся.

Видимость показателей для сотрудника

Мы приучили сотрудников ожидать целей по показателям эффективности. В некоторых случаях, если руководство не ставит цель по показателям деятельности, сотрудник сам навязывает ее, что так же неэффективно. Крайне важно, чтобы сотрудники поддержки получали обратную связь о том, как они работают, и как они могут улучшить свою работу. Разговор как с тренерами, так и с руководителем должен быть сосредоточен на поведении и результатах. Хотя его показатели и сравнение деятельности с коллегами, выполняющими аналогичную работу, могут дать полезную информацию для руководителя, разговор с сотрудником должен касаться только понимания практик Цикла Решения и стандарта контента, а не цифр.

С другой стороны, цифры могут оказать положительное влияние, когда речь идет о результатах. Ключевой обязанностью руководства является предоставление сотрудникам информации о влиянии их вклада в базу знаний на конечные результаты. Количественная оценка этих преимуществ с использованием цифр и процентного улучшения результатов или прогресса в достижении цели очень полезна. Если сотрудники не смогут увидеть влияние своего вклада, эффективность их работы снизится.

Примеры показателей KCS

Создание и повторное использование статьи KCS

Создание статьи KCS приводит к повторному ее использованию. По мере того, как база знаний достигает зрелости, в ней уже присутствует высокий процент встречающихся проблем, поэтому скорость создания новых статей должна снизиться, а скорость повторного использования будет продолжать расти. Из-за своей связи с жизненными циклами продукта этот шаблон будет повторяться с каждым новым продуктом или версией.

Жизненный циклстатьи KCS

Жизненный цикл статьи KCS дает нам представление о скорости, с которой статьи переходят из состояния «Не проверено» (Not Validated) в состояние «Проверено» (Validated) и/или в состояние «Опубликовано» (Published). Поскольку ценность знаний возрастает по мере увеличения видимости статьи, мы хотим убедиться, что в системе нет узких мест. Статьи в состоянии «Проверено» обычно видны гораздо большей аудитории, чем статьи «Не проверено», а статьи «Опубликовано» обычно доступны для людей за пределами организации.

Процент связанности

Процент связанности является мощным опережающим индикатором поведения сотрудников поддержки. Коэффициент связанности определяется как процент заявок, в которых есть ссылка на статью против всех обработанных заявок. Мы должны отметить, что в каждой организации есть некоторые инциденты, когда связывание не имеет смысла: оно не добавляет ценности.

Процент связанности — важный показатель, за которым следует следить, на ранних этапах внедрения KCS. Нормальный диапазон для организации 60–80 %. Процент связанности — это показатель того, как часто база знаний используется как часть рабочего процесса сотрудника поддержки. Он отражает использование известных или вновь созданных статей. Например, если мы закрыли десять инцидентов на этой неделе, повторно использовали шесть статей KCS и создали две новые статьи KCS, уровень нашего участия (или коэффициент связанности) составил бы 80 %.

Мы должны рассматривать как показатели группы, так и каждого отдельного человека. Процент связанности может быть хорошим опережающим индикатором, чтобы оценить, как сотрудники следуют процессам и практикам Цикла Решения... до тех пор, пока им не поставлена цель в по этому показателю.

Помните, что высокий коэффициент связанности у сотрудника еще не означает, что сотрудник работает эффективно. Может случится так, что такие сотрудники "гонятся за показателем" и создают дубликаты или неполные статьи.

Нам потребуется больше информации, чтобы оценить их эффективность правильно.

Профили сотрудников

Интересно посмотреть на профиль каждого сотрудника в разрезе индикаторов KCS . Например у нас есть два сотрудника, у которых высокий коэффициент связанности: Иванов и Петров.

Если мы заглянем в профиль Иванова, то увидим, что это достигается в основном за счет связанности с существующими статьями, и отношение вновь создаваемых и повторно используемых существующих примерно 1 к 3. Так же мы видим, что Иванов обновляет примерно 20% из используемых статей. При этом у него хороший показатель решаемых заявок. Можно сделать вывод, что его профиль достаточно сбалансирован , и он действительно эффективный сотрудник.

У Петрова же мы видим, что коэффициент связанности достигается в основном за счет им же и создаваемых новых статей. Отношение вновь создаваемых и повторно используемых существующих примерно 9 к 1. Процент модифицируемых статей стремится к нулю. И хоть Петров обрабатывает примерно такое же количество заявок, как и Иванов, мы можем сделать вывод, что с точки зрения KCS эффективность находится под большим вопросом. Большой процент вновь создаваемых статей может говорить о том, что сотрудник плохо выполняет (или совсем не выполняет) поиск по базе знаний, и возможно созданные статьи это всего лишь дубликаты или некачественный контент....

Однако может быть так, что Петров работает например с новой версией (или поддерживает бету) продукта, и в этом случае создание новых статей говорит как раз о его эффективности.

Как видите, может быть так, что даже со всеми этими данными у нас по-прежнему недостаточно информации, чтобы определить, кто создает действительную ценность. Нам не хватает качественного представления (индикаторы качества), чтобы уравновесить количественное представление (активность).

Давайте вернемся к Индексу качества статей, который мы обсуждали ранее.

У Иванова этот индекс 90,48%, что говорит о том, что он последовательно придерживаются контент стандарта при создании статей. Напротив, показатель Петрова составляет 56,67%, что ниже цели (Индекс Качества Статей является результатом и должен иметь цель), и частота дубликатов очень высока. Это подтверждает гипотезу о том, что Петров плохо ищет, прежде чем создавать новые статьи. Несмотря на то, что показатель активности у него превосходен, эта активность портит базу знаний из-за большого количества дубликатов статей KCS.

Последняя часть головоломки представлена PAR (проверка соблюдения процесса ), которая помогает нам понять, кто действительно интегрировал использование базы знаний в свой рабочий процесс.

Глядя на показатель точности связывания, мы видим больше доказательств того, что Иванов создает ценность, а Петров нуждается в некоторой помощи, так как его показатель значительно ниже 90%.

Для оценки эффективности работы сотрудника поддержки, требуется использовать комплексный набор метрик.

Радарные диаграммы

Как показано в примере выше, оценка эффективности сотрудников требует большого количества данных и анализа с несколькими диаграммами и таблицами. У руководителя, например, с командой из пятнадцати подчиненных врядли будет время на рутинный анализ такого уровня. Можем ли мы упростить представление такой информации? Для быстрой оценки мы используем инструмент под названием Радарная диаграмма.

Наши ключевые показатели должны отражать баланс:

  • Опережающие и отстающие индикаторы (действия и результаты)
  • Количество и качество

Опережающие показатели (действия) сравниваются со средним значением для всей команды (не целью), а запаздывающие показатели (результаты) сравниваются с поставленной целью.

Во-вторых, мы должны нормализовать все значения по общей шкале — для этого примера мы нормализуем до 1. Поэтому все, что меньше 1, не соответствует среднему по команде или цели, а все, что больше 1, лучше, чем среднее по команде или превышает его. цель. В случае опережающих показателей (деятельности) нормируем его к среднему по команде, а для запаздывающих показателей (результатов) нормируем цель до 1.

Каждая организация, использующая радарные диаграммы, имеет собственный набор метрик, обычно определяемых Советом KCS.

В нашем примере мы будем использовать данные Иванова и Петрова из сценария и будем использовать следующие нормированные метрики:

  • Индекс удовлетворенности клиентов (CSAT)
  • Индекс Качества Статьи
  • Количество решенных инцидентов в месяц
  • Среднее время решения одного инцидента
  • Процент связанности
  • Точность связанности

Радарные диаграммы будут выглядеть следующим образом:

Сравнивая результаты отдельных сотрудников со средними показателями команды по опережающим показателям и целями по запаздывающим показателям, мы можем быстро увидеть их эффективность. Однако никакая метрика или совокупность мер не может иметь смысла без понимания контекста, в котором работает человек, и роли человека. Такая оценка является ключевой обязанностью руководителей, которым так же требуется обучение тому, как интерпретировать и использовать все эти показатели.

Важно ли то, о чем мы говорим?

Обратите внимание, что возможный разговор с Петровым должен быть о его поведении в процессе решения инцидентов, а не о количественных показателях. Цифры – это индикаторы. Если разговор идет о цифрах, то в центре внимания становятся цифры. Мы хотим, чтобы Петров изменил свое поведение, чтобы соответствовать методологии KCS. Когда мы обучаем его структурированному процессу решения проблем и практикам цикла решения, индикатор должен отражать изменения. Однако, если мы поговорим с Петровым о исправлении его чисел, она может это как-то "сделать", но теперь индикатор становится бесполезным.

Мораль этой истории:

  1. Мы не можем полагаться на одну метрику или показатель для определения эффективности методологи KCS в организации или вклада отдельных сотрудников.
  2. Индикаторы должны использоваться наряду с пониманием характера работы.
  3. Показатели деятельности (опережающие индикаторы) могут быть очень ценными, но эта ценность может нивелироваться, если мы ставим цель на деятельность или ориентируемся на цифру в разговорах с сотрудниками.

Производительность команды — эффективность управления

Мы можем использовать радарные диаграммы для оценки эффективности команды и как способ оценить эффективность руководства в создании условий для успеха KCS. Для командной радарной диаграммы применяются те же правила, но метрики, которые мы используем, будут другими. Метрики для команды будут зависеть от размера команды и организации. Мы предлагаем следующее метрики в качестве примера:

  • Лояльность клиентов - в отличие от удовлетворенности клиентов, которая обычно измеряется транзакционно, лояльность измеряет отношение клиентов к компании и ее продуктам за период времени (Это может быть Net Promoter Score, NPS или тот же CSAT, но измеряемый за период времени отдельно от тикетов)
  • Лояльность сотрудников - лояльные сотрудники являются необходимым условием для лояльных клиентов
  • Индекс совместной работы — способность и готовность команд к сотрудничеству; ключевыми показателями являются доверие и чувство связанности с командой
  • Себестоимость поддержки в процентах от дохода компании
  • Объем закрытых заявок
  • Среднее время решения заявки
  • Успех клиентов в канале самообслуживания

Важно повторить, что цифры никогда не говорят всей истории. Как и во многих случаях в методологии KCS, требуется профессиональный взгляд и оценка руководителя.

Хотя лепестковые диаграммы хорошо отображают набор данных или показателей в определенный момент времени, они не очень хороши для отображения трендов. Тренды особенно важны для опережающих индикаторов (действий), таких как количество создания статей , количество ссылок, и процент связанности.

В организации может быть лучшая система измерений в мире, но она эффективна только в том случае, если руководители знают, как интерпретировать показатели и как вести эффективные беседы с сотрудниками. Оценка эффективности и создание ценности в основном связаны с поведением сотрудников и принятием решений руководителями.

Смещение фокуса на разных этапах внедрения

На ранних этапах внедрения KCS мы хотим сосредоточиться на индивидуальных показателях:

  • Обучение KCS

  • Уровни компетенции KCS в организации (% сотрудников на каждом из уровней: Кандидат KCS, Участник KCS, Издатель KCS)

  • Время роста (время для достижения сотрудником каждого из вышеназванных уровней)

  • Вклад в Знании

    • Процент создания статей KCS (относительно решенных заявок)

    • Процент изменения статей KCS

    • Процент повторного использования статей KCS

    • Процент связанности

    • Скорость исправления статьи KCS (время на исправление статьи KCS помеченной как требующая исправления, поскольку ее не мог исправить человек, который ее нашел)

    • Время полного цикла статьи KCS (скорость, с которой статьи KCS проходят свой жизненный цикл)

    • Индекс качества статей (случайная выборка статей)

  • Оперативные показатели

  • Количество обработанных заявок
  • Среднее время решения

По мере того, как организация "взрослеет" и KCS становится второй натурой для сотрудников, мы переключаем наше внимание с индивидуальных показателей на баланс индивидуальных и командных :

  • Сотрудничество и работа в команде
  • Репутация и отзывы коллег
  • Коэффициент обращений за помощью
  • Коэффициент отзывов на обращения за помощью
  • Индекс качества статей для команды
  • Индекс цитирования (процент использования статей сотрудника его коллегами)
  • Отзывы от клиентов
  • Успех канала самообслуживания
  • Запаздывающие индикаторы KCS:
  • Индекс лояльности сотрудников
    • На основе опросов
    • Процент текучки кадров

Полный список всех мер KCS см. в Приложении «Матрица показателей».

Резюме

Оценка эффективности для KCS представляет собой отход от традиционных методов управления. Подход KCS ориентирован на сотрудничество, а не на конкуренцию, и оценивает создание ценности, а не деятельность. Должностные инструкции и набор ключевых показателей эффективности должны измениться так, чтобы отражать концепцию коллективной собственности и ответственности за базу знаний.