Product × Science: заметки с тегом Метрики

Меньше нотификаций дают лучшую возвращаемость в долгосроке

Fri, 23 Dec 2022 01:00:00 +0300

Ресерчеры и аналитики из Мордакниги установили, что меньшее количество нотификаций в долгосрочке обеспечивает лучшую возвращаемость в продукт. Хотя поначалу продуктовые метрики и просели.

И выводят два тезиса:

Результаты эксперимента в короткосроке и долгосроке могут сильно отличаться
Меньше нотификаций, но более качественных полезнее в долгосрочной перспективе.

Вроде ясно и очевидно, но представляю сколько организационных и волевых усилий потребовалось для запуска такой инициативы. На масштабах Фейсбука, потеря сессий выливается в гигантские недополученные суммы от показа реклам.

Чтобы этот эксперимент провести и защитить использовали данные из опросов и фактического поведения аудитории.

Еще один хороший пример как смешивание разных типов данных и методов помогают в сложных бизнес-ситуациях.

https://medium.com/@AnalyticsAtMeta/notifications-why-less-is-more-how-facebook-has-been-increasing-both-user-satisfaction-and-app-9463f7325e7d

Момент активации в продукте, где много фичей и нет одного единственного пользовательского сценария

Sun, 05 Dec 2021 01:00:00 +0300

Ребята из Fibery предлагают обратиться к приёмам из геймификации и конвертировать разные действия в игровые очки, которые зарабатывают пользователь.

…we introduced invisible gamification: user gets N points the first time they complete a learning loop, N/2 for the second time, N/3 for the third, and so on.
…
The points system turned out to be pretty effective at predicting future purchases quite early.
…
Finally, here is our activation event: “reach 30 points in 3 days”.

Авторы рекомендуют почитать делали материал про learning loops.
Все это во второй части статьи.

———

А в первой части есть интересные рассуждения про поиск прокси-метрики.
Алгоритм прост: думаем о нашем целевом действии и выстраиваем процесс как к нему придти. Где-то на предыдущих шагах нас должна поджидать искомая прокси-метрика.
Чего-то кардинально нового не рассказывают, но всегда полезно повторить хорошие практики с приятными сопровождающими картинками :)

https://fibery.io/blog/activation-metric/

Оценка качества рекомендательных систем

Fri, 06 Aug 2021 00:00:00 +0300

И снова материал от Spotify и Microsoft про смешанные исследования для валидация рекомендашек.

Mixed methods for evaluating user satisfaction
https://github.com/jeanigarcia/recsys2018-evaluation-tutorial

Внутри вы найдёте три огромные презентации с деталями как, что и зачем проводить.

Попался слайд, где систематизируют взаимодействия юзера с системой. Может пригодится при проектировании телеметрии и аналитического хранилища в вашем продукте.

Детали в пейперах:
Modeling Information Content Using Observable Behavior — https://terpconnect.umd.edu/~oard/pdf/asis01.pdf
Implicit feedback for inferring user preference — http://haystack.csail.mit.edu/papers/kelly.sigirforum03.pdf

Гид по UX-метрикам

Fri, 25 Oct 2019 01:00:00 +0300

Что такое «метрика»?

Это число, которое характеризует какое-либо из свойств наблюдаемого процесса. Процессы в реальной жизни очень сложные и для глубокого понимания обычно используется набор метрик. Они смотрят на процесс с разных углов.

Метрики помогают собирать обратную связь с наблюдаемого явления. На основе обратной связи идет корректировка дальнейших действий. Термин «обратная связь» изначально появился в механике и инженерии. Постепенно он стал использоваться в менеджменте, клиентском сервисе и разработке продуктов.

Вот как описывают фидбек на «общем уровне»

Feedback is as a generic method of controlling a system by using past results to affect future performance. Approaches which keep a system operating within tight parameters, demonstrate negative feedback. That’s not pessimistic or bad feedback, but feedback that prompts the system to maintain control. Negative feedback is actually good feedback because it yields greater efficiency and performance. Positive feedback, by contrast, causes the system to keep going, unchecked. Like a thermostat that registers the room as too warm and cranks up the furnace, it’s generally meant to be avoided.

“Negative feedback is actually good feedback because it yields greater efficiency and performance.” — James Watt, Scottish inventor & mechanical engineer.

Число в вакууме не несет смысла. Для получения пользы от метрики мы должны сравнить ее с другим показателем. Примеры:

сравнивая свои показатели со стандартами (бенчмарками) индустрии, можно понять наше положение на рынке.
отслеживая показатели во времени, можно понять как развивается наша компания относительно «прошлой» себя.

Свойства хорошей метрики

Консистентность (воспроизводимость) результатов (англ. reliability) — если повторить исследование/эксперимент, то мы получим те же числа.
Валидность (англ. validity) — мы уверены, что метрика измеряет именно то, что мы хотим замерить.
Чувствительность (англ. sensitivity) — метрика хорошо реагирует на изменения.

Если метрика не удовлетворяет этим критериям, то мы получаем неверную обратную связь на наши действия от окружающей среды.

Метрики в UX

Измерение в UX — это количественная оценка наблюдений и мнений пользователей. Они помогают снизить неопределённость относительно того, насколько удобно пользоваться продуктом на самом деле.

UX-метрики оценивают качество взаимодействия человека с интерфейсом при выполнении определенной задачи. Понятие «задачи» многогранно, обычно выделяют три уровня. Естественно, границы уровней размыты. Разберем на примере поискового продукта:

Макро — найти нужную информацию в поисковике.
Мезо — прочитать результаты выдачи, переформулировать вопрос.
Микро — ввод запроса, построчное сканирование текста в ответе.

Альтернативная классификация:

микро- и мезо-уровни еще иногда называют юзабилити-метриками.
макро-уровень иногда называют Customer Experience (CX-метрики). Такие метрики можно использовать на уровне всего продукта или бизнеса.

User Experience vs. User Centric

Эти понятия легко спутать. UX-метрики это подмножество User Centric метрик. Но не все User Centric метрики являются UX.

Примеры User Centric показателей, которые не являются UX-метриками:

User-Level LTV — показывает сколько мы заработаем с определенного пользователя безотносительно используемого продукта/услуги.
Количество сессий на человека — показывает активность человека в продукте, но ничего не говорит про «качество» это взаимодействия.
Средняя скорость загрузки страницы на человека — замеряет техническое свойство продукта, но не говорит о том, как пользователь это воспринимает.
NPS — замеряет лояльность потребителей к бизнесу, но не говорит о качестве реализации конкретной задачи или сценария.

Эти метрики также отталкиваются от человека, но абстрагируются от интерфейса и/или задачи, а работают уровне продукта или бизнеса. Это не означает, что UX-специалисты не используют их в работе. Такие метрики являются хорошим мостиком между дизайном, продуктом и бизнесом.

Списки User Centric метрик

System Usability Scale (SUS)

Самый известный и, наверное, старый способ измерения удовлетворения от интерфейса — это опросник System Usability Scale (SUS).

После работы в системе, респондент проходит опрос из 10 вопросов. По определенной формуле считается показатель, который лежит в диапазоне от 1 до 100. Он характеризует сложность интерфейса:

1 — непонятно, от слова «совсем»
100 — «божественный» UX

Количество вопросов — это главная проблема, которая не позволяет собирать SUS с неподготовленной аудитории. Поэтому, в основном, его замеряют на юзабилити-тестированиях. На практике была доказана сила связи между SUS и индексом лояльности к компании.

Single Ease Question (SEQ)

После совершения целевого действия, пользователя можно спросить вот такой вопрос:

seq-high-res.jpg

Доказано, что более легкие задачи делаются быстрее и бОльшее количество человек их заканчивает, т. е. выше конверсия.

Концепция «простоты использования» используется во многих других метриках. Например, за метрикой Customer Effort Score стоит простая идея, что чем проще пользоваться продуктом или услугой тем более лояльными будут клиенты. Но мне удалось найти какие-либо подтверждения на этот счет (хотя мысль логичная).

Также, между одним вопросом про «простоту использования» с огромным SUS есть корреляция 90%. Это еще один «плюсик в карму» для этой метрики.

Достоинство этой метрики в том, что ее можно замерять online, т. к. конверсия в ответ будет высокой. Если в продукте есть четкая воронка, то можно собирать оценки в конце пути.

Usability Metric for User Experience (UMUX)

Эта метрика разработана в качестве альтернативы SUS. Акцент делается на измерении двух свойств продукта: функциональность и простота.

В UMUX четыре вопроса, а в усовершенствованной версии UMUX-Lite их два:

Доказано, что UMUX-Lite может заменять SUS и при этом не терять в точности оценки. Два вопроса проще «уместить» в интерфейс продукта и начать спрашивать online, чем пользуются продуктовые компании.

Пример из жизни: как исследуют пользователей, расставляют приоритеты и снимают метрики в Atlassian.

Customer Satisfaction Score (CSAT)

Удовлетворенность — еще одна концепция в мире User Experience. Это популярная метрика, которую обычно спрашивают после завершения какого-либо сценария. Самый популярный вариант — после обращения в техническую поддержку.

How would you rate your overall satisfaction with the [goods/service] you received?

Но есть примеры, когда CSAT измеряется уровне всего продукта или компании. American Customer Satisfaction Index уже больше 20 лет каждый год опрашивает сотни тысяч американцев на предмет удовлетворенностью продуктами или услугами компаний из разных сфер и индустрий.

Интересно, что между CSAT компании и ее финансовыми показателями имеется хорошая связь. Историю и бенчмарки можно найти на этом сайте.

Single Usability Metric (SUM)

Это 6 показателей, которые по хитрой формуле превращаются в число от 1 до 100. Эти показатели включают в себя:

Метрики на основе поведения респондентов
- Справился ли респондент с задачей
- Фактически проведенное время над задачей
- Количество ошибок
Субъективные метрики-опросы с 5-бальной шкалой для ответа:
- Воспринимаемое время над задачей
- Воспринимаемая сложность
- Удовлетворенность (тот же самый CSAT)

По задумке авторов, эта комбо-метрика предоставить более взвешенный взгляд на пользовательский опыт и упростить принятие решений. Многие агентства и компании ее используют, но открыто не делятся опытом.

К счастью, Microsoft поделилась своим 2.5-летним опытом ее использования. Инсайты:

Шкала от 1 до 100 непонятна стейкхолдерам. Где отсечка, после которой «все хорошо?»

Фактическое и воспринимаемое время над задачей не всегда коррелируют. Люди иногда отвлекаются или просто «тупят», но при этом считают, что с задачей справляются быстро. Время — это шумная метрика.

Количество ошибок на практике заранее неизвестно наперед. Поэтому с точки зрения метрики это просто шум.

Net Promoter Score (NPS)

Очень популярная метрика лояльности потребителя к бренду или услуге. Поэтому остановимся на ней подробнее.

У этой метрики есть «набирающий популярность брат» Actual NPS (aNPS), который пытается устранить одну из ошибок NPS — спрашивать про мнение и будущее.

Но это не самая главная беда этой метрики в контексте измерения UX. Бренд «собирает» под собой не только продукт с его дизайном, но и работу поддержки/отдела продаж и новости о бренде.

Слишком много факторов влияет на NPS.

На практике мы получаем слабую чувствительность к UX-изменениям. Сторонними исследователя установлено, что «вклад» UX в NPS составляет не более 66%.

Но есть ситуации, когда NPS можно использовать как UX-метрику:

Если респондент не знает, продукт какого бренда он тестирует / использует.
Если весь продукт держится только на одной макро-задаче и можно пренебречь влиянием других факторов

Примеры, когда NPS подходит и не подходит как UX-метрика.

Порекомендуете ли вы AdBlock друзьям или коллегам?
- ОК, т. к. основной сценарий в AdBlock — это блокировка рекламы на сайтах. Однозначная ассоциация.
Порекомендуете ли вы Wrike друзьям или коллегам?
- НеОК
  - Wrike это продукт с множеством макро-задач внутри: планирование проектов, управление ресурсами, хранилище документации. Как понять, UX какого сценария дает больший вклад?
  - Wrike используется для управления проектами и людьми. Есть люди, которые просто не любят работать, поэтому будут ставить плохие оценки в NPS даже если продукт будет идеален.
  - Wrike это b2b-компания, в которой «продуктом» является не только сайт, но и поддержка, обучающие материалы и размер скидки, который может дать отдел продаж.
  - Основные покупатели Wrike — топ-менеджеры. Рядовые сотрудники могут просто не иметь знакомых топ-менеджеров, которые ищут систему управления проектами. Некому рекомендовать.
  - Некоторые люди «оставляют работу на работе» и не рекомендуют друзьям рабочие инструменты. А все коллеги и так уже пользуются этой системой.

Некоторые компании пытаются «уточнять» NPS и спрашивать про конкретный опыт в продукте. Но это тогда уже не NPS, а что-то другое. Примеры:

С какой вероятностью вы порекомендуете продавать товары на Авито друзьям или коллегам?
Порекомендуете ли вы слушать музыку в Spotify друзьям или коллегам?

Другие метрики

Существует еще большое количество UX-метрик. Какие-то требуют покупки лицензий, а какие-то используются в узкоспециализированных областях:

Language Quality Survey (LQS) — метрика качества локализации
Lostness — метрика качества навигации в продукте
SUPR-Q, qxScore, User Experience Questionnaire (UEQ) и AttrakDiff — опроссники, которые продвигают идею единого числа в UX для всего и вся.
И еще сотни других метрик...

Фреймворки и подходы

Метрик много, но не всегда понятно какую использовать под вашу задачу. Google в 2010 году опубликовала научную работу по HEART — подход, который помогает выбрать метрику для измерения пользовательского опыта под разными углами. Фреймворк был опробован на 20 проектах внутри Google, а затем пошел “во вне” компании.

HEART комбинирует мнения пользователей через опросы и поведенческие продуктовые метрики

Tomer Sharon, бывший UX Researcher в Google и WeWork и нынешний глава по ресерчу в Goldman Sachs, расписал подробно про каждый “срез” сквозь призму своего опыта и дает примеры метрик:

Как и многое из Google, этот подход стал набирать популярность. Но это не единственное, что придумало человечество.

Главные Концепции

Как можно было заметить, UX-метрики работают с разными абстракциями:

Простота
Функциональность
Удовлетворенность
Желание использовать в будущем / Лояльность
Значимость (относительно новая концепция, которую хотят начать измерять)
Изучаемость / Простота обучения
Готовность делегировать (upd. от 19.01.2026)

Есть две модели, которые пытаются расположить их в иерархию и понять влияние друг на друга:

American Customer Satisfaction Index (ACSI)
Technology Acceptance Model (TAM)

Вот неполная схема взаимосвязи метрик

Запомнить

Метрика нужна, чтобы собирать обратную связь из внешнего мира и корректировать свои планы. Числа без привязки к контексту никому не интересны.
User Experience — это очень широкая область, поэтому и метрики в нем совершенно разные. Они могут фокусироваться на удобстве микро-взаимодействий пользователя с системой и на долгосрочных целях человека в продукте. Единого термометра не изобрели (хотя многие пытаются). Главное — UX-метрики замеряют восприятие человека.
Сделать достоверную метрику очень сложно. Изучите стандартные способы измерения пользовательского опыта, которые используется повсеместно. Не придумывайте велосипед.
Для систематизации работы используйте HEART-фреймворк от Google. Освоив этот инструмент, пробуйте новый или придумайте свой подход.
Все измерения в UX крутятся вокруг ограниченного набора концепций. Будут придуманы новые метрики, а концепции будут неизменны.

Статья впервые была опубликована в старом блоге по ссылке https://www.martsen.me/blog/quantifying-the-user-experience

Продуктовые метрики от Sequoia Capital

Sun, 04 Aug 2019 01:00:00 +0300

Data Science команда из Sequoia Capital опять разразилась циклом статей про метрики.
Оказывается, у них в портфеле находится App Annie и, видимо, они делятся с ними данными, т. к. в статьях идет речь об анализе огромного количества компаний из разных ниш и разного размера.
Вкратце про каждую статью.

Defining Product Success: Metrics and Goals
Обзорная статья для разминки. Напоминают, что топ-метрики надо выбирать не “как у ребят на районе”, а исходя из вижена продукта.
Конечно, есть “джентельменский набор” метрик: growth/engagement/monetization => number of users/time spent/revenue. Но они скорее всего не будут отражать суть продукта и при достижении определенной вехи развития их надо будет заменить (и это нормально).
Я, как и авторы статьи, придерживаюсь идеи выбора метрик исходя их “сути продукта”. В статье предлагают мысленно проделать упражнение: представьте свой продукт через 10 лет и численно охарактеризуйте его успех одним числом.

Selecting the Right User Metric
В этом посте делается упор на продуктах, которые ставят во главе угла количество активных юзеров. Sequoia Capital дают целый фреймворк по определению идеальной метрики. По нему надо определить:

что мы хотим видеть в итоге (вижен)
что у нас есть сейчас (текущие показатели)
как дела у других (исследования рынка/конкурентов)

С виженом немного разобрались в предыдущем посте, поэтому учимся понимать имеющиеся ситуацию:

Посчитайте сколько у вас уникальных пользователей за час, день, неделю, месяц, квартал и год.
Теперь посчитайте HAU/DAU, DAU/WAU, WAU/MAU, MAU/QAU, QAU/YAU.
Найдите выражения с выдачей >60% и возьмите то, что ближе к левой части списка. Из этой метрики берем числитель. Допустим, это было WAU. Поздравляю, вы определили что у вашего продукта еженедельный паттерн использования.

В статье разобраны примеры на основе данных из App Annie с конкретными числами по сегментам, поэтому можно подметить бенчмарков для себя.

The laws of nature strongly influence product behavior
Завершает эту мини-серию статся с попыткой найти закономерности в метриках. Никаких особых кол-ту-экшенов тут нет. Просто факты:

Успешные продукты объединяются в кластеры по категориям, если смотреть в разрезе метрик активности.
Также топовые продукты на графике “выстроились в линейку”, что намекает на какую-то закономерность и принцип перехода из одной категории активности в другую.
Они пытались найти паттерны в “эволюции” продуктов, но не срослось. Слишком индивидуальные истории (или слишком мало наблюдений?)

Just Noticeable Difference

Fri, 11 Aug 2017 00:00:00 +0300

Недавно узнал про “магические” 20%, на которые надо ориентироваться, чтобы улучшать продукт. Быстрый поиск через Google не дал конкретики, а запрос “JND 20%” только один раз встретился на SlideShare, где также не было ссылки на первоисточник.

Я заинтересовался вопросом и копнул интернет поглубже. Уж больно хотелось найти обоснование, которое затем можно использовать в работе.

Русская Википедия переводит это понятие как “порог различения”. В интернете хорошо ищется по сокращению JND и альтернативному названию — difference threshold.

И так, приступим…

Что это?

Термином just noticeable difference (JND) обозначают количество воздействия, которое нужно применить, чтобы человек смог заметить разницу между двумя сигналами как минимум в половине случаев.

“The Difference Threshold (or “Just Noticeable Difference”) is the minimum amount by which stimulus intensity must be changed in order to produce a noticeable variation in sensory experience.”
— Frank Schieber, Professor and Human Factors Researcher at University of South Dakota

В паре с этим понятием идет absolute threshold — количество воздействия, которое необходимо применить, чтобы заметить сигнал на минимуме. Под сигналами подразумеваются пять основных чувств человека: осязание, зрение, вкус, обоняние и слух.

Например, абсолютный трешхолд для звука будет минимальное значение громкости на магнитоле, которое человек может обнаружить.

JND — минимальное изменение громкости, которое человек сможет ощутить между уровнями громкости.

Кто придумал и как исследовали?

Изначальная теория

Эрнст Генрих Вебер — немецкий психофизиолог. В 1834 году он обнаружил, что воспринимается не абсолютный, а относительный прирост силы раздражителя.

В XIX веке много экспериментировал с чувствами и в итоге пришел к математически выраженному закону.

Для каждого из чувств были найдены константные доли, на которые необходимо изменить значение сигнала, чтобы оно было заметным. Также затем нашли и много ограничений для этого закона.

Применимость в бизесе: оффлайн

Вебер доказал применимость своей теории для физический ощущений. В середине XX века группа ученых решила исследовать применимость этого же принципа для психологических воздействий. Исследователи экспериментировали с:

размером вознаграждения в зависимости от квалификации работника
размером скидки для покупателей в магазинах
ценообразованием на новую и старую модель одного и того же автомобиля

Они пришли к такому выводу:

20% — это порог различения в вопросе ценообразования и качества

Важно понимать, что эти результаты основаны на результатах наблюдения и интервью, поэтому они основаны на субъективных ощущениях наблюдателей и респондентов. Исследователи минимизировали погрешности и вывели среднее значение, но это не означает, что оно работает для всех и всегда.

Применимость в бизнесе: онлайн

С конца 90-х и в начале 00-х разродилась целая гора книг и исследований о применимости этих знаний в маркетинге, в т.ч. онлайн. Самая популярная книга, которая упоминается чуть ли не везде — Consumer Behaviour за авторством Leon G. Schiffman и Joseph Wisenblit. В ней рассказывают про маркетинговые трюки с вниманием и ценообразованием. Все это приправлено ссылками на исследования и солидным опытом авторов.

В 2014 году вышла статья, где JND рассматривается в разрезе применимости к социальным группам: Rethinking the Concept of Just Noticeable Difference in Online Marketing. Автор сделал симулятор, где сравнивал “разреженные” и “плотные” соц.группы. Можно провести аналогию — рабочий коллектив из 3—5 человек = “разреженная” группа. Фейсбук с 1000 друзей — “плотная”.

В “разреженных” группах изменение, которое не пересекло средний порог различения вероятнее всего останется незаметным. Знание не распространится внутри группы. В “плотных” группах, если кто-то один заметит, то все остальные рано или поздно об этом узнают, как бы это не скрывали хитрые маркетологи.

Если вы работаете с изменениями, которые пересекают средний JND (допустим вы сделали анонс чего-то нового), то меняется только скорость распространения информации. Но даже значительные изменения могут остаться незамечиными в маленькой соц.группе.

Как использовать при разработке продукта и бизнесе?

Позитивные изменения

Делаете рефакторинг и оптимизируете скорость загрузки приложения? Убедитесь, что ваши пользователи заметят прирост как минимум на 20% и смело пишите об этом в описании обновления.
Сокращаете количество действий для определенного юзкейса на сайте? 9 вместо 10 — плохо. 7—8 вместо 10 — хорошо.
Планируете дать скидку на товар? 20% простимулируют к покупке.

Негативные изменения

Повышаете цену? Делаете это по 5—10%, чтобы не пересечь JND.
Use Case: Как не надо уменьшать размер шоколадки.

Запомнить

20% — это среднее значение для индивидуального восприятия. Верно не всегда и не везде.
Постарайтесь сами “прощупать” JND для своей аудитории (например, A/B тестами)
В соц.сети незначительные изменения рано или поздно заметят все.
Даже крупное событие может быть незаметно в маленьких коллективах.

Статья впервые была опубликована в старом блоге по ссылке https://www.martsen.me/blog/jnd

Product × Science: заметки с тегом Метрики

Меньше нотификаций дают лучшую возвращаемость в долгосроке

Момент активации в продукте, где много фичей и нет одного единственного пользовательского сценария

Оценка качества рекомендательных систем

Гид по UX-метрикам

Что такое «метрика»?

Свойства хорошей метрики

Метрики в UX

User Experience vs. User Centric

Популярные UX-метрики

System Usability Scale (SUS)

Single Ease Question (SEQ)

Usability Metric for User Experience (UMUX)

Customer Satisfaction Score (CSAT)

Single Usability Metric (SUM)

Net Promoter Score (NPS)

Примеры, когда NPS подходит и не подходит как UX-метрика.

Другие метрики

Фреймворки и подходы

Главные Концепции

Запомнить

Продуктовые метрики от Sequoia Capital

Just Noticeable Difference

Что это?

Кто придумал и как исследовали?

Как использовать при разработке продукта и бизнесе?

Запомнить