Выхожу из отпуска / радиомолчания.
Как обещал ранее, расскажу про интересные мысли и концепции, которые подчерпнул из книги Mastering Engagement.

Немножко повторюсь, но “повторение — мать учения”.

Engagement Game

Основной механизм создания и захвата ценности

1. The Attention Game: пытаемся максимизировать время, которое человек проводит в продукте. Примеры: новости, игры и все, что показывает рекламу.
2. The Transaction Game: помогаем человек совершить сделку, а сами живем на марже/комиссии. Примеры: e-commerce.
3. The Productivity Game: повышаем эффективность пользователя в его личных и/или рабочих задачах. Примеры: многие b2b-продукты.

Хочется “прокачивать” все три составляющие, но нужно сфокусироваться на одном.

Engagement Ladder

Эта концепция говорит, что “aha moment” — это только первая “ступенька” на пути юзера в вашем продукте. Скорее всего, у вас есть много “ценностей”, которые можно донести пользователю.

Наша задача — помочь юзеру забраться как можно выше на эту лестницу. Тогда он больше вовлечется в продукт и ему тяжелее будет уйти.

Конечно, не у всех получится (и не все туда хотят).

Подробнее: Building your growth model and Ladder of Engagement

Engagement Loop

Фреймворк для работы с жизненным циклом юзера в продукте. Формализуем и оцифровываем этот цикл в своем продукте => начинаем измерять и управлять им.

1. Curiosity — человека что-то смотивировало придти в продукт.
2. Aha moment — знакомим его с основной ценностью.
3. Value exchange — мы дали человеку ценность, а он нам заплатил или кликнул на рекламку.
4. Trigger — внешний стимул, возвращающего пользователя в продукт.
5. Social proof — шер/лайк/репост/реферал.

Весь цикл на примере Dropbox.

Способ осмыслить, как можно создать конкурентные приемущества.

Стратегии оцениваются по двум основным измерениям:

1. Дифференциация поставщиков:
   • насколько поставщики отличаются друг от друга и имеют ли они влияние на компанию;
   • например, Facebook практически полностью обезличивает своих поставщиков контента, в то время как Apple и Microsoft зависят от дифференцированных поставщиков (разработчиков приложений и других участников экосистемы).
2. Эффект сети (network effect):
   • рассматривается, как дополнительные пользователи влияют на ценность продукта или услуги;
   • различают внутренние (internalized) и внешние (externalized) эффекты сети:
     • внутренние — когда эффект сети напрямую улучшает основной продукт компании (например, для Facebook важно, что ваши друзья и семья пользуются той же социальной сетью);
     • внешние — когда ценность продукта растёт за счёт внешних факторов, например, за счёт экосистемы вокруг платформы (как в случае с Microsoft и её экосистемой вокруг Windows).

Эти два измерения помогают построить «карту рвов» (Moat Map), которая иллюстрирует, как различные компании создают конкурентные преимущества (рвы) на основе взаимодействия дифференциации поставщиков и эффекта сети.

​​Я захотел понять как сделать идеальное продуктовое исследование. Все популярные книжечки и статьи прочитаны, а шишки набиты. Но чисто ремесленным методом развиваться долго.

Настало время воспользоваться методом “сломанной пирамиды” по Вастрику и копнуть теорию.

Один из способов становиться лучше как профессионал — это учиться на опыте других. Особенно интересны примеры из больших компаний с налаженными процессами и топовыми специалистами. Из разных источников я попытался восстановить процесс большого редизайна Jira. Ссылки вы найдете в конце.

Проблема на уровне бизнеса

В 2016 году исследователи компании проанализировали интервью и комментарии текущих и ушедших клиентов. Удобство пользования продуктом было камнем преткновения для пользователей Jira.

Продуктовый департамент транслировал эту проблему бизнесу. Повышение удобства использования стало одной из главных целей компании. Улучшения решили оценивать по NPS.

Спрашивать NPS внутри продукта — нормальная практика. А вот запросить доп.информацию о юзере и назначить интервью в том же окошке— это интересно :)

Метрики

NPS (индекс лояльности) — это главная метрика Atlassian. Важнее продаж, выручки, LTV и размера месячной аудитории. Но она не подходит для оценки релизов:

NPS — это интегральная метрика, на которую влияют многие аспекты бизнеса, а не только удобство продукта.

В зрелой компании сложно двигать верхнеуровневые метрики. Практически невозможно заметить улучшение после короткой итерации.

Продуктовым команда была нужна метрика, которая позволит напрямую оценить изменения на юзабилити. Индустриальным стандартом для этой цели является System Usability Scale (SUS).

Придуманный в 1986 году опросник оценки удобства пользования.

Главная проблема SUS при использовании в качестве in-product опроса— количество вопросов сильно прерывает работу пользователей, что снижает количество заполненных анкет.

Исследователи компании предложили использовать более компактные юзабилити-метрики: UMUX и UMUX-Lite. В них всего 4 и 2 вопроса соответственно, что позволяет разместить эти опрос внутри продукта и получать хорошую конверсию в ответ. Притом, ранние исследования доказали сильную корреляцию между этими метриками, SUS и NPS.

Вопросы из UMUX-Lite

Была проведена серия экспериментов, где последовательно спрашивали UMUX-Lite и NPS. Была найдена относительно сильная линейная зависимость между этими метриками (R² = 0.62), что позволило UMUX-Lite стать “мостиком” для NPS. Продуктовым командам выдали формулу “перегонки” из одного значения в другое: NPS = 3.18 ∗ (UMUX-Lite) − 200.6. Это позволило выставлять реалистичные цели на релизы.

NB! Не переиспользуйте эту формулу у себя. Установите свой процесс замера этих метрик и на своей аудитории найдите формулу зависимости.

Приоритизация инициатив

У членов команды было много предложений как сделать Jira удобнее. Нужно было выстроить систему приоритетов. Для этого снова обратились к комментариям из NPS. Вдохновившись классификацией требований к программным системам FURPS, фидбек разбили по следующим темам:

1. Reliability — требования к надежности.
2. Usability — требования к удобству использования.
3. Functionality — функциональные требования.

Каждая тема содержит иерархию из категорий и отдельных фичей.

Продуктовая команда Atlassian получает около 2000 комментариев в месяц. Для тэгирования (кодинга) такого объема информации ребята взяли к себе несколько стажеров. Разметка идет в общем Google Spreadsheet. Каждый комментарий может быть включен в 3 категории и обязательно назначается на ответственную команду.

Каждую потенциальную фичу / проблему они рассматривают в трех измерениях: размер аудитории, частота использования и доля негативного фидбека.

Feature 1 — хороший кандидат для исправления. Большое количество аудитории часто ей пользуется и доля негативных комментов (Pain Index) тоже высока.

Юзабилити-проблемы также разбивали на три популярных категории, которые встречались в комментариях. Это позволило прицельно решать проблемы.

Числа в ячейках — это количество детракторов, которые упомянули о проблеме

Инструмент мониторинга: UX ScoreCard

Для продукта составляют набор метрик за которыми хочется следить. В идеале, этот набор метрик постоянен на всех стадиях разработки продукта, но на практике это не так.

Например, NPS мы можем получить только после выпуска продукта. Или метрики в стиле “время на выполнения задачи” хорошо замеряются в юзабилити-тестах, но не всегда четко отслеживаются “в бою”, т. к. мы не знаем контекст пользователя. Исключением, конечно, являются страницы с четкими Call to Action.

Поэтому в Atlassian используют два дашборда:

1. Early Signal Testing Scorecard (ESTS) — для дизайн-команды выносят метрики, которые помогают принимать решения на этапе разработки. Для этого они создали собственный мини-фреймворк — Early Signal Testing (никаких откровений особо по ссылке нет, но можно пощелкать презентацию).
2. Instrumented Scorecard — для продуктовой команды, когда фича уже в проде. Сюда выносят метрики, которые составлены по Google HEART и UMUX-Lite (это, видимо, замеряет Happiness).

Early Signal Testing Scorecard отображает метрики по новым и текущим юзерам

Находим эффект от продуктовых изменений в UMUX-Lite

Продуктологам хочется понимать “стрельнул” ли апдейт. Для этого аналитик строит линейную модель, которая пытается предсказать значение UMUX-Lite.

Линейные модели — не самые точные ML-алгоритмы, зато очень легко интерпретируются, что и нужно в работе над продуктом. Можно посмотреть, дал ли апдейт ожидаемый вклад. Ну или можно воспользоваться A/B-тестами.

Вывод

Анализ комментариев из NPS позволил подсветить проблемные места продукта. Через процесс кодинга удалось “оцифровать” жалобы клиентов и использовать количество жалоб как один из факторов в расстановке приоритетов.

Проблема медленной реакции NPS на изменения была решена созданием отдельной метрики для продуктовых команд.

UMUX-Lite стал мостиком между дизайнерами, продуктологами и бизнесом, который позволил быстрее получать обратную связь на релизы и понимание вклада в цель компании.
Более подробнее про метрику и методологию можно прочитать здесь: Measuring Usability: From the SUS to the UMUX-Lite.

Источники

• The right metric for the right stakeholder
• From feedback to features — Building the new JIRA experience
• The journey to quantify design in Jira — Kai Forsyth
• Early Signal Testing: Designing Atlassian’s New Look
• How to prioritize features using NPS® | Atlassian
• Bridging the Gap Between Business, Design and Product Metrics

Продукт не может быть успешен, если не приносит пользы его потребителям. Поэтому бесполезные товары гниют на полках и складах, плохие услуги никто не заказывает, а интернет-сервисы теряют посетителей.

Но как понять, за что человек готов заплатить? Не важно, деньгами или своим временем. Где скрывается ценность?

Есть теоретическая модель, с который вы наверняка сталкивались — пирамида потребностей по Маслоу (Maslow’s hierarchy of needs). Консультанты из Bain & Company расшили теорию практической частью. Они выделили 30 фундаментальных ценностей в B2C и 40 в B2B.

Пирамида ценностей в B2C

Ценности в B2B. С пирамидой по Маслоу уже как-то сложнее сопоставить.

Исследователи проанализировали множество продуктов и брендов: как они развивались и чем выделяются.

Выводы:

1. Чем более высокоуровневую потребность закрывает продукт, тем он более ценный и полезный.
2. Чем больше потребностей из пирамиды закрыто, тем более высоко оцениваются продукты в глазах потребителя.
3. Даже гиганты индустрии не могут закрыть все потребности. Например, Apple закрыла только 11 из 30 в B2C сегменте.
4. Верхнеуровневые ценности можно использовать как дифференциаторы вашего бренда. Посмотрите на рынок и конкурентов. Попробуйте понять, какие ценности они закрывают. Затем выбор за вами: сделайте лучше их или работайте над другими ценностями.

Ссылки на лонгриды (~40 минут на каждый):

1. The 30 Elements of Consumer Value: A Hierarchy — HARVARD BUSINESS REVIEW, 2016
2. What B2B Buyers Really Care About — HARVARD BUSINESS REVIEW, 2018

P.S.
Пока читал статьи узнал пару фактов о теории Маслоу:

1. Он описал только принцип потребностей, но в пирамиду их сложили другие ученые.
2. Популярный миф: достичь высшей ступени в пирамиде (самоактуализация) нельзя без закрытия более низких уровней (физические потребности). Но в это утверждение не вписываются альпинисты. Они преодолевают тяжелые лишения в пути на вершину: устают и рискуют жизнью. Ими движет более высокая цель.

Недавно узнал про метафору, что компьютер — это “велосипед” для человеческого разума, который увеличивает наши способности.

Человек использует свой собственный интеллект, чтобы создавать вспомогательные инструменты, которые делают его более эффективным. Становясь более эффективными, он придумывает еще лучшие вспомогательные инструменты. И так до бесконечности.

Источник: The Machine That Changed the World; The Paperback Computer; 102; Steve Jobs Interview

“I remember reading an article when I was about twelve years old. I think it might have been Scientific American, where they measured the efficiency of locomotion for all these species on planet earth. How many kilocalories did they expend to get from point A to point B? And the condor won, came in at the top of the list, surpassed everything else. And humans came in about a third of the way down the list, which was not such a great showing for the crown of creation. But somebody there had the imagination to test the efficiency of a human riding a bicycle. A human riding a bicycle blew away the condor all the way off the top of the list. And it made a really big impression on me that we humans are tool builders. And that we can fashion tools that amplify these inherent abilities that we have to spectacular magnitudes. And so for me, a computer has always been a bicycle of the mind. Something that takes us far beyond our inherent abilities. And I think we’re just at the early stages of this tool.”

Постер Apple Computer, который сделали в компании для визуализации метафоры

Подробная статья, где детально разбираются с возникновением этой фразы  — https://medium.learningbyshipping.com/bicycle-121262546097

Уже очень давно в моем загашнике полезных материалов пылилась лекция с TED про то, как люди делают выбор. Не помню точно, почему это видео попало в закладки. Вроде бы причиной стал разговор на тему “какие тарифы показывать в разных странах для SaaS продукта”.

Умные мысли из видео:

Мы учимся выбирать с детства, поэтому в разных странах/культурах люди по-разному относятся к проблеме выбора.

Например, в американской культуре дети с детства привыкли к разнообразию услуг и вещей. Они любят сами выбирать.
Бренды подчеркивают, что свобода выбора важна. Например, слоган Starbucks — “happiness is in your choices”.
В азиатской культуре принято прислушиваться к более опытным людям и давать им право выбирать за тебя.

Много выбора сбивает с толку. Людям сложнее найти оптимальный вариант.

Если продавец предлагаем широкий набор опций, то для покупателя они могут показаться одной. Клиент может не увидеть разницы.

В видео есть пример, где на территории бывшего СССР проводили интервью со старшим поколением. На нем предлагалось выбрать один напиток из Кока-Колы, Пепси, Миранды и т. д. Всего семь. Когда люди смотрели на это разнообразие, то это для них это сливалось в один вариант — газировка.

Выбор в безвыйгрышной ситуации негативно сказывается в будущем. Человек затем будем прокручивать в голове вопрос “а если бы я сделал иначе?”. Если в такой ситуации выбор сделают за него (другой человек, “система”, автоматически), то жить будет легче.

В общем, рекомендую выделить 23 минуты жизни и расширить свой кругозор. Ссылка на видео — Sheena Iyengar: The art of choosing | TED Talk.

Красочная презентация от Гуглера про ML и прочее.
Приятно посмотреть. Есть теория и показаны примеры использования ML в «бою».

Недавно на работе была дискуссия про продуктовые планы на следующий год. В ходе диалога мы обозначили единый понятийный аппарат, чтобы все участники понимали о чем речь.

Миссия отвечает за вопрос “зачем мы делаем это?”. Она описывает ценности и смысл существования компании. Миссия не должна никогда меняться (в идеале) .

Например, миссия Facebook:

Give people the power to build community and bring the world closer together.

Видение отвечает на вопрос “что мы получим в итоге?”. В каком-то роде — это мечта основателей и топ-менеджмента. В литературе Миссию и Видение бывает меняют местами или вовсе не различают.

Вот как это понимают в Facebook:

People use Facebook to stay connected with friends and family, to discover what’s going on in the world, and to share and express what matters to them.

Стратегия отвечает на вопрос “как мы этого добьемся?”. Это последовательность больших инициатив, которые должны привести нас к заветной мечте (видению).

Обычно про стратегию обсуждают на годы вперед. Для молодого стартапа будет нормальным работать со стратегией в рамках 1-2 лет. Для “китов индустрии” стратегическое планирование обсуждается в перспективе 10 лет и больше.

Запомнить

• Mission = Why
• Vision = What
• Strategy = How