Ребята из Fibery предлагают обратиться к приёмам из геймификации и конвертировать разные действия в игровые очки, которые зарабатывают пользователь.

…we introduced invisible gamification: user gets N points the first time they complete a learning loop, N/2 for the second time, N/3 for the third, and so on.
…
The points system turned out to be pretty effective at predicting future purchases quite early.
…
Finally, here is our activation event: “reach 30 points in 3 days”.

Авторы рекомендуют почитать делали материал про learning loops.
Все это во второй части статьи.

———

А в первой части есть интересные рассуждения про поиск прокси-метрики.
Алгоритм прост: думаем о нашем целевом действии и выстраиваем процесс как к нему придти. Где-то на предыдущих шагах нас должна поджидать искомая прокси-метрика.
Чего-то кардинально нового не рассказывают, но всегда полезно повторить хорошие практики с приятными сопровождающими картинками :)

https://fibery.io/blog/activation-metric/

Learning happens when you understand something that someone else already understands. Research happens when you understand something that nobody else understands yet.

Оригинал: https://kanjun.me/writing/research-as-understanding
Зеркало: https://blakeir.com/research-as-understanding

Согласно корпоративной легенде, именно столько попыток потребовалось, чтобы создать идеальную формулу водоотталкивающего (water displacement) вещества.

У команды не получилось добиться нужного эффекта с первого раза. И это при том, что у них было хорошее финансирование и четко сформулированная цель.
Но спустя 39 экспериментов была найдена инновационная формула с необходимыми свойствами.

К чему это я? Экспериментируете по-больше!

И снова материал от Spotify и Microsoft про смешанные исследования для валидация рекомендашек.

Mixed methods for evaluating user satisfaction
https://github.com/jeanigarcia/recsys2018-evaluation-tutorial

Внутри вы найдёте три огромные презентации с деталями как, что и зачем проводить.

Попался слайд, где систематизируют взаимодействия юзера с системой. Может пригодится при проектировании телеметрии и аналитического хранилища в вашем продукте.

Детали в пейперах:
Modeling Information Content Using Observable Behavior — https://terpconnect.umd.edu/~oard/pdf/asis01.pdf
Implicit feedback for inferring user preference — http://haystack.csail.mit.edu/papers/kelly.sigirforum03.pdf

Развитие систем рекомендаций — это основная тема, с которой я работаю последние полгода. Топик горячий, вопросов много, а детальных кейсов, на которых можно учиться, очень мало.
Тем ценнее читать хорошие примеры из индустрии. Вот свежий от Spotify.

Краткий пересказ:

1. Spotify хотят сделать более крутые рекомендации. Оно и логично. Рекомендации — это фишка их продукта, которая напрямую влияет на бизнес-метрики (в это статье об это упоминается взколь, но про это они писали в других материалах).
2. Осталось только понять, а что такое «круто» и как его увеличивать.
3. Из других исследований и лучших дизайн/продуктовых практик известно, что за каждым пользовательским взаимодействием с системой стоит какая-то цель или потребность.
4. Гипотеза — если научиться учитывать потребности в движке рекомендаций, то это увеличит целевые бизнес-метрик и даст понимание, на какие прокси-метрики следует ориентироваться при улучшении движка.
5. Инициировали цепочку исследований, чтобы вытащить список задач. Тут использовали как количественные, так и качественные методы — десятки интервью и опросы на сотни тысяч пользователей.
6. Нашли 8 потребностей. Т. к. была связка ответов пользователей с их поведением в продукте, то смогли наложить разные метрики на сессии и понять по каким метриках можно определять их тип. Ну и какие интеракции имеют значение для каждой потребности.
7. Т. к. научились находить тип сессии на данных, то это уже можно использовать как параметр при моделировании.
8. Построили несколько моделей, прогнали через оффлайн симуляторы и онлайн АБ-тесты. Получили аплифты.

Вот так вот сложно. Думаю, это заняло суммарно не менее 6 месяцев. Но эту сложность можно понять — они улучшают зрелый продукт, который и так один из топов на рынке. Низковисящие фрукты уже давно сорваны. Остались сложные проблемы. И вот тут на помощь и приходят продвинутые методы исследований и аналитики.

Исследование: https://dl.acm.org/doi/fullHtml/10.1145/3308558.3313613
Интересные скриншоты

Распределение пользовательских интентов

Взаимосвязь поведенческих факторов и интентов

Последние полгода много работаю с фичами и продуктами на основе машинного обучения. В основном с рекомендательными системами.

С точки зрения продукта, хочется как можно быстрее и дешевле проверить гипотезу без разработки и двигаться дальше.

Для классического софта можно реализовать прототип с заранее заскриптованным сценарием и прогнать его на юзер тестинге.

С рекомендациями так просто не получится. Сам формат фичи подразумевает подстройку под действия конкретного респондента. Заранее прописать прописать все сценарии вряд ли получится (ну может только в очень узкой области, но тогда скорее всего и ML там не нужен, а хватит эвристики).

В Google такие задачи решают так — заменяют ML на человека и симулируют работу системы. Называется этот метод «волшебник их страны Оз». Подход интересный и позволяет проверить гипотезы без привлечения ML инженеров, но сделать такой прототип может оказаться тоже сложной задачей.

Детализированности прототипа с точки зрения UI

Детализированности прототипа с точки зрения данных

По-сути, Google подменяют «дорогую» разработку на дешевую. У них есть команда UX Engineering, которая и делает прототипы, которыми может управлять человек. Думаю, мало у кого есть возможность делать такие прототипы, а ML как-то тестировать же хочется.

Пока мне не попадалось «дешевых» способов тестировать ML без разработки (зато более менее понятно как это делать в проде имея систему для АБ-тестов).

https://design.google/library/simulating-intelligence/

Джим объединил все имеющиеся теории по джобам и связал их в стройный фреймворк, который можно использовать в разных бизнес-ситуациях.

За основу автор берет фреймворк Ульвика — Outcome Driven Innovation, который приземляет джобы до конкретных процессов и метрик. Люблю этот подход за то, что в нем есть четкая методология по количественной валидации и приоритезации гипотез.
При этом, Джим Калбах не забывает и про другие интерпретации джобов (например, от Алана Клемента), которые делают фокус на более высоких жизненных целях людей: вдохновлениях, долгосрочных целях и стремлениях.

Каждая джоба, по версии автора — это процесс, который имеет начало, середину и конец. А процесс имеет измеримый критерий успеха. Критерий может быть как объективным, так и субъективным. Главное — это можно измерить. 

Т. к. джоба состоит из шагов, то их также можно представить в виде подджобов / подпроцессов.

Из этого вытекает следущая мысль — джобы можно организовать в иерархию. На высшем уровне находятся те самые «высокие стремления и желания», а чем ниже по лестнице, тем джобы/процессы более прикладные и конкретные.

Важно отменить, что иерархию джобов/процессов предлагают строить на основе «функциональных джобов», т. е. только на основе физических процессов. Автор выделяет и другие виды джобов: эмоциональные и социальные. Они как бы наслаиваются поверх функциональной джобы. Четкого способ организации нефункциональных джобов в книге не предлагается. Да и нужно ли это? По мнению автора, эмоциальные и социальные составляющие нельзя создать без функциональный части. И я разделяю это мнение.

Помню как в 2016 и 2017 годах зарождался хайп на JTBD. Были разные интерпретации и царила путаница. А на просторах Твиттера и Медиума Ульвик воевал с Клементом. А иногда их обоих тролили другие известные личности. Например, Алан Купер со своим Goal-Directed Design. Да и просто многие UX-практики припоминали Task Analysis.

В книге Калбаха соеденино лучшее из всех теорий и практик. Четко и понятно изложены сценарии применения. Приведены примеры использования подхода в разных ситуациях из реальных продуктовых и сервисных компаний: от позиционирования на рынке, до приоритезации беклога, до разработки продуктовой стратегии.
Однозначно, это будет моя референсная книжка по джобам. Работаю я с ними редко, поэтому что-то всегда забывается. Но теперь я знаю, где буду искать ответы.

Главное из книги:
— Джобы существуют независимо от технологий
— Джоба — это процесс, у которого есть понятные шаги и который можно измерить
— Шаги можно представить в виде под-джобов
— Джобы выстраиваются в иерархию
— Социальные и эмоциональные джобы «наслаиваются» поверх «функциональных» джобов

Сам автор в написал чуть более подробную выжимку из книги.

В закаулках блога припрятана подсказка, которая поможет выделить джобы о которых я недавно писал.

Вот, например, пирамида ценностей, которую проработали в 2015 году консультанты из Bain.
Тут удобно расположены ценности по слоям. Нижний слой очень хорошо подходит для генерации возможных ценностей, которые люди смогут получить в вашем продукте.
Подмечу, что функциональные джобы у консалтеров расположены на нижней слое. Они служат основой для более «сложных» эмоциональных и социальных ценностей. Про это и писал Калбах в своей книге.

Продакт из Amplitude, Джон Катлер, сформулировал мысль о двух разных подходах в метриках и работе с данными.
Его опыт говорит, что компании часто фокусируются на контроле через данные. А это мешает делать инновации.
Нужно достигать баланса и гармонии. Легче сказать, чем сделать 🙂 Но мысль интересная.

Источник: https://www.linkedin.com/posts/johnpcutler_data-management-analytics-activity-6748416353348268032-nDUf

Инструмент для формирования стратегии контентных продуктов от Ravi Mehta (EIR @ Reforge, Former Tinder, Facebook, Tripadvisor)

В статье автор рассуждает почему TikTok выстрелил, а американский сервис для качественных мини-киношек Quibi — нет.

Ravi предлагает следущую формулу:

Развлекательная ценность = Социальная Ценность + Ценность Качества

1. Социальная Ценность формируется на основе персоналий, которые создают контент. Ценность в самом авторе, его взглядах и мнении. Например, интересно следить за активностью друзей в соц.сетях даже если они постят материалы в плохом качестве.
2. Ценность Качества напрямую относится к самому контенту: как он снят, каков сюжет, просто ли читать и т. д. Требования к качеству отличаются по жанрам: для ТВ-шоу одни стандарты качестве, для фильмов — другие.

Автор утверждает, что нельзя достичь максимума в обоих ценностях. Преобладать должна либо социальная, либо качественная ценность.

https://www.reforge.com/blog/entertainment-value-curve

Хороший труд на тему организации знаний от продакта, который делает тул для организации знаний. Разобраны плюсы и минусы у пяти видов структур. Приведены примеры инструментов, которые их поддерживают.

Кратко: знания — это нелинейная структура. Существующий тулинг не может удовлетворить по всем параметрам, но есть надежда, что технологический прогресс поможет :)