Product × Science: заметки с тегом Персонализация

UX-помехи как инструмент сбора сигнала для алгоритмов

Sun, 20 Aug 2023 22:35:00 +0300

Ключевые идеи из статьи Using Friction As A Feature In Machine Learning Algorithms, дополненные небольшими фатками автора из личного опыта.

NB! Слово «friction» в переводе с английского означает «трение» или «разногласие», что не совсем подходит в контексте пользовательского опыта. Поэтому далее по тексту я буду переводить «friction» как «помеху», т. к. счел это более подходящим вариантом. Теперь про идеи из статьи...

1. Иногда нужно локально усложнять пользовательский опыт, чтобы упростить его в целом

Популярные цифровые продукты оттачивают ключевые сценарии до состояния «действий в один клик (или вообще без него)». Есть даже известная в дизайн-сообществе книга на тему. Но как и любая механика бездумно доведенная до крайности, она может привести к нежеланным для бизнеса и/или пользователя последствиям.

Поэтому иногда проектироващики осознанно вставляют юзерам палки в колеса:

Заставлять настраивать и/или собирать доп.инфу перед начало использования приложения (ох уж эти любимые N экранов в первой сессии, которые большинство людей пролистывают не глядя...)
Подталкивать к определенным действиям при помощи механик из поведенческой экономики (интересующиеся могут поискать Nudge Theory)
«Защита от дурака» при критический действиях (напр., удаление данных)

Модальное окно, которое заставляет задуматься и напрячься, чтобы реально удалить учетную запись

2. UX-помехи позволяют отделять «сигнал» от «шума» и повышать качество рекомендаций

Для работы рекомендательных алгоритмов, продукт должен собирать сигналы от пользователя, обрабатывать их, а результат обратно отображать у пользователя. Думаю, если вы пришли в этот блог, то знаете это и без меня. Но на всякий случай прикладываю схему, которую сделал автор оригинального поста:

Цикл обратной связи типичного сервиса с движком рекомендаций

В свое время Tinder ввел дизайн карточек, который фокусирует человека на одном профиле за раз и механику свайпов, которая явным образом собирала оценку от пользователя.

TikTok взял эту механику на вооружение и довел до совершенства для своих целей — быстрее подстроиться под вкусы пользователя и затянуть в продукт. Но как это сработало?

TikTok не стал использовать «традиционный» дизайн в виде витрины контента, который:

позволяет широким взглядом охватить имеющийся каталог, но...
мешает алгоритму недвусмысленно понимать что захватывает внимание пользователя, а что нет

Получается, что эта механика ухудшила один аспект опыта (человек видит меньше контента за раз), но позволила быстрее подстраивать ленту и улучшить опыт взаимодействия с сервисом в целом.

А еще, у TikTok в первой сессии нет привычного онбординга из нескольких экранов, где можно настроить приложение. Настройка происходит по мере скролла ленты, что сокращает время до получения ценности от продукта.

В марте 2023 музыкальный сервис Spotify выкатил редизайн своего продукта, в котором показал ленту а-ля TikTok. Верховный продуктолог и по совместительству глав.инженер сервиса, обстоятельно объяснил в интервью почему они радикально меняют интерфейс.

“Секрет того, почему некоторые из продуктов так хороши в рекомендациях, на самом деле заключается не в том, что у них лучшие алгоритмы. Это те же самые алгоритмы с более эффективным пользовательским интерфейсом”.
— Густав Седерстрем в статье The Verge “Почему Spotify хочет выглядеть как TikTok”

Интересно, что их редизайн собирает хейт по интернету. Например, Mashable назвал новый интерфейс Spotify одним из худших обновлений 2023 года. Но руководство музыкального сервиса готово мириться с критикой, т. к. в долгосроке верит в правильность своего решения.

So What?

В статье есть еще несколько рассуждений про потенциальное использование этой механики в будущем и в других ML-продуктах. Не обошлось и без упоминания модных нынче языковых моделей. И есть несколько советов как искать «полезные помехи», но они как-будто слишком абстрактные.

В целом, метериал годный и содержит ряд полезных релевантных ссылок. Не зря потратил 15 минут на чтение. Можно ссылаться на него при рабочей необходимости.

Пользователи чаще ищут немейнстримные новости, если видят «линию партии»

Mon, 03 Jul 2023 00:00:00 +0300

Вот что нам говорит свежая заметка из журнала Nature:

People, not search-engine algorithms, choose unreliable or partisan news. Analysis of people’s web searches & visited websites suggests that it is more likely that they are choosing to engage with partisan or unreliable news than that they are being unduly exposed to it by search-engine algorithms.

So What?
Стоит задуматься: а так ли силен эффект «пузыря фильтров» в новостных рекомендациях?

Полный текст научной работы: Users choose to engage with more partisan news than they are exposed to on Google Search.

«Долина ужаса» в рекомендательных системах

Sun, 02 Jul 2023 00:00:00 +0300

Источник: This is Personal: The Do’s and Don’ts of Personalization in Tech

Намерения пользователей и как это проявляется в поведении

Mon, 28 Jun 2021 12:31:00 +0300

Развитие систем рекомендаций — это основная тема, с которой я работаю последние полгода. Топик горячий, вопросов много, а детальных кейсов, на которых можно учиться, очень мало.
Тем ценнее читать хорошие примеры из индустрии. Вот свежий от Spotify.

Краткий пересказ:

Spotify хотят сделать более крутые рекомендации. Оно и логично. Рекомендации — это фишка их продукта, которая напрямую влияет на бизнес-метрики (в это статье об это упоминается взколь, но про это они писали в других материалах).
Осталось только понять, а что такое «круто» и как его увеличивать.
Из других исследований и лучших дизайн/продуктовых практик известно, что за каждым пользовательским взаимодействием с системой стоит какая-то цель или потребность.
Гипотеза — если научиться учитывать потребности в движке рекомендаций, то это увеличит целевые бизнес-метрик и даст понимание, на какие прокси-метрики следует ориентироваться при улучшении движка.
Инициировали цепочку исследований, чтобы вытащить список задач. Тут использовали как количественные, так и качественные методы — десятки интервью и опросы на сотни тысяч пользователей.
Нашли 8 потребностей. Т. к. была связка ответов пользователей с их поведением в продукте, то смогли наложить разные метрики на сессии и понять по каким метриках можно определять их тип. Ну и какие интеракции имеют значение для каждой потребности.
Т. к. научились находить тип сессии на данных, то это уже можно использовать как параметр при моделировании.
Построили несколько моделей, прогнали через оффлайн симуляторы и онлайн АБ-тесты. Получили аплифты.

Вот так вот сложно. Думаю, это заняло суммарно не менее 6 месяцев. Но эту сложность можно понять — они улучшают зрелый продукт, который и так один из топов на рынке. Низковисящие фрукты уже давно сорваны. Остались сложные проблемы. И вот тут на помощь и приходят продвинутые методы исследований и аналитики.

Исследование: https://dl.acm.org/doi/fullHtml/10.1145/3308558.3313613
Интересные скриншоты

Распределение пользовательских интентов

Взаимосвязь поведенческих факторов и интентов

Прототипируем умные продукты

Fri, 18 Jun 2021 00:00:00 +0300

Последние полгода много работаю с фичами и продуктами на основе машинного обучения. В основном с рекомендательными системами.

С точки зрения продукта, хочется как можно быстрее и дешевле проверить гипотезу без разработки и двигаться дальше.

Для классического софта можно реализовать прототип с заранее заскриптованным сценарием и прогнать его на юзер тестинге.

С рекомендациями так просто не получится. Сам формат фичи подразумевает подстройку под действия конкретного респондента. Заранее прописать прописать все сценарии вряд ли получится (ну может только в очень узкой области, но тогда скорее всего и ML там не нужен, а хватит эвристики).

В Google такие задачи решают так — заменяют ML на человека и симулируют работу системы. Называется этот метод «волшебник их страны Оз». Подход интересный и позволяет проверить гипотезы без привлечения ML инженеров, но сделать такой прототип может оказаться тоже сложной задачей.

Детализированности прототипа с точки зрения UI

Детализированности прототипа с точки зрения данных

По-сути, Google подменяют «дорогую» разработку на дешевую. У них есть команда UX Engineering, которая и делает прототипы, которыми может управлять человек. Думаю, мало у кого есть возможность делать такие прототипы, а ML как-то тестировать же хочется.

Пока мне не попадалось «дешевых» способов тестировать ML без разработки (зато более менее понятно как это делать в проде имея систему для АБ-тестов).

https://design.google/library/simulating-intelligence/

Human-Centered AI

Sun, 03 Nov 2019 01:00:00 +0300

Персонализация — горячая тема. В разных “точках” продукта она реализуется по-разному: иногда хватает подставить имя в письме или подтянуть аватарку из Facebook, в других случаях не обойтись без ML.

Я последнее время разбираюсь с персонализацией на основе алгоритмов. Бытует мнение, что AI магическим способом возьмет данные из хранилища и сделает “хорошо” без особых усилий. Конечно, тут есть пару нюансов :)

ML для работы нужны данные. В зависимости от задачи, данные собираются из разных источников. Для рекомендательных систем, важными сигналами служат действия пользователей в продукте.

Пример
Spotify изучает ваши вкусы на основе прослушиваемых песен. Если вы скипните композицию, то система будет подсовывать вам меньше похожих песен.

Поэтому, чтобы делать крутые AI-продукты. нам нужно учиться грамотно собирать “сигналы” с пользователей через UX. Где-то даже видел мысль в стиле:

ML-проблема — это на самом деле UX-проблема

Я нашел два источника по этой теме с упором на практику:

People + AI Guidebook от Google. Охватывает много аспектов от А до Я. Если скачать весь материал как pdf, то получится книжечка на 120 страниц.
Guidelines for Human-AI Interaction от Microsoft Research. Есть много полезного в этой научной работе.

Думал сделать выжимку из этих материалов, но понял, что это надо читать целиком, чтобы разобраться.

P.S.
Список списков ссылок по Human-AI Interaction

Персональная продуктивность

Sat, 24 Aug 2019 01:00:00 +0300

Вот и вновь выдалось свободное время в поездке. А это означает, что можно продолжить разбирать интересные работы с конференции CHI 2019.

Что такое персональная продуктивность?

Есть определение продуктивности из индустриальной эры — соотношение затрат к результату. В век информации замерить продуктивность «работников интеллектуального труда» сложнее, т. к. нет единого стандарта для результатов работы. Из-за этого сложно оценить и максимизировать эффективность.

Чтобы приоткрыть занавесу тайны над этим вопросом, ученые из Microsoft проверили двухнедельное дневниковое исследование. Среди участников эксперимента были разработчики, медики, менеджеры, аспиранты, юристы и профессора. Всего 24 участника, представили 11 профессий.

Цель исследования — понять, как сами люди описывают и объясняют свою продуктивность.
В AppStore целая плеяда автоматических трекеров времени и туду-листов. Но что-то пока не видно «лидера» на рынке, а люди не стали «сверх-продуктивными». Значит разработчики что-то упускают...
Результаты этой работы помогут в создании более совершенных продуктов-помощников.

Каждый участник после совершения продуктивной, по его мнению, активности, заполнял небольшой опрос:

Время начала и длительность.
Суть задачи (писал емейл, читал книгу и т.д).
Личное ощущение продуктивности (например, “очень продуктивен”).
Рациональное объяснение этого ощущения (почему?).

24 респондента залогировали почти 800 задач, которые суммарно складывается в 1200 часов работы. И, конечно, провели интервью постфактум, чтобы уточнить непонятные моменты. Настало время систематизировать эти знания и «познать тайну бытия».

УЧЕНЫЕ И НЕ МОГЛИ ПРЕДПОЛОЖИТЬ, ЧТО УЗНАЮТ ТАКОЕ!..

Исследователи нашли шесть видов продуктивности, не все из которых вписываются в “классическое” определение из экономики.

Человек ощущает себя продуктивным, если:

Сделал больше, выше, качественнее или достиг “значимого” прогресса.
Успел сделать задачу к сроку или использовал время с пользой.
Находится на эмоциональном подъеме и сфокусирован.
Ему нравится задача и/или он осознает ее значимость.
Может получить личную или долгосрочную социальную выгоду.
Справился с авралом и кучей дел одновременно.

Если ваш продукт нацелен на повышение продуктивности, то подумайте на досуге как можно замерить эти “состояния” у своих пользователей. Возможно, что-то из этого сатаней хорошей верхнеуровневой метрикой. Все-таки, живем в век персонализации :)

Интересный инсайт ждал исследователей при анализе самих типов задач. Они ожидали, что большинство «продуктивных» событий будет относиться к около-рабочим темам.

15 из 24 респондентов хотя бы раз залогировали, что занятие личными делами тоже вызывают ощущение продуктивности.

Большинство записей относились к теме здоровья, но были и вещи в стиле «посмотрел сериал на Netflix с семьей».

So What?

Продуктивность — это многогранное понятие. Помимо ожидаемых “сделал больше за меньшее время”, под этим термином может пониматься и определенное эмоциональное состояние или отношение к исполняемой работе (не нравится задача = я непродуктивен).

Контекст имеет значение (как и всегда, в принципе). Разные задачи при разных обстоятельствах требуют индивидуального подхода замера продуктивности. К сожалению, померить одной “линейкой” различные типы занятости пока не предоставляется возможным. Но в рамкам определенного домена можно что-то придумать.

Текущие трекеры пытаются замерить нашу продуктивность только через активность на устройствах. Но много чего “полезного” происходит и в оффлайне, куда приложение на компе не имеет доступа. Помимо сильной персонализации и гибкости, трекеры должны учитывать не только “процесс” (вы провели в Facebook 20 минут), но и “результат” (прокомментировали пост Марка Цукерберга и получили от него приглашение личную встречу). Только тогда такие продукты смогут помочь нам стать лучшей версией себя.

Оригинал с более развернутыми примерами: Understanding Personal Productivity: How Knowledge Workers Define, Evaluate, and Reflect on Their Productivity

Product × Science: заметки с тегом Персонализация

UX-помехи как инструмент сбора сигнала для алгоритмов

1. Иногда нужно локально усложнять пользовательский опыт, чтобы упростить его в целом

2. UX-помехи позволяют отделять «сигнал» от «шума» и повышать качество рекомендаций

So What?

Пользователи чаще ищут немейнстримные новости, если видят «линию партии»

«Долина ужаса» в рекомендательных системах

Рекомендации в разных странах и культурах

Намерения пользователей и как это проявляется в поведении

Прототипируем умные продукты

Human-Centered AI

Персональная продуктивность

Что такое персональная продуктивность?

So What?