Product × Science: заметки с тегом HCI

Готовность делегировать цифровому ассистенту

Mon, 19 Jan 2026 10:31:58 +0300

В гиде по UX-метрикам я писал, что показателей много, но есть ограниченный набор сущностей, которые интересны для замера с точки зрения дизайна и продукта. Похоже, с развитием ИИ-помощников на сцену выходит новая концепция — готовность человека делегировать выполнение и/или принятие решений цифровому ассистенту.

В работе Expectation vs Reality in Users’ Willingness to Delegate to Digital Assistants создается модель «готовности делегировать»: определены основные «переменные» и причинно-следственные связи.

Исследование опубликовано в начале 2023г, поэтому часть тезисов выглядят банальными, а рекомендации устаревшими, но все еще злободневно даже три года спустя.

Теоретическая модель на основе изученной литературы

Модель на основе проведенного исследования и применения математического аппарата

Ключевые тезисы и рекомендации

Завышенные ожидания пользователей от ассистентов

Чем проще работа с ассистентом, тем выше желание делегировать ему задачу (или как минимум попробовать)
При этом, чем больше человек пробовал работать с агентами, тем меньше желание делегировать (видимо, столкнулся с негативным опытом и понял ограничения)

Выводы отсюда очевидные: работать над качеством, менеджить ожидания, более сдержанно давать обещания

Процесс работы ассистентов не прозрачен, а контроля практически нет

Чем важнее задача, тем меньше желание делегировать. Так как нет доверия к системе, то и делегировать «субъективно рисковые» задачи не хочется. Даже если пользователь думает, что агент мог бы быть полезен.

Чтобы повысить шанс допуска агентов к более сложным задачам со стороны юзера, нужно:

Определить сценарии, где людям нужен больший контроль.
Бить критичные задачи на подзадачи, объяснять что будет сделано, дать контроль порядком шагов и их наполнением

Полезность ассистентов возрастает, когда человеку сложно выполнить задачу, но при этом увеличивается и субъективная сложность работы

Используйте ситуации, в которых пользователям сложно выполнить задачу без посторонней помощи, например, когда у них заняты руки или они не видят экран, чтобы продемонстрировать преимущества помощника.
Сделайте взаимодействие в таких ситуациях ещё проще

Частотность сценариев работы ассистента не связана с субъективной полезностью, но повышает доверие к системе

Например, пользователи не доверяют ИИ в вопросах, связанных со страховыми случаями, хотя в этом случае ассистенты кажутся полезными. Пользователи доверяют роботам в вопросах информации о погоде, но это не самый полезный сценарий.
Сортировать беклог только по частотности сценария выглядит не самым разумным подходом.

Ссылки

Намерения пользователей и как это проявляется в поведении

Mon, 28 Jun 2021 12:31:00 +0300

Развитие систем рекомендаций — это основная тема, с которой я работаю последние полгода. Топик горячий, вопросов много, а детальных кейсов, на которых можно учиться, очень мало.
Тем ценнее читать хорошие примеры из индустрии. Вот свежий от Spotify.

Краткий пересказ:

Spotify хотят сделать более крутые рекомендации. Оно и логично. Рекомендации — это фишка их продукта, которая напрямую влияет на бизнес-метрики (в это статье об это упоминается взколь, но про это они писали в других материалах).
Осталось только понять, а что такое «круто» и как его увеличивать.
Из других исследований и лучших дизайн/продуктовых практик известно, что за каждым пользовательским взаимодействием с системой стоит какая-то цель или потребность.
Гипотеза — если научиться учитывать потребности в движке рекомендаций, то это увеличит целевые бизнес-метрик и даст понимание, на какие прокси-метрики следует ориентироваться при улучшении движка.
Инициировали цепочку исследований, чтобы вытащить список задач. Тут использовали как количественные, так и качественные методы — десятки интервью и опросы на сотни тысяч пользователей.
Нашли 8 потребностей. Т. к. была связка ответов пользователей с их поведением в продукте, то смогли наложить разные метрики на сессии и понять по каким метриках можно определять их тип. Ну и какие интеракции имеют значение для каждой потребности.
Т. к. научились находить тип сессии на данных, то это уже можно использовать как параметр при моделировании.
Построили несколько моделей, прогнали через оффлайн симуляторы и онлайн АБ-тесты. Получили аплифты.

Вот так вот сложно. Думаю, это заняло суммарно не менее 6 месяцев. Но эту сложность можно понять — они улучшают зрелый продукт, который и так один из топов на рынке. Низковисящие фрукты уже давно сорваны. Остались сложные проблемы. И вот тут на помощь и приходят продвинутые методы исследований и аналитики.

Исследование: https://dl.acm.org/doi/fullHtml/10.1145/3308558.3313613
Интересные скриншоты

Распределение пользовательских интентов

Взаимосвязь поведенческих факторов и интентов

Кейс: находим драйверы роста в социалке при помощи ML и поднимаем ретеншн

Sun, 12 Jan 2020 00:00:00 +0300

В феврале на Flo Data Meetup я рассказывал про кейс с работы. В нём я применил «классические» методы продуктового анализа и теорию графов.

По итогам ресерча продуктовая команда смогла лучше понять предпочтения пользователей, выделала новый сегмент аудитории, выдвинула несколько успешных гипотез и получила прирост к метрикам.

Доклад изначально готовился для аналитиков, но получил хорошие отзывы от разработчиков, дизайнеров и продакт-менеджеров.

Видео содержит:
— Вводную про продуктовые подходы
— Небольшой обзор на науку Human-Computer Interaction, из которой я люблю брать новые идеи
— Информацию про продукт
— Вопросы на которые стейкхолдеры хотели получить ответы
— Как я перевёл эти вопросы на язык данных и как начал ресерч
— Почему не хватило «классических» методов
— Минимум про матрицы и теорию графов
— Сниппет кода, который поможет самому сделать похожий ресерч
— Как я интерпретировал полученные данные
— Что мы сделали с инсайтами и какой получили эффект в метриках
— Книжки для самообразования
— QnA секцию, из которой вы сможете немного узнать про нюансы работы с данными в Flo + немного обсудили филосовские вопросы 🙂

Исследования на стыке HCI и ML

Mon, 30 Dec 2019 01:00:00 +0300

Анализ научных работ на стыке Human-Computer Interaction и Machine Learning, 2018 год. Источник: Mapping Machine Learning Advances from HCI Research to Reveal Starting Places for Design Innovation

Списочек уж больно совпадает с моим видением того, какие подходы будут чаще использоваться в продуктовой аналитике в ближайшие 5 лет.

User Modeling я давно уже постепенно изучаю и прокачиваю. Про это мало пишут и то только в академическом сообществе. Если вам тоже интересно, то присмотритесь к «соседним» областям с картинки. Почти все они относятся к разработке ML-продуктов, но под капотом используются похожий стек технологий, что и для User Modeling. Поэтому можно начинать прокачивать скилы по имеющейся литературе.

Чтобы ML пошел в массы, надо обучить дизайнеров его возможностям. Авторы приводят интересный аналог: художники и скульпторы перед созданием произведения искусства изучают материалы, их свойства и возможности. Поняв “ML-материал”, дизайнер сможет придумать неочевидные применения и создавать новые продукты. Пока что дизайнеры еще только изучают новое “сырье”.

В статье обозначены точки, в которых технологии (“материал”) уже есть, но устоявшихся UX-практик нет. В этих областях можно ожидать появление новых подходов и инструментов.

Попутно с изучение перспективных направлений, были найдены те области, где уже есть удачные примеры продуктов. Авторы выделили четыре вида ценности, которые ML может дать юзерам.

1. Прогнозы и выводы о пользователе
Алгоритмы, которые изучают поведение человека и “подстраивают” продукт под него. Примеры:
а) практически любые продукты, где-то что-то рекомендуют: музыка, фильмы, товары
б) цифровые персональные ассистенты

2. Прогнозы и выводы об окружающей среде
Алгоритмы, которые используют информацию о мире и адаптируют его под человека или группу людей.
Примеры:
а) умный дом / умный город
б) зная медицинские показания пациента и текущий ход операции, ML может помогать хирургу принимать решения.

3. Советы как сделать что-то оптимальным путем
Алгоритм может посоветовать объективно оптимальный путь решения задачи. Пример: навигатор строит маршрут до точки назначения.

4. Автоматизация рутины и новые возможности
ML-продукты позволяют экономить время пользователя упрощая или вообще убирая шаги из сценариев использования. Пример: новостной алгоритм, который фильтрует“воду” в информационном окружении и показывать только суть и новые факты.

Держим эти ценности в голове, когда собираемся придумать новый продукт на основе ML.

Human-Centered AI

Sun, 03 Nov 2019 01:00:00 +0300

Персонализация — горячая тема. В разных “точках” продукта она реализуется по-разному: иногда хватает подставить имя в письме или подтянуть аватарку из Facebook, в других случаях не обойтись без ML.

Я последнее время разбираюсь с персонализацией на основе алгоритмов. Бытует мнение, что AI магическим способом возьмет данные из хранилища и сделает “хорошо” без особых усилий. Конечно, тут есть пару нюансов :)

ML для работы нужны данные. В зависимости от задачи, данные собираются из разных источников. Для рекомендательных систем, важными сигналами служат действия пользователей в продукте.

Пример
Spotify изучает ваши вкусы на основе прослушиваемых песен. Если вы скипните композицию, то система будет подсовывать вам меньше похожих песен.

Поэтому, чтобы делать крутые AI-продукты. нам нужно учиться грамотно собирать “сигналы” с пользователей через UX. Где-то даже видел мысль в стиле:

ML-проблема — это на самом деле UX-проблема

Я нашел два источника по этой теме с упором на практику:

People + AI Guidebook от Google. Охватывает много аспектов от А до Я. Если скачать весь материал как pdf, то получится книжечка на 120 страниц.
Guidelines for Human-AI Interaction от Microsoft Research. Есть много полезного в этой научной работе.

Думал сделать выжимку из этих материалов, но понял, что это надо читать целиком, чтобы разобраться.

P.S.
Список списков ссылок по Human-AI Interaction

Гид по UX-метрикам

Fri, 25 Oct 2019 01:00:00 +0300

Что такое «метрика»?

Это число, которое характеризует какое-либо из свойств наблюдаемого процесса. Процессы в реальной жизни очень сложные и для глубокого понимания обычно используется набор метрик. Они смотрят на процесс с разных углов.

Метрики помогают собирать обратную связь с наблюдаемого явления. На основе обратной связи идет корректировка дальнейших действий. Термин «обратная связь» изначально появился в механике и инженерии. Постепенно он стал использоваться в менеджменте, клиентском сервисе и разработке продуктов.

Вот как описывают фидбек на «общем уровне»

Feedback is as a generic method of controlling a system by using past results to affect future performance. Approaches which keep a system operating within tight parameters, demonstrate negative feedback. That’s not pessimistic or bad feedback, but feedback that prompts the system to maintain control. Negative feedback is actually good feedback because it yields greater efficiency and performance. Positive feedback, by contrast, causes the system to keep going, unchecked. Like a thermostat that registers the room as too warm and cranks up the furnace, it’s generally meant to be avoided.

“Negative feedback is actually good feedback because it yields greater efficiency and performance.” — James Watt, Scottish inventor & mechanical engineer.

Число в вакууме не несет смысла. Для получения пользы от метрики мы должны сравнить ее с другим показателем. Примеры:

сравнивая свои показатели со стандартами (бенчмарками) индустрии, можно понять наше положение на рынке.
отслеживая показатели во времени, можно понять как развивается наша компания относительно «прошлой» себя.

Свойства хорошей метрики

Консистентность (воспроизводимость) результатов (англ. reliability) — если повторить исследование/эксперимент, то мы получим те же числа.
Валидность (англ. validity) — мы уверены, что метрика измеряет именно то, что мы хотим замерить.
Чувствительность (англ. sensitivity) — метрика хорошо реагирует на изменения.

Если метрика не удовлетворяет этим критериям, то мы получаем неверную обратную связь на наши действия от окружающей среды.

Метрики в UX

Измерение в UX — это количественная оценка наблюдений и мнений пользователей. Они помогают снизить неопределённость относительно того, насколько удобно пользоваться продуктом на самом деле.

UX-метрики оценивают качество взаимодействия человека с интерфейсом при выполнении определенной задачи. Понятие «задачи» многогранно, обычно выделяют три уровня. Естественно, границы уровней размыты. Разберем на примере поискового продукта:

Макро — найти нужную информацию в поисковике.
Мезо — прочитать результаты выдачи, переформулировать вопрос.
Микро — ввод запроса, построчное сканирование текста в ответе.

Альтернативная классификация:

микро- и мезо-уровни еще иногда называют юзабилити-метриками.
макро-уровень иногда называют Customer Experience (CX-метрики). Такие метрики можно использовать на уровне всего продукта или бизнеса.

User Experience vs. User Centric

Эти понятия легко спутать. UX-метрики это подмножество User Centric метрик. Но не все User Centric метрики являются UX.

Примеры User Centric показателей, которые не являются UX-метриками:

User-Level LTV — показывает сколько мы заработаем с определенного пользователя безотносительно используемого продукта/услуги.
Количество сессий на человека — показывает активность человека в продукте, но ничего не говорит про «качество» это взаимодействия.
Средняя скорость загрузки страницы на человека — замеряет техническое свойство продукта, но не говорит о том, как пользователь это воспринимает.
NPS — замеряет лояльность потребителей к бизнесу, но не говорит о качестве реализации конкретной задачи или сценария.

Эти метрики также отталкиваются от человека, но абстрагируются от интерфейса и/или задачи, а работают уровне продукта или бизнеса. Это не означает, что UX-специалисты не используют их в работе. Такие метрики являются хорошим мостиком между дизайном, продуктом и бизнесом.

Списки User Centric метрик

System Usability Scale (SUS)

Самый известный и, наверное, старый способ измерения удовлетворения от интерфейса — это опросник System Usability Scale (SUS).

После работы в системе, респондент проходит опрос из 10 вопросов. По определенной формуле считается показатель, который лежит в диапазоне от 1 до 100. Он характеризует сложность интерфейса:

1 — непонятно, от слова «совсем»
100 — «божественный» UX

Количество вопросов — это главная проблема, которая не позволяет собирать SUS с неподготовленной аудитории. Поэтому, в основном, его замеряют на юзабилити-тестированиях. На практике была доказана сила связи между SUS и индексом лояльности к компании.

Single Ease Question (SEQ)

После совершения целевого действия, пользователя можно спросить вот такой вопрос:

seq-high-res.jpg

Доказано, что более легкие задачи делаются быстрее и бОльшее количество человек их заканчивает, т. е. выше конверсия.

Концепция «простоты использования» используется во многих других метриках. Например, за метрикой Customer Effort Score стоит простая идея, что чем проще пользоваться продуктом или услугой тем более лояльными будут клиенты. Но мне удалось найти какие-либо подтверждения на этот счет (хотя мысль логичная).

Также, между одним вопросом про «простоту использования» с огромным SUS есть корреляция 90%. Это еще один «плюсик в карму» для этой метрики.

Достоинство этой метрики в том, что ее можно замерять online, т. к. конверсия в ответ будет высокой. Если в продукте есть четкая воронка, то можно собирать оценки в конце пути.

Usability Metric for User Experience (UMUX)

Эта метрика разработана в качестве альтернативы SUS. Акцент делается на измерении двух свойств продукта: функциональность и простота.

В UMUX четыре вопроса, а в усовершенствованной версии UMUX-Lite их два:

Доказано, что UMUX-Lite может заменять SUS и при этом не терять в точности оценки. Два вопроса проще «уместить» в интерфейс продукта и начать спрашивать online, чем пользуются продуктовые компании.

Пример из жизни: как исследуют пользователей, расставляют приоритеты и снимают метрики в Atlassian.

Customer Satisfaction Score (CSAT)

Удовлетворенность — еще одна концепция в мире User Experience. Это популярная метрика, которую обычно спрашивают после завершения какого-либо сценария. Самый популярный вариант — после обращения в техническую поддержку.

How would you rate your overall satisfaction with the [goods/service] you received?

Но есть примеры, когда CSAT измеряется уровне всего продукта или компании. American Customer Satisfaction Index уже больше 20 лет каждый год опрашивает сотни тысяч американцев на предмет удовлетворенностью продуктами или услугами компаний из разных сфер и индустрий.

Интересно, что между CSAT компании и ее финансовыми показателями имеется хорошая связь. Историю и бенчмарки можно найти на этом сайте.

Single Usability Metric (SUM)

Это 6 показателей, которые по хитрой формуле превращаются в число от 1 до 100. Эти показатели включают в себя:

Метрики на основе поведения респондентов
- Справился ли респондент с задачей
- Фактически проведенное время над задачей
- Количество ошибок
Субъективные метрики-опросы с 5-бальной шкалой для ответа:
- Воспринимаемое время над задачей
- Воспринимаемая сложность
- Удовлетворенность (тот же самый CSAT)

По задумке авторов, эта комбо-метрика предоставить более взвешенный взгляд на пользовательский опыт и упростить принятие решений. Многие агентства и компании ее используют, но открыто не делятся опытом.

К счастью, Microsoft поделилась своим 2.5-летним опытом ее использования. Инсайты:

Шкала от 1 до 100 непонятна стейкхолдерам. Где отсечка, после которой «все хорошо?»

Фактическое и воспринимаемое время над задачей не всегда коррелируют. Люди иногда отвлекаются или просто «тупят», но при этом считают, что с задачей справляются быстро. Время — это шумная метрика.

Количество ошибок на практике заранее неизвестно наперед. Поэтому с точки зрения метрики это просто шум.

Net Promoter Score (NPS)

Очень популярная метрика лояльности потребителя к бренду или услуге. Поэтому остановимся на ней подробнее.

У этой метрики есть «набирающий популярность брат» Actual NPS (aNPS), который пытается устранить одну из ошибок NPS — спрашивать про мнение и будущее.

Но это не самая главная беда этой метрики в контексте измерения UX. Бренд «собирает» под собой не только продукт с его дизайном, но и работу поддержки/отдела продаж и новости о бренде.

Слишком много факторов влияет на NPS.

На практике мы получаем слабую чувствительность к UX-изменениям. Сторонними исследователя установлено, что «вклад» UX в NPS составляет не более 66%.

Но есть ситуации, когда NPS можно использовать как UX-метрику:

Если респондент не знает, продукт какого бренда он тестирует / использует.
Если весь продукт держится только на одной макро-задаче и можно пренебречь влиянием других факторов

Примеры, когда NPS подходит и не подходит как UX-метрика.

Порекомендуете ли вы AdBlock друзьям или коллегам?
- ОК, т. к. основной сценарий в AdBlock — это блокировка рекламы на сайтах. Однозначная ассоциация.
Порекомендуете ли вы Wrike друзьям или коллегам?
- НеОК
  - Wrike это продукт с множеством макро-задач внутри: планирование проектов, управление ресурсами, хранилище документации. Как понять, UX какого сценария дает больший вклад?
  - Wrike используется для управления проектами и людьми. Есть люди, которые просто не любят работать, поэтому будут ставить плохие оценки в NPS даже если продукт будет идеален.
  - Wrike это b2b-компания, в которой «продуктом» является не только сайт, но и поддержка, обучающие материалы и размер скидки, который может дать отдел продаж.
  - Основные покупатели Wrike — топ-менеджеры. Рядовые сотрудники могут просто не иметь знакомых топ-менеджеров, которые ищут систему управления проектами. Некому рекомендовать.
  - Некоторые люди «оставляют работу на работе» и не рекомендуют друзьям рабочие инструменты. А все коллеги и так уже пользуются этой системой.

Некоторые компании пытаются «уточнять» NPS и спрашивать про конкретный опыт в продукте. Но это тогда уже не NPS, а что-то другое. Примеры:

С какой вероятностью вы порекомендуете продавать товары на Авито друзьям или коллегам?
Порекомендуете ли вы слушать музыку в Spotify друзьям или коллегам?

Другие метрики

Существует еще большое количество UX-метрик. Какие-то требуют покупки лицензий, а какие-то используются в узкоспециализированных областях:

Language Quality Survey (LQS) — метрика качества локализации
Lostness — метрика качества навигации в продукте
SUPR-Q, qxScore, User Experience Questionnaire (UEQ) и AttrakDiff — опроссники, которые продвигают идею единого числа в UX для всего и вся.
И еще сотни других метрик...

Фреймворки и подходы

Метрик много, но не всегда понятно какую использовать под вашу задачу. Google в 2010 году опубликовала научную работу по HEART — подход, который помогает выбрать метрику для измерения пользовательского опыта под разными углами. Фреймворк был опробован на 20 проектах внутри Google, а затем пошел “во вне” компании.

HEART комбинирует мнения пользователей через опросы и поведенческие продуктовые метрики

Tomer Sharon, бывший UX Researcher в Google и WeWork и нынешний глава по ресерчу в Goldman Sachs, расписал подробно про каждый “срез” сквозь призму своего опыта и дает примеры метрик:

Как и многое из Google, этот подход стал набирать популярность. Но это не единственное, что придумало человечество.

Главные Концепции

Как можно было заметить, UX-метрики работают с разными абстракциями:

Простота
Функциональность
Удовлетворенность
Желание использовать в будущем / Лояльность
Значимость (относительно новая концепция, которую хотят начать измерять)
Изучаемость / Простота обучения
Готовность делегировать (upd. от 19.01.2026)

Есть две модели, которые пытаются расположить их в иерархию и понять влияние друг на друга:

American Customer Satisfaction Index (ACSI)
Technology Acceptance Model (TAM)

Вот неполная схема взаимосвязи метрик

Запомнить

Метрика нужна, чтобы собирать обратную связь из внешнего мира и корректировать свои планы. Числа без привязки к контексту никому не интересны.
User Experience — это очень широкая область, поэтому и метрики в нем совершенно разные. Они могут фокусироваться на удобстве микро-взаимодействий пользователя с системой и на долгосрочных целях человека в продукте. Единого термометра не изобрели (хотя многие пытаются). Главное — UX-метрики замеряют восприятие человека.
Сделать достоверную метрику очень сложно. Изучите стандартные способы измерения пользовательского опыта, которые используется повсеместно. Не придумывайте велосипед.
Для систематизации работы используйте HEART-фреймворк от Google. Освоив этот инструмент, пробуйте новый или придумайте свой подход.
Все измерения в UX крутятся вокруг ограниченного набора концепций. Будут придуманы новые метрики, а концепции будут неизменны.

Статья впервые была опубликована в старом блоге по ссылке https://www.martsen.me/blog/quantifying-the-user-experience

Баланс ролей — ключ к росту социальной системы

Thu, 20 Jun 2019 19:06:00 +0300

Seekers, Providers, Welcomers, and Storytellers: Modeling Social Roles in Online Health Communities я рекомендую прочитать тем, кто занимается продуктами с групповыми/социальными фичами: Q&A-сервисы, ПО для коллективной работы, мультиплеерные игры, «социальный» e-commerce и т. д.

Группа ученых из Carnegie Mellon и Stanford решила изучить феномен «успеха» крупнейшего форума по теме рака в мире — Cancer Survivor Network (CSN). Сайт существует с начала 2000-х и стал самым крупным в своем сегменте. Было много аналогичных площадок, но все рано или поздно затухали, а CSN развивается и по сей день.

У социологов возникла гипотеза — на форуме сложилась определенная структура социальных ролей, которая обеспечивала «баланс» в сообществе и позволила ему развиваться. Осталось ее проверить на данных, которые были предоставлены American Cancer Society (а это вся переписка на сайте с 2003 по 2018 гг).

Но для начала надо формально определить, чем является «социальная роль» на данных. Для этого они обратились к теории. Социальная роль в науке определяется 4 факторами:

Цель — у индивида в сообществе есть цель, которую он преследует исходя из собственных интересов.
Взаимодействия — роль контактирует с другими участниками сообщества. На форуме эти взаимодействия проявляются по-разному: старт новой темы обсуждений, написание ответа, лайк комментария или обращение в директ.
Ожидания — социальные роли при взаимодействии рассчитывают на определенную обратную связь. Например, на работе начальник и подчиненный знают чего ждать друг от друга и соответственно подбирают стиль общения. В онлайн-сообществах обычно нет явно формализованных ролей и только «старожилы» знают как и с кем общаться. Например, из-за этого новички на StackOverflow часто стесняют вступать в разговоры и задавать вопросы.
Контекст — некоторые роли могут существовать только при определенных условиях. Например, «поставщик информации» существует во многих типах сообществах, включая Q&A сервисы, рабочие группы и форумы. А вот «коммитер» — это специфичная роль для сообщества разработчиков (GitHub, Bitbucket). Приватность также играет большое значение. Поведение человека на публике обычно отличается от его поведения наедине или с родными.

Кратко про технические моменты:

При помощи кластеризации решили определить какие вообще есть роли, т. к. «доменные эксперты» (модераторы и другие сотрудники CSN) сами до конца не могли однозначно ответить на этот вопрос. Разметки не было.
В реальной жизни человек принадлежит к нескольким ролям одновременно. Например, на работе я одновременно «аналитик» и «спамер в slack». Чтобы учесть это, была использована Gaussian Mixture Model (GMM), которая позволяет отнести объект к нескольким группам с определенной вероятностью.
Для «генерации фич» были использованы подходы из сетевого анализа (SNA) и обработки текста (NLP). Всего было сделано 83 признака.
Количество кластеров — это гиперпараметр модели, которые исследователи сами могли задавать. Они пробовали находить от 2 до 20 кластеров. После «игры» с данными, количество от 10 до 15 показалось им «адекватным».

Чтобы окончательно определиться с количеством ролей, были подключены доменные эксперты. После долгих дискуссий, пришли к оптимальному количеству кластеров — 11.
Тем не менее, модераторы отметили, что модель не нашла один тип роли. Она редко встречается на форуме, но сильно запоминается.
Видимо, слишком мало подобных наблюдений было в датасете или ученые не нашли «нужные» фичи.

После этой огромной работы, они начали проверять свои гипотезы и находить другие инсайты. Кратко:

Основная гипотеза про «баланс» ролей в сообщество подтвердилась.
Нашли свое доказательство «на данных» несколько теорий из социологии, что также сработало как доп.фактор валидации модели.
Нашли «путь успешного пользователя» форума, который становится костяком сообщества. Как следствие, смогли лучше понять retention/churn.

So What?

Исследователи разработали рабочий подход к нахождению «социальных ролей». Они заявляют, что эта методология универсальна и может быть использована в других предметных областях. На работе я уже частично использовал методы из этого ресерча (привет, Алися!) и получил интересные результаты.
Найдя роли в своих продуктах, можно будет 1) определить хорошие Health-метрики, 2) более четко формулировать и проверять продуктовые гипотезы, 3) системно развивать социальную составляющую продукта.

CHI — конференция для инноваторов

Tue, 14 May 2019 02:00:00 +0300

Что это?

Конференция проводится организацией ACM (Association for Computing Machinery). Это огромнейшая ассоциация, которая курирует много движений в мире технологий. Существует с 1947 года.

В состав AMC входят поднаправления (SIG, Special Interest Groups). Одно из направлений это Human-Computer Interaction (HCI, иногда пишут CHI).

Я немного рассказывал про HCI в своем докладе на Киви Кухне (слайды). Вкратце, это направление науки изучает как люди выполняют задачи используя технологии.

В HCI изучают как люди выполняют задачи используя технологии.

Продемонстрирую разнообразие тем, поигравшись с кусками определения:

Люди: один/группа/социум, дети/взрослые/старики, азиаты/европейцы/марсиане, мужчины/женщины/покемоны.
Задачи: микро/макро, последовательные/параллельные, сложные/простые, синхронные/асинхронные, интересные/рутинные/стрессовые, игры/работа/общение.
Технологии: web/mobile/часы/протезы/VR/AI/«умная ткань» и так далее и тому подобное.

Дисциплина смешивает подходы из Computer Science, всех социальных наук и подмешивая иногда биологию с физикой. На конференцию приехало почти 4000 человек.

The ACM CHI Conference on Human Factors in Computing Systems is the premier international conference of Human-Computer Interaction. CHI — pronounced ‘kai’ — is a place where researchers and practitioners gather from across the world to discuss the latest in interactive technology.

Что там показывают?

Полная программа включала в себя ~1200 уникальных активностей.

Презентация научных работ (~700 штук)
Выступление — 15 минут:

Что за проблему хотим решить? Почему это важно?
На какие вопросы нам нужно дать ответ? Какие гипотезы?
Выбор и обоснование методологии
Процесс сбора данных: как и с кого собирали
Анализ данных и результаты
Рекомендации по реализации и/или освещение новых вопросов
Дают ссылку на подробную статью (10+ страниц), где описаны все нюансы, расчеты и релевантные работы.
Пять минут на вопросы из аудитории.

Очень крутой формат, который позволяет ознакомится с работой, а затем чуть ли не воспроизвести ее самому.

Постерная сессия (~250 штук)

Постер — это зачастую красиво рассказанная история с картинками и тезисами на формат А1. По-сути, это инфографика по научной работе, которую автор также прилагает на конференцию.

В принципе, из постера можно было бы сделать и обычный доклад. Насколько я знаю, кто-то сам не хочет запариваться, а кого-то не допускает комиссия.

На специальной площадке расположены ~50 стоек, на которые в первой половине каждого дня авторы вешают свои работы. Пока они готовятся, можно присмотреть интересные для себя вещи. К началу второго перерыва между сессиями, они уже готовы и посетители конференции идут туда коротать время. Каждый постер презентуют 1-2 человека. Можно (и нужно) подходить к ним, узнавать что за ресерч и просто болтать за жизнь.

Я поговорил с коллегой из Atlassian, который разработал иерархию метрик для редизайна Jira. Еще скоротал время с корейскими студентами, которые применяли теорию графов кучи всего, в т.ч. для анализа активности фан-сообществ в социальных сетях. Ну и просто постоял около многих стендов и послушал авторов. У многих поистине горят глаза от того, чем они занимаются.

Курсы, воркшопы и мастер-классы (~30 штук)

CHI — это еще и место учебы. Преподаватели из топовых универов и компаний, дают интенсивны размером от 2 до 4 академических пар.

Я посетил курс от ребят, которые в свое время консультировали yahoo и bing по развитию поиска. Они учили подходу моделирования поведения пользователей, который используется в экономике — cost-benefit analysis. Из этих формул было четко понятно какие «выгоды» и «траты» несет юзер, что давало инсайты для последующего редизайна.

Составление такой модели требует поистине глубокого понимания задач пользователей и продвинутой математики. Тут я впервые увидел использование дифуров для продуктовой работы, а не в задачах ракетостроения.

Интерактивные стенды (много)

Множество научных лабораторий со всего мира: VR-шлемы, роботы, интерфейсы мозг-компьютер и много всякого…

https://www.instagram.com/p/BxTEdJ8DaH9/

Ярмарка вакансий

Топовые компании из США, Европы и Азии организовали свои площадки и пылесосили контакты всех, кто потенциально интересен. Интересно отличилась Apple. От них были две вакансии, где неприметно и мелким шрифтом написаны общие требования к кандидатам. А снизу была приклеена папка, куда надо кидать резюме. Папка была очень уродливая, словно мусорная урна…

Яркие спикеры

Вступительный и финальный доклады были на высоте. Первый доклад заряжал позитивом и вдохновлением. Последний рассказывал о глобальном видении и стратегии Google на рынке умных вещей. Такое стоит послушать (оцените спикера).

Из минусов

Конференция, прежде всего, ориентирована на академическое сообщество. Научный совет решает, что будет презентовано. Они смотрят на какие-то формальные вещи, ссылки на литературу и автора публикации. Как я понял из кулуарных бесед, практикам сюда пробиться крайне тяжело. У статьи должен быть хотя бы один автор с академическим опытом.

Предыдущее ограничение сильно отражается на докладах. Многие выступления сложно или невозможно применить на практике — авторы не сильно задумываются об этом. 80% выступлений заканчиваются фразой

Мы копнули этот вопрос глубже. Спустя 3 месяца исследований мы поняли, что он оказался сложнее чем мы предполагали. Наш вклад в HCI сообщество заключается в том, что мы нашли новые вопросы, на которые надо дать ответ. Надеюсь, это вдохновит исследователей заняться этим в будущем.

Получается ресерч ради ресерча. Явно не хватает какой-то практической нотки. Хорошо, чтобы есть остальные 20% докладов. В них презентуют либо сотрудники из ведущих IT-компаний, либо ученые из топовых универов, которые делают исследования по заказу индустрии. Нужно проделать большую подготовительную работу по составлению расписания, чтобы попадать только на интересные выступления.

“Конференция, прежде всего, ориентирована на академическое сообщество.”

Необычные вещи

Призывы и протесты и за равноправие/разнообразие

Я замечал намеки разного размера:

Разговоры людей.
Стикеры с призывами на специальной стене «вопросов и предложений». Мало черных/женщин/практиков/инвалидов спикеров.
Мини-протест в центре павильона... https://www.instagram.com/p/BxMy9AWF8_L/

Я, наверное, не понимаю всей внутренней кухни, но по мне это была самая «социально-благоприятная» конференция, на которой я был:

Спикеры и участники были всех возрастов, наций, полов и конфессий.
Были сурдопереводчики на некоторых докладах и ключевых кейноутах. Широкие проходы, специальные подъемники.
На конференции можно было покушать все виды еды: глютен-фри, веганская, кошерная и еще 50 видов.
Один из самых популярных тегов в научных работах этого года — Accessibility.
Во всех исследованиях всегда указывали, что у них 50-50 мужчин и женщин. В одном выступлении проскользнули числа 75-25, так спикер быстро перелистнул слайд, а из зала донесся небольшой смех.
Кругом информация об экологии и вторичном использовании материалов.

Ясно, что всегда можно сделать лучше/выше/сильнее. Непонятно, когда надо останавливаться.

Обнесли кабинет

В первый день обокрали кабинет, где проходил один из курсов. Слушатели вышли перекусить, а по возвращению остались ни с чем. Как так?))

Вкратце

Несмотря на академичность, сюда стоит ехать, чтобы реально узнать про новые подходы и словить инсайтов. Как я узнал в беседе с одним из Гуглеров, CHI одна их немногих конференций куда катаются синьоры, чтобы поучиться.

Кому стоит сюда приехать

Мастхэв для:

Исследователей — аналитики, ux-ресерчеры.
Изобретателей — ux/ui дизайнеры, проектировщики, разработчики софта/железа.
Под вопросом ценность для продуктовых менеджеров и стратегов:
- Слишком сильно углубляются в детали, много воды.
- За трендами/инсайтами можно следить более эффективно.
- Нетворкинг с отдельными спикерами/участниками будет полезен, но можно найти другие способы познакомиться.
Совсем не нужно ехать, если вы работаете на уровне операционки/тактики.

Можно попробовать похайрить народ. Думаю, будка на выставке хорошо бы конвертировала в лидов на собеседования. Много умных людей-теоретиков. В комбинации с одним практиком может получится интересная связка.

Что касается меня, то я бы вернулся на CHI еще раз. Следующий забег на Гаваях.

Как исследовать пользователей количественными методами

Sat, 08 Dec 2018 18:28:00 +0300

Ребята из QIWI позвали рассказать о количественных исследованиях пользователей. Сделал обзорный доклад и за час осветил несколько тем:

HCI — почему это науку должен изучать любой, кто создает продукты.
Где в качественных исследованиях применять математику.
Как масштабировать инсайты из интервью и опросов.
Как чисто на данных понять пользователя.
Необходимые навыки для работы.
С чего начать и что читать.

Запись доклада с QIWI Кухни.
Ссылка на Google Slides.
Список блогов по теме.

Just Noticeable Difference

Fri, 11 Aug 2017 00:00:00 +0300

Недавно узнал про “магические” 20%, на которые надо ориентироваться, чтобы улучшать продукт. Быстрый поиск через Google не дал конкретики, а запрос “JND 20%” только один раз встретился на SlideShare, где также не было ссылки на первоисточник.

Я заинтересовался вопросом и копнул интернет поглубже. Уж больно хотелось найти обоснование, которое затем можно использовать в работе.

Русская Википедия переводит это понятие как “порог различения”. В интернете хорошо ищется по сокращению JND и альтернативному названию — difference threshold.

И так, приступим…

Что это?

Термином just noticeable difference (JND) обозначают количество воздействия, которое нужно применить, чтобы человек смог заметить разницу между двумя сигналами как минимум в половине случаев.

“The Difference Threshold (or “Just Noticeable Difference”) is the minimum amount by which stimulus intensity must be changed in order to produce a noticeable variation in sensory experience.”
— Frank Schieber, Professor and Human Factors Researcher at University of South Dakota

В паре с этим понятием идет absolute threshold — количество воздействия, которое необходимо применить, чтобы заметить сигнал на минимуме. Под сигналами подразумеваются пять основных чувств человека: осязание, зрение, вкус, обоняние и слух.

Например, абсолютный трешхолд для звука будет минимальное значение громкости на магнитоле, которое человек может обнаружить.

JND — минимальное изменение громкости, которое человек сможет ощутить между уровнями громкости.

Кто придумал и как исследовали?

Изначальная теория

Эрнст Генрих Вебер — немецкий психофизиолог. В 1834 году он обнаружил, что воспринимается не абсолютный, а относительный прирост силы раздражителя.

В XIX веке много экспериментировал с чувствами и в итоге пришел к математически выраженному закону.

Для каждого из чувств были найдены константные доли, на которые необходимо изменить значение сигнала, чтобы оно было заметным. Также затем нашли и много ограничений для этого закона.

Применимость в бизесе: оффлайн

Вебер доказал применимость своей теории для физический ощущений. В середине XX века группа ученых решила исследовать применимость этого же принципа для психологических воздействий. Исследователи экспериментировали с:

размером вознаграждения в зависимости от квалификации работника
размером скидки для покупателей в магазинах
ценообразованием на новую и старую модель одного и того же автомобиля

Они пришли к такому выводу:

20% — это порог различения в вопросе ценообразования и качества

Важно понимать, что эти результаты основаны на результатах наблюдения и интервью, поэтому они основаны на субъективных ощущениях наблюдателей и респондентов. Исследователи минимизировали погрешности и вывели среднее значение, но это не означает, что оно работает для всех и всегда.

Применимость в бизнесе: онлайн

С конца 90-х и в начале 00-х разродилась целая гора книг и исследований о применимости этих знаний в маркетинге, в т.ч. онлайн. Самая популярная книга, которая упоминается чуть ли не везде — Consumer Behaviour за авторством Leon G. Schiffman и Joseph Wisenblit. В ней рассказывают про маркетинговые трюки с вниманием и ценообразованием. Все это приправлено ссылками на исследования и солидным опытом авторов.

В 2014 году вышла статья, где JND рассматривается в разрезе применимости к социальным группам: Rethinking the Concept of Just Noticeable Difference in Online Marketing. Автор сделал симулятор, где сравнивал “разреженные” и “плотные” соц.группы. Можно провести аналогию — рабочий коллектив из 3—5 человек = “разреженная” группа. Фейсбук с 1000 друзей — “плотная”.

В “разреженных” группах изменение, которое не пересекло средний порог различения вероятнее всего останется незаметным. Знание не распространится внутри группы. В “плотных” группах, если кто-то один заметит, то все остальные рано или поздно об этом узнают, как бы это не скрывали хитрые маркетологи.

Если вы работаете с изменениями, которые пересекают средний JND (допустим вы сделали анонс чего-то нового), то меняется только скорость распространения информации. Но даже значительные изменения могут остаться незамечиными в маленькой соц.группе.

Как использовать при разработке продукта и бизнесе?

Позитивные изменения

Делаете рефакторинг и оптимизируете скорость загрузки приложения? Убедитесь, что ваши пользователи заметят прирост как минимум на 20% и смело пишите об этом в описании обновления.
Сокращаете количество действий для определенного юзкейса на сайте? 9 вместо 10 — плохо. 7—8 вместо 10 — хорошо.
Планируете дать скидку на товар? 20% простимулируют к покупке.

Негативные изменения

Повышаете цену? Делаете это по 5—10%, чтобы не пересечь JND.
Use Case: Как не надо уменьшать размер шоколадки.

Запомнить

20% — это среднее значение для индивидуального восприятия. Верно не всегда и не везде.
Постарайтесь сами “прощупать” JND для своей аудитории (например, A/B тестами)
В соц.сети незначительные изменения рано или поздно заметят все.
Даже крупное событие может быть незаметно в маленьких коллективах.

Статья впервые была опубликована в старом блоге по ссылке https://www.martsen.me/blog/jnd

Product × Science: заметки с тегом HCI

Готовность делегировать цифровому ассистенту

Ключевые тезисы и рекомендации

Ссылки

Намерения пользователей и как это проявляется в поведении

Кейс: находим драйверы роста в социалке при помощи ML и поднимаем ретеншн

Исследования на стыке HCI и ML

Human-Centered AI

Гид по UX-метрикам

Что такое «метрика»?

Свойства хорошей метрики

Метрики в UX

User Experience vs. User Centric

Популярные UX-метрики

System Usability Scale (SUS)

Single Ease Question (SEQ)

Usability Metric for User Experience (UMUX)

Customer Satisfaction Score (CSAT)

Single Usability Metric (SUM)

Net Promoter Score (NPS)

Примеры, когда NPS подходит и не подходит как UX-метрика.

Другие метрики

Фреймворки и подходы

Главные Концепции

Запомнить

Баланс ролей — ключ к росту социальной системы

CHI — конференция для инноваторов

Что это?

Что там показывают?

Из минусов

Необычные вещи

Вкратце

Как исследовать пользователей количественными методами

Just Noticeable Difference

Что это?

Кто придумал и как исследовали?

Как использовать при разработке продукта и бизнесе?

Запомнить