{
    "version": "https:\/\/jsonfeed.org\/version\/1.1",
    "title": "Product × Science: заметки с тегом Исследования",
    "_rss_description": "В этих текстах я ссылаюсь на существующие научные работы, где можно детально почитать методологию изучения вопроса",
    "_rss_language": "ru",
    "_itunes_email": "martsen.anton@yandex.ru",
    "_itunes_categories_xml": "",
    "_itunes_image": "https:\/\/pxs.md\/pictures\/userpic\/userpic-square@2x.jpg?1768130329",
    "_itunes_explicit": "no",
    "home_page_url": "https:\/\/pxs.md\/tags\/research\/",
    "feed_url": "https:\/\/pxs.md\/tags\/research\/json\/",
    "icon": "https:\/\/pxs.md\/pictures\/userpic\/userpic@2x.jpg?1768130329",
    "authors": [
        {
            "name": "Антон Марцен",
            "url": "https:\/\/pxs.md\/",
            "avatar": "https:\/\/pxs.md\/pictures\/userpic\/userpic@2x.jpg?1768130329"
        }
    ],
    "items": [
        {
            "id": "24",
            "url": "https:\/\/pxs.md\/all\/willingness-to-delegate\/",
            "title": "Готовность делегировать цифровому ассистенту",
            "content_html": "<p>В <a href=\"https:\/\/pxs.md\/all\/ux-metrics-guide\/\">гиде по UX-метрикам<\/a> я писал, что показателей много, но есть ограниченный набор сущностей, которые интересны для замера с точки зрения дизайна и продукта. Похоже, с развитием ИИ-помощников на сцену выходит новая концепция — готовность человека делегировать выполнение и\/или принятие решений цифровому ассистенту.<\/p>\n<p>В работе <a href=\"https:\/\/dl.acm.org\/doi\/10.1145\/3544549.3585763\">Expectation vs Reality in Users’ Willingness to Delegate to Digital Assistants<\/a> создается модель «готовности делегировать»: определены основные «переменные» и причинно-следственные связи.<\/p>\n<p><i>Исследование опубликовано в начале 2023г, поэтому часть тезисов выглядят банальными, а рекомендации устаревшими, но все еще злободневно даже три года спустя.<\/i><\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/willingness-to-delegate-concept.png\" width=\"2160\" height=\"1215\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Теоретическая модель на основе изученной литературы<\/div>\n<\/div>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/conceptial-model-of-willingness-to-delegate.png\" width=\"2160\" height=\"1215\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Модель на основе проведенного исследования и применения математического аппарата<\/div>\n<\/div>\n<h2>Ключевые тезисы и рекомендации<\/h2>\n<p><b>Завышенные ожидания пользователей от ассистентов<\/b><\/p>\n<ol start=\"1\">\n<li>Чем проще работа с ассистентом, тем выше желание делегировать ему задачу (или как минимум попробовать)<\/li>\n<li>При этом, чем больше человек пробовал работать с агентами, тем меньше желание делегировать (видимо, столкнулся с негативным опытом и понял ограничения)<\/li>\n<\/ol>\n<p>Выводы отсюда очевидные: работать над качеством, менеджить ожидания, более сдержанно давать обещания<\/p>\n<p><b>Процесс работы ассистентов не прозрачен, а контроля практически нет<\/b><\/p>\n<p>Чем важнее задача, тем меньше желание делегировать. Так как нет доверия к системе, то и делегировать «субъективно рисковые» задачи не хочется. Даже если пользователь думает, что агент мог бы быть полезен.<\/p>\n<p>Чтобы повысить шанс допуска агентов к более сложным задачам со стороны юзера, нужно:<\/p>\n<ol start=\"1\">\n<li>Определить сценарии, где людям нужен больший контроль.<\/li>\n<li>Бить критичные задачи на подзадачи, объяснять что будет сделано, дать контроль порядком шагов и их наполнением<\/li>\n<\/ol>\n<p><b>Полезность ассистентов возрастает, когда человеку сложно выполнить задачу, но при этом увеличивается и субъективная сложность работы<\/b><\/p>\n<ol start=\"1\">\n<li>Используйте ситуации, в которых пользователям сложно выполнить задачу без посторонней помощи, например, когда у них заняты руки или они не видят экран, чтобы продемонстрировать преимущества помощника.<\/li>\n<li>Сделайте взаимодействие в таких ситуациях ещё проще<\/li>\n<\/ol>\n<p><b>Частотность сценариев работы ассистента не связана с субъективной полезностью, но повышает доверие к системе<\/b><\/p>\n<p>Например, пользователи не доверяют ИИ в вопросах, связанных со страховыми случаями, хотя в этом случае ассистенты кажутся полезными. Пользователи доверяют роботам в вопросах информации о погоде, но это не самый полезный сценарий.<br \/>\nСортировать беклог только по частотности сценария выглядит не самым разумным подходом.<\/p>\n<h2>Ссылки<\/h2>\n<ol start=\"1\">\n<li><a href=\"https:\/\/youtu.be\/Lgk2bBXRnsQ?si=vEA8_ciN9BwEChSu\">Краткая видео-презентация<\/a> и <a href=\"https:\/\/drive.google.com\/file\/d\/1DO2d0PtnxUbZougAK8U8JSkgMwlcqnia\/view?usp=drive_link\">слайды<\/a><\/li>\n<li><a href=\"https:\/\/dl.acm.org\/doi\/10.1145\/3544549.3585763\">Научная работа<\/a><\/li>\n<li><a href=\"https:\/\/sea94.github.io\/\">Сайт автора работы<\/a><\/li>\n<\/ol>\n",
            "date_published": "2026-01-19T10:31:58+03:00",
            "date_modified": "2026-01-19T12:31:06+03:00",
            "tags": [
                "HCI",
                "ИИ",
                "Исследования"
            ],
            "image": "https:\/\/pxs.md\/pictures\/willingness-to-delegate-concept.png",
            "_date_published_rfc2822": "Mon, 19 Jan 2026 10:31:58 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "24",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/pxs.md\/pictures\/willingness-to-delegate-concept.png",
                    "https:\/\/pxs.md\/pictures\/conceptial-model-of-willingness-to-delegate.png"
                ]
            }
        },
        {
            "id": "20",
            "url": "https:\/\/pxs.md\/all\/research-news-filter-bubble\/",
            "title": "Пользователи чаще ищут немейнстримные новости, если видят «линию партии»",
            "content_html": "<p>Вот что нам говорит свежая <a href=\"https:\/\/www.nature.com\/articles\/s41586-023-06078-5)\">заметка из журнала Nature<\/a>:<\/p>\n<blockquote>\n<p>People, not search-engine algorithms, choose unreliable or partisan news. Analysis of people’s web searches & visited websites suggests that it is more likely that they are choosing to engage with partisan or unreliable news than that they are being unduly exposed to it by search-engine algorithms.<\/p>\n<\/blockquote>\n<p><b>So What?<\/b><br \/>\nСтоит задуматься: а так ли силен эффект «пузыря фильтров» в новостных рекомендациях?<\/p>\n<p><i>Полный текст научной работы: <a href=\"https:\/\/disk.yandex.ru\/i\/8TPqnw-qPPdiMA\">Users choose to engage with more partisan news than they are exposed to on Google Search<\/a>.<\/i><\/p>\n",
            "date_published": "2023-07-03T00:00:00+03:00",
            "date_modified": "2026-01-12T23:43:06+03:00",
            "tags": [
                "Исследования",
                "Персонализация"
            ],
            "_date_published_rfc2822": "Mon, 03 Jul 2023 00:00:00 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "20",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": []
            }
        },
        {
            "id": "14",
            "url": "https:\/\/pxs.md\/all\/recsys-in-different-cultures\/",
            "title": "Рекомендации в разных странах и культурах",
            "content_html": "<p>Информация воспринимается и интерпретируется человекам исходя из убеждений, ценностей и поведения. Эти характеристики формируются в личности под влиянием культуры в которой она растет и развивается.<\/p>\n<blockquote>\n<p>Культура — это коллективное программирование сознания, которое отличает членов одной группы или типа людей от других<br \/>\n<i>Герт Хофстеде, нидерландский социолог<\/i><\/p>\n<\/blockquote>\n<p>Исследователи находят корреляции в восприятии информации в зависимости от страны и культуры. Вот несколько исследований в контексте рекомендаций:<\/p>\n<ul>\n<li><a href=\"https:\/\/disk.yandex.ru\/i\/bODu2E71IbqU5g\">Exploring Music Diversity Needs Across Countries<\/a><\/li>\n<li><a href=\"https:\/\/disk.yandex.ru\/i\/xUIkg6ZSvDrtcg\">Personalization to New Website Users: The Role of Trust and Culture<\/a><\/li>\n<li><a href=\"https:\/\/disk.yandex.ru\/i\/vi5PmAWsN0dFAQ\">The Personalization-Privacy Paradox Explored Through a Privacy Calculus Model and Hofstede’s Model of Cultural Dimensions<\/a><\/li>\n<\/ul>\n<p><b>So What?<\/b><br \/>\nИзучение культурных особенностей поможет выдвинуть гипотезы для проверок. Например, можно решить вопросы онбординга в приложении и проблему холодного старта в алгоритмах рекомендаций.<br \/>\nНе стоит пренебрегать индивидуальными характеристиками человека. Это более важный фактор, с который нужно брать с бОльшим весом.<\/p>\n",
            "date_published": "2023-06-03T11:58:00+03:00",
            "date_modified": "2026-01-12T10:08:18+03:00",
            "tags": [
                "Исследования",
                "Культура",
                "Персонализация"
            ],
            "_date_published_rfc2822": "Sat, 03 Jun 2023 11:58:00 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "14",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": []
            }
        },
        {
            "id": "7",
            "url": "https:\/\/pxs.md\/all\/user-intents-and-behaviour\/",
            "title": "Намерения пользователей и как это проявляется в поведении",
            "content_html": "<p>Развитие систем рекомендаций — это основная тема, с которой я работаю последние полгода. Топик горячий, вопросов много, а детальных кейсов, на которых можно учиться, очень мало.<br \/>\nТем ценнее читать хорошие примеры из индустрии. <a href=\"https:\/\/research.atspotify.com\/user-intents-and-satisfaction-with-slate-recommendations\/\">Вот свежий от Spotify<\/a>.<\/p>\n<p>Краткий пересказ:<\/p>\n<ol start=\"1\">\n<li>Spotify хотят сделать более крутые рекомендации. Оно и логично. Рекомендации — это фишка их продукта, которая напрямую влияет на бизнес-метрики (в это статье об это упоминается взколь, но про это они писали в других материалах).<\/li>\n<li>Осталось только понять, а что такое «круто» и как его увеличивать.<\/li>\n<li>Из других исследований и лучших дизайн\/продуктовых практик известно, что за каждым пользовательским взаимодействием с системой стоит какая-то цель или потребность.<\/li>\n<li>Гипотеза — если научиться учитывать потребности в движке рекомендаций, то это увеличит целевые бизнес-метрик и даст понимание, на какие прокси-метрики следует ориентироваться при улучшении движка.<\/li>\n<li>Инициировали цепочку исследований, чтобы вытащить список задач. Тут использовали как количественные, так и качественные методы — десятки интервью и опросы на сотни тысяч пользователей.<\/li>\n<li>Нашли 8 потребностей. Т. к. была связка ответов пользователей с их поведением в продукте, то смогли наложить разные метрики на сессии и понять по каким метриках можно определять их тип. Ну и какие интеракции имеют значение для каждой потребности.<\/li>\n<li>Т. к. научились находить тип сессии на данных, то это уже можно использовать как параметр при моделировании.<\/li>\n<li>Построили несколько моделей, прогнали через оффлайн симуляторы и онлайн АБ-тесты. Получили аплифты.<\/li>\n<\/ol>\n<p>Вот так вот сложно. Думаю, это заняло суммарно не менее 6 месяцев. Но эту сложность можно понять — они улучшают зрелый продукт, который и так один из топов на рынке. Низковисящие фрукты уже давно сорваны. Остались сложные проблемы. И вот тут на помощь и приходят продвинутые методы исследований и аналитики.<\/p>\n<p><b>Исследование<\/b>: <a href=\"https:\/\/dl.acm.org\/doi\/fullHtml\/10.1145\/3308558.3313613\">https:\/\/dl.acm.org\/doi\/fullHtml\/10.1145\/3308558.3313613<\/a><br \/>\n<b>Интересные скриншоты<\/b><\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/www19-220-fig2.jpg\" width=\"1272\" height=\"760\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Распределение пользовательских интентов<\/div>\n<\/div>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/www19-220-fig3.jpg\" width=\"1360\" height=\"752\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Взаимосвязь поведенческих факторов и интентов<\/div>\n<\/div>\n",
            "date_published": "2021-06-28T12:31:00+03:00",
            "date_modified": "2026-01-12T17:38:14+03:00",
            "tags": [
                "HCI",
                "Исследования",
                "Персонализация",
                "Практический пример"
            ],
            "image": "https:\/\/pxs.md\/pictures\/www19-220-fig2.jpg",
            "_date_published_rfc2822": "Mon, 28 Jun 2021 12:31:00 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "7",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/pxs.md\/pictures\/www19-220-fig2.jpg",
                    "https:\/\/pxs.md\/pictures\/www19-220-fig3.jpg"
                ]
            }
        },
        {
            "id": "48",
            "url": "https:\/\/pxs.md\/all\/hci-and-ml\/",
            "title": "Исследования на стыке HCI и ML",
            "content_html": "<p>Анализ научных работ на стыке Human-Computer Interaction и Machine Learning, 2018 год. Источник: <a href=\"https:\/\/dl.acm.org\/doi\/10.1145\/3173574.3173704\">Mapping Machine Learning Advances from HCI Research to Reveal Starting Places for Design Innovation<\/a><\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.22.02.jpeg\" width=\"850\" height=\"391\" alt=\"\" \/>\n<\/div>\n<p>Списочек уж больно совпадает с моим видением того, какие подходы будут чаще использоваться в продуктовой аналитике в ближайшие 5 лет.<\/p>\n<p>User Modeling я давно уже постепенно изучаю и прокачиваю. Про это мало пишут и то только в академическом сообществе. Если вам тоже интересно, то присмотритесь к «соседним» областям с картинки. Почти все они относятся к разработке ML-продуктов, но под капотом используются похожий стек технологий, что и для User Modeling. Поэтому можно начинать прокачивать скилы по имеющейся литературе.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.26.16.jpeg\" width=\"1280\" height=\"645\" alt=\"\" \/>\n<\/div>\n<p>Чтобы ML пошел в массы, надо обучить дизайнеров его возможностям. Авторы приводят интересный аналог: художники и скульпторы перед созданием произведения искусства изучают материалы, их свойства и возможности. Поняв “ML-материал”, дизайнер сможет придумать неочевидные применения и создавать новые продукты. Пока что дизайнеры еще только изучают новое “сырье”.<\/p>\n<p>В статье обозначены точки, в которых технологии (“материал”) уже есть, но устоявшихся UX-практик нет. В этих областях можно ожидать появление новых подходов и инструментов.<\/p>\n<p>​​Попутно с изучение перспективных направлений, были найдены те области, где уже есть удачные примеры продуктов. Авторы выделили четыре вида ценности, которые ML может дать юзерам.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.27.08.jpeg\" width=\"1175\" height=\"374\" alt=\"\" \/>\n<\/div>\n<p><b>1. Прогнозы и выводы о пользователе<\/b><br \/>\nАлгоритмы, которые изучают поведение человека и “подстраивают” продукт под него. Примеры:<br \/>\nа) практически любые продукты, где-то что-то рекомендуют: музыка, фильмы, товары<br \/>\nб) цифровые персональные ассистенты<\/p>\n<p><b>2. Прогнозы и выводы об окружающей среде<\/b><br \/>\nАлгоритмы, которые используют информацию о мире и адаптируют его под человека или группу людей.<br \/>\nПримеры:<br \/>\nа) умный дом \/ умный город<br \/>\nб) зная медицинские показания пациента и текущий ход операции, ML может помогать хирургу принимать решения.<\/p>\n<p><b>3. Советы как сделать что-то оптимальным путем<\/b><br \/>\nАлгоритм может посоветовать объективно оптимальный путь решения задачи. Пример: навигатор строит маршрут до точки назначения.<\/p>\n<p><b>4. Автоматизация рутины и новые возможности<\/b><br \/>\nML-продукты позволяют экономить время пользователя упрощая или вообще убирая шаги из сценариев использования.  Пример: новостной алгоритм, который фильтрует“воду” в информационном окружении и показывать только суть и новые факты.<\/p>\n<p>Держим эти ценности в голове, когда собираемся придумать новый продукт на основе ML.<\/p>\n",
            "date_published": "2019-12-30T01:00:00+03:00",
            "date_modified": "2026-01-18T00:28:00+03:00",
            "tags": [
                "HCI",
                "ML",
                "Исследования"
            ],
            "image": "https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.22.02.jpeg",
            "_date_published_rfc2822": "Mon, 30 Dec 2019 01:00:00 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "48",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.22.02.jpeg",
                    "https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.26.16.jpeg",
                    "https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.27.08.jpeg"
                ]
            }
        },
        {
            "id": "17",
            "url": "https:\/\/pxs.md\/all\/ux-metrics-guide\/",
            "title": "Гид по UX-метрикам",
            "content_html": "<h2>Что такое «метрика»?<\/h2>\n<p>Это число, которое характеризует какое-либо из свойств наблюдаемого процесса. <b>Процессы в реальной жизни очень сложные <\/b>и для глубокого понимания обычно используется набор метрик. Они смотрят на процесс с разных углов.<\/p>\n<p><b>Метрики помогают собирать обратную связь<\/b> с наблюдаемого явления. На основе обратной связи идет корректировка дальнейших действий. Термин «обратная связь» изначально появился в механике и инженерии. Постепенно он стал использоваться в менеджменте, клиентском сервисе и разработке продуктов.<\/p>\n<p><b>Вот как описывают фидбек на «общем уровне»<\/b><\/p>\n<blockquote>\n<p>Feedback is as a generic method of controlling a system by using past results to affect future performance. Approaches which keep a system operating within tight parameters, demonstrate negative feedback. That’s not pessimistic or bad feedback, but feedback that prompts the system to maintain control. Negative feedback is actually good feedback because it yields greater efficiency and performance. Positive feedback, by contrast, causes the system to keep going, unchecked. Like a thermostat that registers the room as too warm and cranks up the furnace, it’s generally meant to be avoided.<\/p>\n<\/blockquote>\n<p class=\"loud\">“Negative feedback is actually good feedback because it yields greater efficiency and performance.” — James Watt, Scottish inventor & mechanical engineer.<\/p>\n<p>Число в вакууме не несет смысла. Для получения пользы от метрики мы должны сравнить ее с другим показателем. Примеры:<\/p>\n<ol start=\"1\">\n<li><b>сравнивая свои показатели со стандартами (бенчмарками) индустрии<\/b>, можно понять наше положение на рынке.<\/li>\n<li><b>отслеживая показатели во времени<\/b>, можно понять как развивается наша компания относительно «прошлой» себя.<\/li>\n<\/ol>\n<h2>Свойства хорошей метрики<\/h2>\n<ol start=\"1\">\n<li><b>Консистентность<\/b> (воспроизводимость) результатов (англ. reliability) — если повторить исследование\/эксперимент, то мы получим те же числа.<\/li>\n<li><b>Валидность<\/b> (англ. validity) — мы уверены, что метрика измеряет именно то, что мы хотим замерить.<\/li>\n<li><b>Чувствительность<\/b> (англ. sensitivity) — метрика хорошо реагирует на изменения.<\/li>\n<\/ol>\n<p>Если метрика не удовлетворяет этим критериям, то мы получаем неверную обратную связь на наши действия от окружающей среды.<\/p>\n<h2>Метрики в UX<\/h2>\n<p>Измерение в UX — это количественная оценка наблюдений и мнений пользователей. Они помогают снизить неопределённость относительно того, насколько удобно пользоваться продуктом на самом деле.<\/p>\n<p>UX-метрики оценивают качество взаимодействия человека с интерфейсом при выполнении определенной задачи. Понятие «задачи» многогранно, обычно выделяют три уровня. Естественно, границы уровней размыты. Разберем на примере поискового продукта:<\/p>\n<ul>\n<li><b>Макро<\/b> — найти нужную информацию в поисковике.<\/li>\n<li><b>Мезо<\/b> — прочитать результаты выдачи, переформулировать вопрос.<\/li>\n<li><b>Микро<\/b> — ввод запроса, построчное сканирование текста в ответе.<\/li>\n<\/ul>\n<p>Альтернативная классификация:<\/p>\n<ol start=\"1\">\n<li>микро- и мезо-уровни еще иногда называют <b>юзабилити-метриками<\/b>.<\/li>\n<li>макро-уровень иногда называют <b>Customer Experience (CX-метрики)<\/b>. Такие метрики можно использовать на уровне всего продукта или бизнеса.<\/li>\n<\/ol>\n<h2>User Experience vs. User Centric<\/h2>\n<p>Эти понятия легко спутать. UX-метрики это подмножество User Centric метрик. Но не все User Centric метрики являются UX.<\/p>\n<p>Примеры User Centric показателей, которые не являются UX-метриками:<\/p>\n<ol start=\"1\">\n<li>User-Level LTV — показывает сколько мы заработаем с определенного пользователя безотносительно используемого продукта\/услуги.<\/li>\n<li>Количество сессий на человека — показывает активность человека в продукте, но ничего не говорит про «качество» это взаимодействия.<\/li>\n<li>Средняя скорость загрузки страницы на человека — замеряет техническое свойство продукта, но не говорит о том, как пользователь это воспринимает.<\/li>\n<li>NPS — замеряет лояльность потребителей к бизнесу, но не говорит о качестве реализации конкретной задачи или сценария.<\/li>\n<\/ol>\n<p>Эти метрики также отталкиваются от человека, но абстрагируются от интерфейса и\/или задачи, а работают уровне продукта или бизнеса. Это не означает, что UX-специалисты не используют их в работе. Такие метрики являются хорошим мостиком между дизайном, продуктом и бизнесом.<\/p>\n<p>Списки User Centric метрик<\/p>\n<ul>\n<li><a href=\"https:\/\/boxesandarrows.com\/monitoring-user-experience-through-product-usage-metrics\/\">Monitoring User Experience Through Product Usage Metrics<\/a><\/li>\n<li><a href=\"https:\/\/web.dev\/articles\/user-centric-performance-metrics\">User-centric Performance Metrics<\/a><\/li>\n<\/ul>\n<h2>Популярные UX-метрики<\/h2>\n<p>В конце 80-х начался период компьютеризации бизнеса и многие компании хотели понять, стоит ли вообще в это вкладываться. Тогда и пошел «заказ» от корпораций в университеты и другие исследовательские организации на разработку методологий оценки эффекта он внедрения IT.<\/p>\n<p>Ученые использовали имеющийся аппарат из психологии, социологии, эргономики, экономики и других наук, чтобы придумать индикаторы, которые удовлетворяют «свойствам хорошей метрики» (смотри начало статьи).<\/p>\n<p>Вот что входит в «джентльменский набор»...<\/p>\n<h2>System Usability Scale (SUS)<\/h2>\n<p>Самый известный и, наверное, старый способ измерения удовлетворения от интерфейса — это опросник System Usability Scale (SUS).<\/p>\n<p>После работы в системе, респондент проходит опрос из 10 вопросов. По определенной формуле считается показатель, который лежит в диапазоне от 1 до 100. Он характеризует сложность интерфейса:<\/p>\n<ul>\n<li>1 — непонятно, от слова «совсем»<\/li>\n<li>100 — «божественный» UX<\/li>\n<\/ul>\n<p>Количество вопросов — это главная проблема, которая не позволяет собирать SUS с неподготовленной аудитории. Поэтому, в основном, его замеряют на юзабилити-тестированиях. На практике <a href=\"https:\/\/measuringu.com\/nps-sus\/\">была доказана сила связи между SUS и индексом лояльности к компании.<\/a><\/p>\n<h2>Single Ease Question (SEQ)<\/h2>\n<p>После совершения целевого действия, пользователя можно спросить вот такой вопрос:<\/p>\n<p>seq-high-res.jpg<\/p>\n<p><a href=\"https:\/\/measuringu.com\/seq-prediction\/\">Доказано, что более легкие задачи делаются быстрее<\/a> и бОльшее количество человек их заканчивает, т. е. выше конверсия.<\/p>\n<p>Концепция «простоты использования» используется во многих других метриках. Например, за метрикой Customer Effort Score стоит простая идея, что чем проще пользоваться продуктом или услугой тем более лояльными будут клиенты. Но мне удалось найти какие-либо подтверждения на этот счет (хотя мысль логичная).<\/p>\n<p>Также, между одним вопросом про «простоту использования» с огромным SUS <a href=\"https:\/\/measuringu.com\/single-item-sus\/\">есть корреляция 90%<\/a>. Это еще один «плюсик в карму» для этой метрики.<\/p>\n<p>Достоинство этой метрики в том, что ее можно замерять online, т. к. конверсия в ответ будет высокой. Если в продукте есть четкая воронка, то можно собирать оценки в конце пути.<\/p>\n<h2>Usability Metric for User Experience (UMUX)<\/h2>\n<p>Эта метрика разработана в качестве альтернативы SUS. Акцент делается на измерении двух свойств продукта: <b>функциональность и простота<\/b>.<\/p>\n<p>В UMUX четыре вопроса, а в усовершенствованной версии UMUX-Lite их два:<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/umux-lite-questions.gif\" width=\"574\" height=\"140\" alt=\"\" \/>\n<\/div>\n<p>Доказано, что <a href=\"https:\/\/measuringu.com\/umux-lite\/\">UMUX-Lite может заменять SUS и при этом не терять в точности оценки<\/a>. Два вопроса проще «уместить» в интерфейс продукта и начать спрашивать online, чем пользуются продуктовые компании.<\/p>\n<p><b>Пример из жизни<\/b>: <a href=\"https:\/\/pxs.md\/all\/product-research-atlassian\/\">как исследуют пользователей, расставляют приоритеты и снимают метрики в Atlassian<\/a>.<\/p>\n<h2>Customer Satisfaction Score (CSAT)<\/h2>\n<p><b>Удовлетворенность<\/b> — еще одна концепция в мире User Experience. Это популярная метрика, которую обычно спрашивают после завершения какого-либо сценария. Самый популярный вариант — после обращения в техническую поддержку.<\/p>\n<p class=\"loud\">How would you rate your overall satisfaction with the [goods\/service] you received?<\/p>\n<p>Но есть примеры, когда CSAT измеряется уровне всего продукта или компании. American Customer Satisfaction Index уже больше 20 лет каждый год опрашивает сотни тысяч американцев на предмет удовлетворенностью продуктами или услугами компаний из разных сфер и индустрий.<\/p>\n<p>Интересно, что между CSAT компании и ее финансовыми показателями имеется хорошая связь. Историю и бенчмарки можно найти на <a href=\"https:\/\/www.theacsi.org\/acsi-benchmarks\">этом сайте<\/a>.<\/p>\n<h2>Single Usability Metric (SUM)<\/h2>\n<p>Это 6 показателей, которые по хитрой формуле превращаются в число от 1 до 100. Эти показатели включают в себя:<\/p>\n<ol start=\"1\">\n<li>Метрики на основе поведения респондентов\n<ul>\n  <li>Справился ли респондент с задачей<\/li>\n  <li>Фактически проведенное время над задачей<\/li>\n  <li>Количество ошибок<\/li>\n<\/ul>\n<\/li>\n<li>Субъективные метрики-опросы с 5-бальной шкалой для ответа:\n<ul>\n  <li>Воспринимаемое время над задачей<\/li>\n  <li>Воспринимаемая сложность<\/li>\n  <li>Удовлетворенность (тот же самый CSAT)<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<p>По задумке авторов, эта комбо-метрика предоставить более взвешенный взгляд на пользовательский опыт и упростить принятие решений. Многие агентства и компании ее используют, но открыто не делятся опытом.<\/p>\n<p>К счастью, <a href=\"https:\/\/www.youtube.com\/watch?v=WQSJi95wEOk\">Microsoft поделилась своим 2.5-летним опытом<\/a> ее использования. Инсайты:<\/p>\n<p>Шкала от 1 до 100 непонятна стейкхолдерам. Где отсечка, после которой «все хорошо?»<\/p>\n<p>Фактическое и воспринимаемое время над задачей не всегда коррелируют. Люди иногда отвлекаются или просто «тупят», но при этом считают, что с задачей справляются быстро. Время — это шумная метрика.<\/p>\n<p>Количество ошибок на практике заранее неизвестно наперед. Поэтому с точки зрения метрики это просто шум.<\/p>\n<h2>Net Promoter Score (NPS)<\/h2>\n<p>Очень популярная метрика лояльности потребителя к бренду или услуге. Поэтому остановимся на ней подробнее.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/nps-sceme.png\" width=\"1500\" height=\"568\" alt=\"\" \/>\n<\/div>\n<p>У этой метрики есть «набирающий популярность брат» Actual NPS (aNPS), который пытается устранить одну из ошибок NPS — спрашивать про мнение и будущее.<\/p>\n<p>Но это не самая главная беда этой метрики в контексте измерения UX. Бренд «собирает» под собой не только продукт с его дизайном, но и работу поддержки\/отдела продаж и новости о бренде.<\/p>\n<p class=\"loud\">Слишком много факторов влияет на NPS.<\/p>\n<p>На практике мы получаем слабую чувствительность к UX-изменениям. Сторонними исследователя установлено, что «вклад» UX в NPS составляет не более 66%.<\/p>\n<p>Но есть ситуации, когда NPS можно использовать как UX-метрику:<\/p>\n<ol start=\"1\">\n<li>Если респондент не знает, продукт какого бренда он тестирует \/ использует.<\/li>\n<li>Если весь продукт держится только на одной макро-задаче и можно пренебречь влиянием других факторов<\/li>\n<\/ol>\n<h3>Примеры, когда NPS подходит и не подходит как UX-метрика.<\/h3>\n<ul>\n<li><i>Порекомендуете ли вы AdBlock друзьям или коллегам?<\/i>\n<ul>\n  <li><b>ОК<\/b>, т. к. основной сценарий в AdBlock — это блокировка рекламы на сайтах. Однозначная ассоциация.<\/li>\n<\/ul>\n<\/li>\n<li><i>Порекомендуете ли вы Wrike друзьям или коллегам?<\/i>\n<ul>\n  <li><b>НеОК<\/b>\n<ul>\n    <li>Wrike это продукт с множеством макро-задач внутри: планирование проектов, управление ресурсами, хранилище документации. Как понять, UX какого сценария дает больший вклад?<\/li>\n    <li>Wrike используется для управления проектами и людьми. Есть люди, которые просто не любят работать, поэтому будут ставить плохие оценки в NPS даже если продукт будет идеален.<\/li>\n    <li>Wrike это b2b-компания, в которой «продуктом» является не только сайт, но и поддержка, обучающие материалы и размер скидки, который может дать отдел продаж.<\/li>\n    <li>Основные покупатели Wrike — топ-менеджеры. Рядовые сотрудники могут просто не иметь знакомых топ-менеджеров, которые ищут систему управления проектами. Некому рекомендовать.<\/li>\n    <li>Некоторые люди «оставляют работу на работе» и не рекомендуют друзьям рабочие инструменты. А все коллеги и так уже пользуются этой системой.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>Некоторые компании пытаются «уточнять» NPS и спрашивать про конкретный опыт в продукте. <b>Но это тогда уже не NPS, а что-то другое<\/b>. Примеры:<\/p>\n<ul>\n<li>С какой вероятностью вы порекомендуете продавать товары на Авито друзьям или коллегам?<\/li>\n<li>Порекомендуете ли вы слушать музыку в Spotify друзьям или коллегам?<\/li>\n<\/ul>\n<h2>Другие метрики<\/h2>\n<p>Существует еще большое количество UX-метрик. Какие-то требуют покупки лицензий, а какие-то используются в узкоспециализированных областях:<\/p>\n<ul>\n<li><a href=\"https:\/\/ai.google\/research\/pubs\/pub43967\/\">Language Quality Survey (LQS<\/a>) — метрика качества локализации<\/li>\n<li><a href=\"https:\/\/measuringu.com\/lostness\/\">Lostness<\/a> — метрика качества навигации в продукте<\/li>\n<li>SUPR-Q, <a href=\"https:\/\/www.userzoom.com\/blog\/one-ux-metric-to-measure-the-world-introducing-userzooms-single-score-for-experience-benchmarking\/\">qxScore<\/a>, User Experience Questionnaire (UEQ) и AttrakDiff — опроссники, которые продвигают идею единого числа в UX для всего и вся.<\/li>\n<li>И еще сотни других метрик...<\/li>\n<\/ul>\n<h2>Фреймворки и подходы<\/h2>\n<p>Метрик много, но не всегда понятно какую использовать под вашу задачу. <a href=\"https:\/\/research.google\/pubs\/measuring-the-user-experience-on-a-large-scale-user-centered-metrics-for-web-applications\/\">Google в 2010 году опубликовала научную работу по HEART<\/a> — подход, который помогает выбрать метрику для измерения пользовательского опыта под разными углами. Фреймворк был опробован на 20 проектах внутри Google, а затем пошел “во вне” компании.<\/p>\n<p class=\"loud\">HEART комбинирует мнения пользователей через опросы и поведенческие продуктовые метрики<\/p>\n<p>Tomer Sharon, бывший UX Researcher в Google и WeWork и нынешний глава по ресерчу в Goldman Sachs, расписал подробно про каждый “срез” сквозь призму своего опыта и дает <a href=\"https:\/\/medium.com\/pminsider\/16-key-experience-indicators-your-ux-needle-743f049fc2e\">примеры метрик<\/a>:<\/p>\n<ul>\n<li><a href=\"https:\/\/medium.com\/@tsharon\/measuring-user-happiness-d00c941f5365\">Happiness<\/a><\/li>\n<li><a href=\"https:\/\/medium.com\/@tsharon\/measuring-user-engagement-86d10ae24c0a\">Engagement<\/a><\/li>\n<li><a href=\"https:\/\/medium.com\/@tsharon\/measuring-user-adoption-b367eb32d619\">Adoption<\/a><\/li>\n<li><a href=\"https:\/\/medium.com\/@tsharon\/measuring-user-retention-a2f937234b99\">Retention<\/a><\/li>\n<li><a href=\"https:\/\/medium.com\/@tsharon\/measuring-task-success-6ed2ffba9eee\">Task Success<\/a><\/li>\n<\/ul>\n<p>Как и многое из Google, этот подход стал набирать популярность. <a href=\"https:\/\/uxdesign.cc\/how-to-measure-success-in-design-f63f96a0c541\">Но это не единственное, что придумало человечество.<\/a><\/p>\n<h2>Главные Концепции<\/h2>\n<p>Как можно было заметить, UX-метрики работают с разными абстракциями:<\/p>\n<ul>\n<li>Простота<\/li>\n<li>Функциональность<\/li>\n<li>Удовлетворенность<\/li>\n<li>Желание использовать в будущем \/ Лояльность<\/li>\n<li>Значимость (относительно новая концепция, которую хотят начать измерять)<\/li>\n<li><a href=\"https:\/\/www.nngroup.com\/articles\/measure-learnability\/\">Изучаемость \/ Простота обучения<\/a><\/li>\n<li><a href=\"https:\/\/pxs.md\/all\/willingness-to-delegate\/\">Готовность делегировать<\/a> (upd. от 19.01.2026)<\/li>\n<\/ul>\n<p>Есть две модели, которые пытаются расположить их в иерархию и понять влияние друг на друга:<\/p>\n<ol start=\"1\">\n<li>American Customer Satisfaction Index (ACSI)<\/li>\n<li>Technology Acceptance Model (TAM)<\/li>\n<\/ol>\n<p>Вот неполная схема взаимосвязи метрик<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/ux-metrics-relations.png\" width=\"998\" height=\"703\" alt=\"\" \/>\n<\/div>\n<h2>Запомнить<\/h2>\n<ol start=\"1\">\n<li><b>Метрика нужна, чтобы собирать обратную связь из внешнего мира<\/b> и корректировать свои планы. Числа без привязки к контексту никому не интересны.<\/li>\n<li><b>User Experience — это очень широкая область<\/b>, поэтому и метрики в нем совершенно разные. Они могут фокусироваться на удобстве микро-взаимодействий пользователя с системой и на долгосрочных целях человека в продукте. Единого термометра не изобрели (хотя многие пытаются). Главное — <b>UX-метрики замеряют восприятие человека<\/b>.<\/li>\n<li>Сделать достоверную метрику очень сложно. <b>Изучите стандартные способы измерения пользовательского опыта<\/b>, которые используется повсеместно. Не придумывайте велосипед.<\/li>\n<li>Для систематизации работы <b>используйте HEART-фреймворк<\/b> от Google. Освоив этот инструмент, пробуйте новый или придумайте свой подход.<\/li>\n<li><b>Все измерения в UX крутятся вокруг ограниченного набора концепций<\/b>. Будут придуманы новые метрики, а концепции будут неизменны.<\/li>\n<\/ol>\n<hr \/>\n<p>Статья впервые была опубликована в старом блоге по ссылке <a href=\"https:\/\/www.martsen.me\/blog\/quantifying-the-user-experience\">https:\/\/www.martsen.me\/blog\/quantifying-the-user-experience<\/a><\/p>\n",
            "date_published": "2019-10-25T01:00:00+03:00",
            "date_modified": "2026-01-19T11:57:48+03:00",
            "tags": [
                "HCI",
                "UX",
                "Исследования",
                "Метрики"
            ],
            "image": "https:\/\/pxs.md\/pictures\/umux-lite-questions.gif",
            "_date_published_rfc2822": "Fri, 25 Oct 2019 01:00:00 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "17",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/pxs.md\/pictures\/umux-lite-questions.gif",
                    "https:\/\/pxs.md\/pictures\/nps-sceme.png",
                    "https:\/\/pxs.md\/pictures\/ux-metrics-relations.png"
                ]
            }
        },
        {
            "id": "50",
            "url": "https:\/\/pxs.md\/all\/personal-productivity\/",
            "title": "Персональная продуктивность",
            "content_html": "<p>Вот и вновь выдалось свободное время в поездке. А это означает, что можно продолжить разбирать интересные работы с <a href=\"https:\/\/pxs.md\/all\/chi-konferenciya-dlya-innovatorov\/\">конференции CHI 2019<\/a>.<\/p>\n<h2>Что такое персональная продуктивность?<\/h2>\n<p>Есть определение продуктивности из индустриальной эры — соотношение затрат к результату.  В век информации замерить продуктивность «работников интеллектуального труда» сложнее, т. к. нет единого стандарта для результатов работы. Из-за этого сложно оценить и максимизировать эффективность.<\/p>\n<p>Чтобы приоткрыть занавесу тайны над этим вопросом, ученые из Microsoft проверили двухнедельное дневниковое исследование.  Среди участников эксперимента были разработчики, медики, менеджеры, аспиранты, юристы и профессора. Всего 24 участника, представили 11 профессий.<\/p>\n<p>Цель исследования — понять, как сами люди описывают и объясняют свою продуктивность.<br \/>\nВ AppStore целая плеяда автоматических трекеров времени и туду-листов. Но что-то пока не видно «лидера» на рынке, а люди не стали «сверх-продуктивными». Значит разработчики что-то упускают...<br \/>\nРезультаты этой работы помогут в создании более совершенных продуктов-помощников.<\/p>\n<p>Каждый участник после совершения продуктивной, по его мнению, активности, заполнял небольшой опрос:<\/p>\n<ol start=\"1\">\n<li>Время начала и длительность.<\/li>\n<li>Суть задачи (писал емейл, читал книгу и т.д).<\/li>\n<li>Личное ощущение продуктивности (например, “очень продуктивен”).<\/li>\n<li>Рациональное объяснение этого ощущения (почему?).<\/li>\n<\/ol>\n<p>24 респондента залогировали почти 800 задач, которые суммарно складывается в 1200 часов работы. И, конечно, провели интервью постфактум, чтобы уточнить непонятные моменты. Настало время систематизировать эти знания и «познать тайну бытия».<\/p>\n<p>УЧЕНЫЕ И НЕ МОГЛИ ПРЕДПОЛОЖИТЬ, ЧТО УЗНАЮТ ТАКОЕ!..<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.36.36.jpeg\" width=\"1280\" height=\"1044\" alt=\"\" \/>\n<\/div>\n<p>Исследователи нашли шесть видов продуктивности,  не все из которых вписываются в “классическое” определение из экономики.<\/p>\n<p>Человек ощущает себя продуктивным, если:<\/p>\n<ol start=\"1\">\n<li>Сделал больше, выше, качественнее или достиг “значимого” прогресса.<\/li>\n<li>Успел сделать задачу к сроку или использовал время с пользой.<\/li>\n<li>Находится на эмоциональном подъеме и сфокусирован.<\/li>\n<li>Ему нравится задача и\/или он осознает ее значимость.<\/li>\n<li>Может получить личную или долгосрочную социальную выгоду.<\/li>\n<li>Справился с авралом и кучей дел одновременно.<\/li>\n<\/ol>\n<p>Если ваш продукт нацелен на повышение продуктивности, то подумайте на досуге как можно замерить эти “состояния” у своих пользователей. Возможно, что-то из этого сатаней хорошей верхнеуровневой метрикой. Все-таки, живем в век персонализации :)<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.37.03.jpeg\" width=\"1280\" height=\"731\" alt=\"\" \/>\n<\/div>\n<p>Интересный инсайт ждал исследователей при анализе самих типов задач. Они ожидали, что большинство «продуктивных» событий будет относиться к около-рабочим темам.<\/p>\n<p class=\"loud\">15 из 24 респондентов хотя бы раз залогировали, что занятие личными делами тоже вызывают ощущение продуктивности.<\/p>\n<p>Большинство записей относились к теме здоровья, но были и вещи в стиле «посмотрел сериал на Netflix с семьей».<\/p>\n<h2>So What?<\/h2>\n<ol start=\"1\">\n<li><b>Продуктивность — это многогранное понятие.<\/b> Помимо ожидаемых “сделал больше за меньшее время”, под этим термином может пониматься и определенное эмоциональное состояние или отношение к исполняемой работе (не нравится задача = я непродуктивен).<\/li>\n<\/ol>\n<ol start=\"2\">\n<li><b>Контекст имеет значение (как и всегда, в принципе).<\/b>  Разные задачи при разных обстоятельствах требуют индивидуального подхода замера продуктивности. К сожалению, померить одной “линейкой” различные типы занятости пока не предоставляется возможным. Но в рамкам определенного домена можно что-то придумать.<\/li>\n<\/ol>\n<ol start=\"3\">\n<li>Текущие трекеры пытаются замерить нашу продуктивность только через активность на устройствах. Но <b>много чего “полезного” происходит и в оффлайне<\/b>, куда приложение на компе не имеет доступа.  Помимо сильной персонализации и гибкости, трекеры должны учитывать не только “процесс” (вы провели в Facebook 20 минут), но и “результат” (прокомментировали пост Марка Цукерберга и получили от него приглашение личную встречу). Только тогда такие продукты смогут помочь нам стать лучшей версией себя.<\/li>\n<\/ol>\n<p>Оригинал с более развернутыми примерами: <a href=\"https:\/\/www.microsoft.com\/en-us\/research\/publication\/understanding-personal-productivity-how-knowledge-workers-define-evaluate-and-reflect-on-their-productivity\/\">Understanding Personal Productivity: How Knowledge Workers Define, Evaluate, and Reflect on Their Productivity<\/a><\/p>\n",
            "date_published": "2019-08-24T01:00:00+03:00",
            "date_modified": "2026-01-18T00:41:17+03:00",
            "tags": [
                "Исследования",
                "Персонализация"
            ],
            "image": "https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.36.36.jpeg",
            "_date_published_rfc2822": "Sat, 24 Aug 2019 01:00:00 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "50",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.36.36.jpeg",
                    "https:\/\/pxs.md\/pictures\/photo_2026-01-18-00.37.03.jpeg"
                ]
            }
        },
        {
            "id": "9",
            "url": "https:\/\/pxs.md\/all\/social-balance-is-the-key-to-gworth\/",
            "title": "Баланс ролей — ключ к росту социальной системы",
            "content_html": "<p><a href=\"https:\/\/nlp.stanford.edu\/pubs\/yang2019roles.pdf\">Seekers, Providers, Welcomers, and Storytellers: Modeling Social Roles in Online Health Communities<\/a> я рекомендую прочитать тем, кто занимается продуктами с групповыми\/социальными фичами: Q&A-сервисы, ПО для коллективной работы, мультиплеерные игры, «социальный» e-commerce и т. д.<\/p>\n<p>Группа ученых из Carnegie Mellon и Stanford решила изучить феномен «успеха» крупнейшего форума по теме рака в мире — Cancer Survivor Network (CSN). Сайт существует с начала 2000-х и стал самым крупным в своем сегменте. Было много аналогичных площадок, но все рано или поздно затухали, а CSN развивается и по сей день.<\/p>\n<p>У социологов возникла гипотеза — на форуме сложилась определенная структура социальных ролей, которая обеспечивала «баланс» в сообществе и позволила ему развиваться. Осталось ее проверить на данных, которые были предоставлены American Cancer Society (а это вся переписка на сайте с 2003 по 2018 гг).<\/p>\n<p>Но для начала надо формально определить, чем является  «социальная роль» на данных. Для этого они обратились к теории. Социальная роль в науке определяется 4 факторами:<\/p>\n<ol start=\"1\">\n<li>Цель — у индивида в сообществе есть цель, которую он преследует исходя из собственных интересов.<\/li>\n<li>Взаимодействия — роль контактирует с другими участниками сообщества. На форуме эти взаимодействия проявляются по-разному: старт новой темы обсуждений, написание ответа, лайк комментария или обращение в директ.<\/li>\n<li>Ожидания — социальные роли при взаимодействии рассчитывают на определенную обратную связь. Например, на работе начальник и подчиненный знают чего ждать друг от друга и соответственно подбирают стиль общения. В онлайн-сообществах обычно нет явно формализованных ролей и только «старожилы» знают как и с кем общаться. Например, из-за этого новички на StackOverflow часто стесняют вступать в разговоры и задавать вопросы.<\/li>\n<li>Контекст — некоторые роли могут существовать только при определенных условиях. Например, «поставщик информации» существует во многих типах сообществах, включая Q&A сервисы, рабочие группы и форумы. А вот «коммитер» — это специфичная роль для сообщества разработчиков (GitHub, Bitbucket). Приватность также играет большое значение. Поведение человека на публике обычно отличается от его поведения наедине или с родными.<\/li>\n<\/ol>\n<p>Кратко про технические моменты:<\/p>\n<ol start=\"1\">\n<li>При помощи кластеризации решили определить какие вообще есть роли, т. к. «доменные эксперты» (модераторы и другие сотрудники CSN) сами до конца не могли однозначно ответить на этот вопрос. Разметки не было.<\/li>\n<li>В реальной жизни человек принадлежит к нескольким ролям одновременно. Например, на работе я одновременно «аналитик» и «спамер в slack». Чтобы учесть это, была использована Gaussian Mixture Model (GMM), которая позволяет отнести объект к нескольким группам с определенной вероятностью.<\/li>\n<li>Для «генерации фич» были использованы подходы из сетевого анализа (SNA) и обработки текста (NLP). Всего было сделано 83 признака.<\/li>\n<li>Количество кластеров — это гиперпараметр модели, которые исследователи сами могли задавать. Они пробовали находить от 2 до 20 кластеров. После «игры» с данными, количество от 10 до 15 показалось им «адекватным».<\/li>\n<\/ol>\n<p>Чтобы окончательно определиться с количеством ролей, были подключены доменные эксперты. После долгих дискуссий, пришли к оптимальному количеству кластеров — 11.<br \/>\nТем не менее, модераторы отметили, что модель не нашла один тип роли. Она редко встречается на форуме, но сильно запоминается.<br \/>\nВидимо, слишком мало подобных наблюдений было в датасете или ученые не нашли «нужные» фичи.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/photo_2026-01-12-00.42.21.jpeg\" width=\"1280\" height=\"686\" alt=\"\" \/>\n<\/div>\n<p>После этой огромной работы, они начали проверять свои гипотезы и находить другие инсайты. Кратко:<\/p>\n<ol start=\"1\">\n<li>Основная гипотеза про «баланс» ролей в сообщество подтвердилась.<\/li>\n<li>Нашли свое доказательство «на данных» несколько теорий из социологии, что также сработало как доп.фактор валидации модели.<\/li>\n<li>Нашли «путь успешного пользователя» форума, который становится костяком сообщества. Как следствие, смогли лучше понять retention\/churn.<\/li>\n<\/ol>\n<p><b>So What?<\/b><\/p>\n<ol start=\"1\">\n<li>Исследователи разработали рабочий подход к нахождению «социальных ролей». Они заявляют, что эта методология универсальна и может быть использована в других предметных областях. На работе я уже частично использовал методы из этого ресерча (привет, Алися!) и получил интересные результаты.<\/li>\n<li>Найдя роли в своих продуктах, можно будет 1) определить хорошие Health-метрики, 2) более четко формулировать и проверять продуктовые гипотезы, 3) системно развивать социальную составляющую продукта.<\/li>\n<\/ol>\n",
            "date_published": "2019-06-20T19:06:00+03:00",
            "date_modified": "2026-01-12T17:37:19+03:00",
            "tags": [
                "HCI",
                "Исследования",
                "Практический пример"
            ],
            "image": "https:\/\/pxs.md\/pictures\/photo_2026-01-12-00.42.21.jpeg",
            "_date_published_rfc2822": "Thu, 20 Jun 2019 19:06:00 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "9",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": true,
                "links_required": [],
                "og_images": [
                    "https:\/\/pxs.md\/pictures\/photo_2026-01-12-00.42.21.jpeg"
                ]
            }
        },
        {
            "id": "18",
            "url": "https:\/\/pxs.md\/all\/product-research-atlassian\/",
            "title": "Исследования, приоритеты и метрики в Atlassian",
            "content_html": "<p>Один из способов становиться лучше как профессионал — это учиться на опыте других. Особенно интересны примеры из больших компаний с налаженными процессами и топовыми специалистами. Из разных источников я попытался восстановить процесс большого редизайна Jira. Ссылки вы найдете в конце.<\/p>\n<h2>Проблема на уровне бизнеса<\/h2>\n<p>В 2016 году исследователи компании проанализировали интервью и комментарии текущих и ушедших клиентов. Удобство пользования продуктом было камнем преткновения для пользователей Jira.<\/p>\n<p>Продуктовый департамент транслировал эту проблему бизнесу. Повышение удобства использования стало одной из главных целей компании. Улучшения решили оценивать по NPS.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/jira-nps.gif\" width=\"640\" height=\"341\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Спрашивать NPS внутри продукта — нормальная практика. А вот запросить доп.информацию о юзере и назначить интервью в том же окошке— это интересно :)<\/div>\n<\/div>\n<h2>Метрики<\/h2>\n<p>NPS (индекс лояльности) — это главная метрика Atlassian. <a href=\"https:\/\/youtu.be\/qaBG0c9jf_o?t=497\">Важнее продаж, выручки, LTV и размера месячной аудитории<\/a>. Но она не подходит для оценки релизов:<\/p>\n<p>NPS — это интегральная метрика, на которую влияют многие аспекты бизнеса, а не только удобство продукта.<\/p>\n<p>В зрелой компании сложно двигать верхнеуровневые метрики. Практически невозможно заметить улучшение после короткой итерации.<\/p>\n<p>Продуктовым команда была нужна метрика, которая позволит напрямую оценить изменения на юзабилити. Индустриальным стандартом для этой цели является System Usability Scale (SUS).<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/sus.png\" width=\"741\" height=\"491\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Придуманный в 1986 году опросник оценки удобства пользования.<\/div>\n<\/div>\n<p>Главная проблема SUS при использовании в качестве in-product опроса— количество вопросов сильно прерывает работу пользователей, что снижает количество заполненных анкет.<\/p>\n<p>Исследователи компании предложили использовать более компактные юзабилити-метрики: UMUX и UMUX-Lite. В них всего 4 и 2 вопроса соответственно, что позволяет разместить эти опрос внутри продукта и получать хорошую конверсию в ответ. Притом, <a href=\"https:\/\/www.researchgate.net\/publication\/262344995_UMUX-LITE_when_there's_no_time_for_the_SUS\">ранние исследования доказали сильную корреляцию между этими метриками, SUS и NPS<\/a>.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/jira-umux-lite.png\" width=\"1344\" height=\"928\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Вопросы из UMUX-Lite<\/div>\n<\/div>\n<p>Была проведена серия экспериментов, где последовательно спрашивали UMUX-Lite и NPS. Была найдена относительно сильная линейная зависимость между этими метриками (R² = 0.62), что позволило UMUX-Lite стать “мостиком” для NPS. Продуктовым командам выдали формулу “перегонки” из одного значения в другое: <b>NPS = 3.18 ∗ (UMUX-Lite) − 200.6<\/b>. Это позволило выставлять реалистичные цели на релизы.<\/p>\n<p class=\"loud\">NB! Не переиспользуйте эту формулу у себя. Установите свой процесс замера этих метрик и на своей аудитории найдите формулу зависимости.<\/p>\n<h2>Приоритизация инициатив<\/h2>\n<p>У членов команды было много предложений как сделать Jira удобнее. Нужно было выстроить систему приоритетов. Для этого снова обратились к комментариям из NPS. Вдохновившись классификацией <a href=\"https:\/\/en.wikipedia.org\/wiki\/FURPS\">требований к программным системам FURPS<\/a>, фидбек разбили по следующим темам:<\/p>\n<ol start=\"1\">\n<li><b>Reliability<\/b> — требования к надежности.<\/li>\n<li><b>Usability<\/b> — требования к удобству использования.<\/li>\n<li><b>Functionality<\/b> — функциональные требования.<\/li>\n<\/ol>\n<p>Каждая тема содержит иерархию из категорий и отдельных фичей.<\/p>\n<blockquote>\n<p>Продуктовая команда Atlassian получает около 2000 комментариев в месяц. Для тэгирования (кодинга) такого объема информации ребята взяли к себе несколько стажеров. Разметка идет в общем Google Spreadsheet. Каждый комментарий может быть включен в 3 категории и обязательно назначается на ответственную команду.<\/p>\n<\/blockquote>\n<p>Каждую потенциальную фичу \/ проблему они рассматривают в трех измерениях: размер аудитории, частота использования и доля негативного фидбека.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/pain-index.png\" width=\"1500\" height=\"1016\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Feature 1 — хороший кандидат для исправления. Большое количество аудитории часто ей пользуется и доля негативных комментов (Pain Index) тоже высока.<\/div>\n<\/div>\n<p>Юзабилити-проблемы также разбивали на три популярных категории, которые встречались в комментариях. Это позволило прицельно решать проблемы.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/features-usability-map.png\" width=\"1500\" height=\"486\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Числа в ячейках — это количество детракторов, которые упомянули о проблеме<\/div>\n<\/div>\n<h2>Инструмент мониторинга: UX ScoreCard<\/h2>\n<p>Для продукта составляют набор метрик за которыми хочется следить. В идеале, этот набор метрик постоянен на всех стадиях разработки продукта, но на практике это не так.<\/p>\n<p>Например, NPS мы можем получить только после выпуска продукта. Или метрики в стиле “время на выполнения задачи” хорошо замеряются в юзабилити-тестах, но не всегда четко отслеживаются “в бою”, т. к. мы не знаем контекст пользователя. Исключением, конечно, являются страницы с четкими Call to Action.<\/p>\n<p>Поэтому в Atlassian используют два дашборда:<\/p>\n<ol start=\"1\">\n<li>Early Signal Testing Scorecard (ESTS) — для дизайн-команды выносят метрики, которые помогают принимать решения на этапе разработки. Для этого они создали собственный мини-фреймворк — <a href=\"https:\/\/www.atlassian.com\/company\/events\/summit-us\/watch-sessions\/2017\/discuss-improve\/early-signal-testing-designing-atlassians-new-look\">Early Signal Testing<\/a> (никаких откровений особо по ссылке нет, но можно пощелкать презентацию).<\/li>\n<li>Instrumented Scorecard — для продуктовой команды, когда фича уже в проде. Сюда выносят метрики, которые составлены по <a href=\"http:\/\/www.dtelepathy.com\/ux-metrics\/\">Google HEART<\/a> и UMUX-Lite (это, видимо, замеряет Happiness).<\/li>\n<\/ol>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/pxs.md\/pictures\/ests.png\" width=\"1500\" height=\"1269\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Early Signal Testing Scorecard отображает метрики по новым и текущим юзерам<\/div>\n<\/div>\n<h2>Находим эффект от продуктовых изменений в UMUX-Lite<\/h2>\n<p>Продуктологам хочется понимать “стрельнул” ли апдейт. Для этого аналитик строит линейную модель, которая пытается предсказать значение UMUX-Lite.<\/p>\n<p>Линейные модели — не самые точные ML-алгоритмы, зато очень легко интерпретируются, что и нужно в работе над продуктом. Можно посмотреть, дал ли апдейт ожидаемый вклад. Ну или можно воспользоваться A\/B-тестами.<\/p>\n<h2>Вывод<\/h2>\n<p>Анализ комментариев из NPS позволил подсветить проблемные места продукта. Через процесс кодинга удалось “оцифровать” жалобы клиентов и использовать количество жалоб как один из факторов в расстановке приоритетов.<\/p>\n<p>Проблема медленной реакции NPS на изменения была решена созданием отдельной метрики для продуктовых команд.<\/p>\n<p>UMUX-Lite стал мостиком между дизайнерами, продуктологами и бизнесом, который позволил быстрее получать обратную связь на релизы и понимание вклада в цель компании.<br \/>\nБолее подробнее про метрику и методологию можно прочитать здесь: <a href=\"https:\/\/measuringu.com\/umux-lite\/\">Measuring Usability: From the SUS to the UMUX-Lite<\/a>.<\/p>\n<h2>Источники<\/h2>\n<ul>\n<li><a href=\"https:\/\/dl.acm.org\/doi\/10.1145\/3292147.3292224\">The right metric for the right stakeholder<\/a><\/li>\n<li><a href=\"https:\/\/www.atlassian.com\/company\/events\/summit-us\/watch-sessions\/2017\/organize-track\/from-feedback-to-features-building-the-new-jira-experience\">From feedback to features — Building the new JIRA experience<\/a><\/li>\n<li><a href=\"https:\/\/kaiforsyth.com\/portfolio\/jira-journey-to-quantify-design\/\">The journey to quantify design in Jira — Kai Forsyth<\/a><\/li>\n<li><a href=\"https:\/\/www.atlassian.com\/company\/events\/summit-us\/watch-sessions\/2017\/discuss-improve\/early-signal-testing-designing-atlassians-new-look\">Early Signal Testing: Designing Atlassian’s New Look<\/a><\/li>\n<li><a href=\"https:\/\/www.atlassian.com\/agile\/product-management\/how-to-prioritize-features-using-net-promoter-scores\">How to prioritize features using NPS® | Atlassian<\/a><\/li>\n<li><a href=\"https:\/\/dl.acm.org\/doi\/10.1145\/3290607.3313013\">Bridging the Gap Between Business, Design and Product Metrics<\/a><\/li>\n<\/ul>\n",
            "date_published": "2019-01-24T20:00:00+03:00",
            "date_modified": "2026-01-12T19:24:51+03:00",
            "tags": [
                "UX",
                "Исследования",
                "Практический пример"
            ],
            "image": "https:\/\/pxs.md\/pictures\/jira-nps.gif",
            "_date_published_rfc2822": "Thu, 24 Jan 2019 20:00:00 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "18",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/pxs.md\/pictures\/jira-nps.gif",
                    "https:\/\/pxs.md\/pictures\/sus.png",
                    "https:\/\/pxs.md\/pictures\/jira-umux-lite.png",
                    "https:\/\/pxs.md\/pictures\/pain-index.png",
                    "https:\/\/pxs.md\/pictures\/features-usability-map.png",
                    "https:\/\/pxs.md\/pictures\/ests.png"
                ]
            }
        },
        {
            "id": "15",
            "url": "https:\/\/pxs.md\/all\/quant-user-research\/",
            "title": "Как исследовать пользователей количественными методами",
            "content_html": "<p>Ребята из QIWI позвали рассказать о количественных исследованиях пользователей. Сделал обзорный доклад и за час осветил несколько тем:<\/p>\n<ul>\n<li>HCI — почему это науку должен изучать любой, кто создает продукты.<\/li>\n<li>Где в качественных исследованиях применять математику.<\/li>\n<li>Как масштабировать инсайты из интервью и опросов.<\/li>\n<li>Как чисто на данных понять пользователя.<\/li>\n<li>Необходимые навыки для работы.<\/li>\n<li>С чего начать и что читать.<\/li>\n<\/ul>\n<div class=\"e2-text-video\">\n<iframe src=\"https:\/\/www.youtube.com\/embed\/ZEvdWXze7bk?enablejsapi=1\" allow=\"autoplay\" frameborder=\"0\" allowfullscreen><\/iframe>\n<\/div>\n<p><a href=\"https:\/\/www.youtube.com\/watch?t=5233&v=ZEvdWXze7bk&feature=youtu.be\">Запись доклада с QIWI Кухни.<\/a><br \/>\n<a href=\"https:\/\/docs.google.com\/presentation\/d\/17EEaetRxMdhRTlIjgg1RShHEyLJ66wIOP_fGCo3X4xw\/edit?usp=sharing\">Ссылка на Google Slides.<\/a><br \/>\n<a href=\"https:\/\/docs.google.com\/spreadsheets\/d\/125PKcu1curDe8M_fFwYOTc46pqq8ema39wNoA_l2JCo\/edit?usp=sharing\">Список блогов по теме.<\/a><\/p>\n",
            "date_published": "2018-12-08T18:28:00+03:00",
            "date_modified": "2026-03-09T11:38:28+03:00",
            "tags": [
                "HCI",
                "Доклад",
                "Исследования",
                "Публичные выступления"
            ],
            "image": "https:\/\/pxs.md\/pictures\/remote\/youtube-ZEvdWXze7bk-cover.jpg",
            "_date_published_rfc2822": "Sat, 08 Dec 2018 18:28:00 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "15",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": true,
                "links_required": [],
                "og_images": [
                    "https:\/\/pxs.md\/pictures\/remote\/youtube-ZEvdWXze7bk-cover.jpg"
                ]
            }
        }
    ],
    "_e2_version": 4171,
    "_e2_ua_string": "Aegea 11.4 (v4171e)"
}