Метрики

Вы – не пользователь: эффект ложного консенсуса

Вы – не пользователь: эффект ложного консенсуса

Определение: эффект ложного консенсуса – это склонность людей предполагать, что другие разделяют их убеждения, и при схожих обстоятельствах будут вести себя схожим образом, и только в корне отличающиеся от них люди сделают другой выбор.

Впервые, эффект ложного консенсуса был определен Россом, Грином, и Хаусом. Они показали, что в отличие от ученых, «психологи-любители» склонны переоценивать то, какое количество людей разделяют их выбор, ценности, суждения, и воспринимают альтернативные точки зрения как редкие, неправильные, и больше говорящие о респондентах.

Росс и его коллеги провели серию экспериментов, в которых участники должны были оценить, какой процент людей сделает один из двух выборов: например, им предлагалось предположить, какой процент людей захочет отстоять свои права в суде, вместо того, чтобы оплачивать штраф за превышение скорости. Затем, участникам предлагалось рассказать, что они сделали бы в этой ситуации, и описать черты личности каждого из двух типов людей. Исследователи обнаружили, что участники предположили, будто большинство людей сделает тот же выбор, что и они сами (оплатят штраф), и что люди, сделавшие противоположный выбор, имеют более экстремальные черты характера.

Мы склонны считать, что наш сосед проголосует на выборах так же, как и мы. И только кто-то, кто значительно от нас отличается – живет в совершенно противоположной части страны, является представителем другого социально-экономического класса, или имеет другое образование – проголосовали бы за другого кандидата.

 

Почему вы должны проводить тесты

Схожим образом, мы, дизайнеры, разработчики, и UX исследователи предполагаем, что люди, которые будут использовать наши интерфейсы похожи на нас. У нас есть только один пример человека, который будет их использовать: мы сами. И, возможно, наши коллеги. В итоге, мы делаем обобщения, основанные на этих примерах, предполагая, что только идиот, или кто-то, кто значительно от нас отличается не сможет разобраться в их работе.

Неверно. Думая так, мы ошибаемся, но в этом нет ничего страшного. Такое поведение вплетено глубоко в нашу природу.

Так что же делать такому человеку? Или дизайнеру? Разработчику? Ответ прост. Изучите этот эффект. Примите его. А затем, сделайте что-то, чтобы его преодолеть. В случае с пользовательскими интерфейсами ответ проще, чем с другими аспектами жизни: тестируйте. С реальными пользователями (не коллегами). Познакомьтесь со своими пользователями и их реакцией, наблюдая за тем, как они используют ваш дизайн. Не стройте предположений.

UX исследователи также подвержены воздействию эффекта ложного консенсуса. Проводя большую часть наших качественных тестов, мы наблюдаем за тем, как несколько пользователей используют один дизайн, а затем, на основе этих данных мы делаем выводы о том, как бы они повели себя в схожих, но не идентичных ситуациях. Мы забываем о том, что то, что работает в одной ситуации, не обязательно будет работать в другой, и наоборот.

Признайте эту уязвимость. Не утверждайте свои дизайны – исследуйте их. Исследуйте вместе со своими пользователями при малейших сомнениях.

Перевод статьи Ралуки Будиу

A/B тестирование: советы по улучшению

A/B тестирование: советы по улучшению

Для приложений с миллионами пользователей, небольшие косметические изменения, например, в цвете, разметке и языке, могут привести к заметному увеличению ключевых показателей (увеличению количества кликов и усилению уровня вовлеченности пользователей). Главный вопрос заключается в следующем: должны ли компании с небольшой пользовательской базой концентрироваться на создании другой кнопки «Зарегистрироваться!», или на общем улучшении своего продукта?

Для многих компаний, A/B тестирование превращается в заплатку для некачественных ценностных предложений. Если вашим контентом не делятся, то возможно, люди просто не считают, что им стоит делиться, и тут не поможет никакая, даже самая красивая кнопка «Поделиться!».

 

Данные тестов

Это данные, полученные из качественного и количественного A/B тестирования, которое проводилось с 26 исследователями с 1 по 30 мая 2016 года. И хотя это не истина в последней инстанции, эта информация может о многом рассказать.

Slide2

Slide3

Slide4

action

Slide6

 

Ключевые моменты:

  • 45% респондентов ответили, что их компания проводит A/B тестирование раз в три месяца, при этом, компании 40% респондентов проводят их еженедельно или ежемесячно;
  • 60% респондентов ответили, что продолжительность проводимого ими A/B тестирования составляет 1-4 недели;
  • 38% респондентов ответили, что менее 10% результатов тестирования внедряется в продукт в виде изменений;
  • 45% респондентов ответили, что изменения, введенные по результатам тестирований, сохраняют свою актуальность на протяжении 1-6 месяцев.

 

Данные интервью

Кроме того, исследователям были заданы открытые вопросы, касательно эффективности A/B тестирования. Вот некоторые, из основных выводов:

  • 10 из 12 опрошенных отметили, что основным недостатком A/B тестирования был провал 90%+ экспериментов;
  • 6 из 12 опрошенных отметили, что на основе результатов тестирования было сложно принимать решения, поскольку большинство результатов были либо неубедительными, либо неудачными. Это означает, что статус-кво сохранялся примерно в 90% случаев;
  • 10 из 12 опрошенных отметили, что основным преимуществом A/B тестирования было «увеличение доходов».

 

Создание полезного A/B тестирования

О чем эти данные говорят нам в целом? Компании слишком часто проводят слишком короткие A/B тесты, результаты которых оказываются незначительными, либо неудачными. Вот несколько советов, которые помогут увеличить пользу A/B тестирования для вашего приложения.

 

1. Не отвлекайтесь

Изменение цветов, текста СТА, и разметки, немного повлияют на ключевые показатели. Однако, такие результаты недолговечны. Устойчивый рост не является результатом изменения цвета кнопки с красного на синий, он приходит только тогда, когда люди действительно хотят использовать ваш продукт.

2. Не нужно пытаться подсластить пилюлю

Если ваш продукт плох, то нет смысла пытаться изменить дизайн кнопок. Сфокусируйтесь на создании хорошего пользовательского опыта, и ценностного предложения.

3. Используйте реальную статистику

Чтобы понять, что работает, а что нет, не нужно полагаться на простое сравнение метрик. «Вариант А увеличивает коэффициент конверсий на 20%, а вариант Б — на 22%. Следовательно, нам нужно использовать вариант Б!» Не нужно так делать. Используйте доверительные интервалы, z-баллы, и статистически значимые данные.

4. Чем дольше, тем лучше

Чем дольше вы проводите тест, тем лучше ваши данные будут объяснять колебания и посторонние переменные.

5. Неудача – это нормально, но неудачи дорого обходятся

Если вы упорно выпускаете версии приложения, которые не нравятся пользователям, то какое влияние это оказывает на показатели? Сколько времени вы уделяете на создание A/B тестов? Пробы и ошибки – это естественный процесс создания компании. Но если что-то идет не так, то, возможно, это не из-за темного оттенка кнопок приложения, а из-за самой предоставляемой услуги.

Перевод статьи Джастина Бэйкера

5 метрик, которые помогут определить проблемы веб-сайта

5 метрик, которые помогут определить проблемы веб-сайта

Основной недостаток этого подхода заключается в том, что он отнимает массу времени, учитывая то, что 5-20 участников (типичный размер выборки при проведении модерируемых исследований) – это не так и много.

При этом, в случае с немодерируемыми исследованиями, возможность получать данные от сотен участников значит, что даже выполнение пары задач потребует просмотра тысяч видеороликов.

И хотя мы ничем не сможем заменить просмотр записей сессий, мы всегда будем искать более систематичные и быстрые способы определения шаблонов поведения.

Мы определили, что несколько метрик, которые автоматически собираются во время немодерируемых исследований, хорошо подходят для диагностирования потенциальных проблем веб-сайтов. Расскажем о них подробнее.

1. Клики по некликабельным элементам

На заре интернета, сеть была забита ссылками «Нажмите сюда», которые отчасти предназначались для того, чтобы пользователь понимал, куда нужно нажимать. Хотя с тех пор прошло немало времени, некоторые веб-сайты всё еще страдают от проблем, вызванных недостатком аффорданса – имеются ввиду случаи, когда люди не могут отличить интерактивные элементы от статичных. Отслеживание того, на сколько некликабельных элементов нажимают пользователи, скажет вам, о наличии, или отсутствии проблемы.

2. Быстрые, или повторяющиеся клики

Следующая проблема – когда пользователи дважды или трижды кликают по одним и тем же элементам. Это может быть симптомом задержки (страница не отвечает), или переносом десктопного поведения, где двойной клик – это нормальная практика. Более того, двойные клики могут говорить о сильном разочаровании или злости пользователей – в этом случае, можно заметить даже постоянное прокликивание даже некликабельных элементов.

3. Скроллинг, или его отсутствие

Не все важные элементы можно отобразить на одной странице, или над складкой. Скроллинг, обычно, неизбежен, тем более, если учесть распространение длинной или бесконечной прокрутки.

Но люди не всегда его используют. Отслеживание процента пользователей, которые кликают на СТА, или ссылки, расположенные в нижней части страницы, сможет многое рассказать об эффективности дизайна и контента.

4. Задержка клика

Противоположность быстрым кликам – длинные задержки между ними. Хотя длинные задержки не всегда говорят о наличии проблемы, это может быть симптомом того, что пользователю сложно перемещаться по странице. Возможно, это связано с некликабельными элементами, или временем, требующимся для принятия решений.

5. Отказы от завершения задач

Понимание того, сколько участников переходит на определенную страницу, и то, какой дорогой они до нее добираются, важно само по себе. Но часто, также важно знать, когда участник отказывается от задачи. Эта метрика показывает, на каком моменте участник решает закончить взаимодействие (по какой бы то ни было причине), и говорит о том, где навигация страницы не удовлетворяет ожиданиям.