Сделать исследование, или Как получить знание, которого ни у кого нет

Прежде чем стать задачей для исследования, нехватка какого-то знания ощущается как отсутствие уверенности или опоры для принятия решений. Обычно это ощущение не сразу созревает до вопроса, который уже звучит на совещаниях, но остаётся без ответа. Например, у директора по маркетингу это может быть вопрос «почему клиенты перестали возвращаться?». У руководителя направления — стоит ли это направление развивать. У команды устойчивого развития — что в реальности изменила программа, на которую ушло два года. Готового ответа на такой вопрос нет — как его добыть?

Пройти путь от ощущения к ясному вопросу, от вопроса — к исследовательской задаче, собрать под неё методологию и довести до ясного ответа, с которым уже можно работать. Стратеги и исследователи бюро партнёрств для устойчивого развития «Теперь так» с любопытством ходят по этому маршруту.

Уверенность ответа — в дизайне исследования

Дизайн исследования — это комплекс решений о том, что будет полезно узнать и каким путём. На этапе разработки дизайна формулируются исследовательские вопросы, выбираются методы и способы сбора и анализа данных, определяются границы выборки. Именно здесь формируется уверенность в ответах и определяется будущая ценность новых знаний.

Роберт Инь, автор одной из самых цитируемых книг о методологии, определяет дизайн так:

«Дизайн исследования — это логика, которая связывает собираемые данные (и выводы, которые предстоит сделать) с исходными вопросами исследования. Говоря проще, дизайн исследования — это логический план того, как добраться отсюда туда».

Robert K. Yin, Case Study Research: Design and Methods

«Отсюда» в этой формуле — это вопрос, который встаёт у организации: например, «почему клиенты больше не возвращаются». Но чтобы собрать данные для ответа на него, сначала требуется определить, что считать уходом, о каких клиентах идёт речь и какие причины будем проверять. То есть дизайн исследования трансформирует «деловой» вопрос в исследовательскую задачу, определяет путь к её решению и аргументирует, почему именно такой путь даст лучший результат.

Это один из главных результатов этапа: организация получает точную формулировку исследовательского вопроса и продуманный подход, как на него ответить.

Дизайн — самый не затратный этап, но он определяет дальнейшую работу и помогает избежать распространённых промахов:

Начать с метода. Разговор, который открывается словами «давайте проведём опрос», уже содержит ответ на вопрос, который пока не задан. Метод лучше выбирать последним — после того, как сформулирован вопрос.
Взять метод, который не умеет отвечать на поставленный вопрос. Опрос работает с вариантами, сформулированными заранее, поэтому он подтверждает или опровергает гипотезу, но большего не сможет. Чтобы в данных появилось то, о чём никто не догадался спросить, лучше выбрать другой метод.
Сформулировать вопрос слишком широко. «Почему падают продажи» — это направление, а не вопрос: под него нельзя собрать данные, потому что проверять придётся всё сразу.
Смешать цель проекта и цель исследования. Цель проекта — вырастить выручку. Цель исследования — выяснить, какие барьеры удерживают клиента от второй покупки. Первое исследованию недостижимо, второе — вполне.
Принять выборку за объект. Объект — все, у кого есть изучаемое свойство. Выборка — те, с кем удалось поговорить. Отличия между ними не даст пользы результату.
Недооценить ограничения метода. Слепая зона есть у каждого, и, как правило, известно, какая именно. Дизайн — то место, где эти зоны признают или сокращают, миксуя методы.
Ждать только подтверждения размышлений. Опровержение — не менее полезный результат: например, оно останавливает решение, которое иначе обошлось бы дорого.

Часть ответа обычно уже существует — вопрос в том, где искать

Точная формулировка вопроса задаёт направление поиска. Первое с чего поиск должен начинаться, — знание, которое уже известно. Обзор существующих исследований — это отдельный этап в любой академической работе, и в прикладной он нужен по той же причине. Вопрос, который волнует одну организацию, почти наверняка волновал кого-то ещё — в соседней отрасли, на другом рынке или в академической среде. Что-то из найденного уже окажется ответом, что-то — подсказкой. Попутно открываются новые грани вопроса, организации, которые этим уже интересовались, и иногда даже гипотезы, которые можно будет уже не проверять.

Собирать картину из разрозненных источников и находить в ней обрыв — почти детективное занятие. И у него есть очень практичный результат. Становится видно, какая часть вопроса уже закрыта, а какая действительно требует уточнения, — чтобы самый дорогой этап исследования, сбор данных, приходился на настоящий пробел, а не на повторение того, что уже кто-то публиковал.

Исследователи бюро «Теперь так», как правило, ищут то, что уже изучено, в трёх доменах: у каждого свои цели, свой набор методов и потому своя слепая зона.

Рыночные исследования в России

Рыночные исследования в России — отраслевые обзоры, данные исследовательских центров и владельцев панелей, внутренняя аналитика компаний, корпоративные опросы, публикации маркетинговых и исследовательских агентств.

Что даёт. Кто покупатель, что влияет на его выбор, размеры и доли рынка, свежий локальный контекст.

Распространённые методы. Панельные опросы, реже — экспертные интервью. Почти всегда количественные.

Особенности и ограничения. Собирается под коммерческую или PR-задачу заказчика. Отвечает на «что и сколько» здесь и сейчас, но редко на «почему». В открытом доступе обычно оказываются согласованные «удобные» данные, без описания методологии, только выборка.

Рыночные и отраслевые исследования в мире

Рыночные и отраслевые исследования в мире — зарубежные отраслевые и рыночные отчёты, трекинги, тренд-обзоры, исследования крупных консалтеров и рейтинговых агентств на английском языке.

Что даёт. Новые углы зрения на вопрос, определяемые другим контекстом и/или деловой культурой, сравнение с другими странами, глобальные тренды

Распространённые методы. Мультистрановые опросы, трекинги, тренд-обзоры, иногда смешанные дизайны. Арсенал шире за счёт многообразия исследовательского бэкграунда, но наиболее популярны те же методы, что и в России — опросы и экспертные интервью

Особенности и ограничения. Не учитывает российскую специфику, поэтому прямой перенос выводов невозможен. Даёт широту и сравнительную рамку, но не заменяет локальные данные

Академические исследования

Академические исследования — публикации в рецензируемых журналах, основанные на эмпирических данных, систематические обзоры и метаанализы.

Что даёт. Объясняют «почему так»: дают причинно-следственные связи и доступ к темам, не попадающим в фокус коммерческих исследований. Гарантируют методологическую прозрачность и точность.

Распространённые методы. Количественные, качественные и смешанные дизайны. Арсенал сбора и анализа тут значительно шире, так как фокус делается не только на результате, но и на способе его получения. Уверенность их результата выше за счёт более строгих процедур и требований к формулировкам.

Особенности и ограничения. Надёжнее отвечают на «почему и при каких условиях», но не всегда опираются на оперативный контекст и свежие цифры. Выводы требуют перевода на деловой язык, а иногда и вовсе не имеют прямого отношения к практике.

Если коротко: рынок отвечает «сколько и кто», международный домен — «куда движется», академия — «почему» и «как».

Иногда этот этап даёт больше, чем от него ждут. Обзор способен вскрыть серьёзный инсайт — закономерность или объяснение, которого на рынке пока нет ни у кого. Находки этого этапа сами по себе могут обогатить внутренние знания по теме, стать материалом для расширения кругозора менеджеров или темой для публикации. В любом случае обзор расширяет кругозор команды заказчика по теме.

Кроме того, опора на углубленные знания по теме, позволяет более точно определить методологию исследования, и, по необходимости, скорректировать методы, например, выбрав те, что на локальном рынке под эту задачу пока никто не применял.

Каждый метод видит то, что может

Метод должен соответствовать задаче — это единственный критерий выбора. Например, популярные на рынке опросы с дескриптивной статистикой показывают, сколько людей думает «вот так» и сработает только тогда, когда нужно узнать, насколько какое-то мнение распространено среди целевой аудитории. Вопросы «почему», «как так вышло» и «что изменится через три года» берут другими инструментами. Вот часть набора.

Мнение большинства и меньшинства

Из чего люди выбирают и чем готовы пожертвовать? → закрытый вопрос с множественным выбором, MaxDiff, конджойнт (conjoint), анализ чеков или корзин
Насколько это распространено и можно ли считать это мнением всей аудитории? → количественный опрос (панель), A/B-тест

Что говорят на самом деле

Почему это происходит и как это переживают? → глубинные интервью, фокус-группы, дневниковый метод
Что люди делают на самом деле, а не рассказывают? → наблюдение, тестирование, анализ транзакций
Почему уходят сотрудники? → выходное интервью (exit interview), анализ обращений и жалоб, индекс лояльности сотрудников (eNPS), опрос вовлечённости
Что об этом говорят? → мониторинг социальных медиа (social listening), нетнография (netnography), анализ отзывов и пользовательского контента (UGC), дискурс-анализ
Что люди ищут по этой теме? → анализ поисковых запросов
Какие смыслы и культурные коды уже закрепились на рынке? → семиотический анализ, дискурс-анализ, культурное картирование, этнография

Что изменилось

Как ситуация меняется со временем? → дневниковый метод, метод моментального экологического оценивания (Ecological Momentary Assessment, EMA), барометр — регулярный замер по одной и той же методологии, контент-анализ
Какие слабые сигналы и ранние изменения уже видны? → трендвотчинг (trendwatching), сканирование горизонтов (horizon scanning), кулхантинг (coolhunting), нетнография, анализ поисковых запросов
Какие сценарии возможны? → форсайт, сценарное планирование (scenario planning), экспертные панели, бэккастинг (backcasting), колесо будущего (futures wheel)

Что там происходит

Что меняет правила игры? → анализ PESTEL (политика, экономика, общество, технологии, экология, право)
Кто забирает прибыль в отрасли? → анализ пяти сил Портера

Куда идти

Что нужно делать хорошо, чтобы выигрывать в конкурентной борьбе? → анализ критических факторов успеха (КФУ)
А судьи кто? → анализ стейкхолдеров (заинтересованных сторон)
Какие сильные стороны станут преимуществом, а какие угрозы требуют ответа уже сейчас? → матрица SWOT, включая PESTEL, пять сил Портера и КФУ

Выбор метода — половина дела. Вторая половина — процедура: как именно собираются и обрабатываются данные. От неё зависит, насколько чистыми они окажутся, то есть сколько в них останется искажений (bias) — от формулировки, которая подсказывает ответ, до выборки, в которую попали только самые лояльные. Чистые данные получаются не случайно: порядок вопросов, способ набора участников, схема кодирования, процедура анализа — всё это продумывается заранее и фиксируется в дизайне.

Надо признать, что исследователи бюро любят жонглировать методами, зная, что умеет каждый. Можно, конечно, владеть одним инструментом в совершенстве, но забивать все шурупы молотком, когда рядом есть большой набор более подходящих инструментов — странно.

Предмет и объект: что именно изучаем

Про метод спрашивают часто, про объект и предмет — почти никогда, хотя ошибки здесь тоже дорогие. Объект исследования — это то, у чего есть изучаемое свойство: группа людей, организация, рынок, процесс. Предмет — конкретное свойство объекта, которое изучается в этот раз. Один объект даёт десятки предметов: сотрудники компании как объект могут изучаться с точки зрения мотивации, отношения к изменениям, понимания стратегии или готовности рекомендовать работодателя — и под каждый предмет собирается свой дизайн.

Объектом может быть не только человек с анкетой в руках.

Сотрудники — мотивация, установки, барьеры к изменениям, причины ухода
Клиенты и потребители — путь выбора, критерии решения, причины отказа и возврата
Продукты и услуги — восприятие, сценарии использования, нереализованный потенциал, стратегии развития
Внешняя среда — регулирование, технологии, общественные настроения и прочие знаки свыше, которые определяют стратегию, продукт и позиционирование
Организации — конкуренты и потенциальные партнёры: практики, позиционирование, зоны пересечения интересов
Стейкхолдеры (как правило, и люди (группы людей), и организации) — состав, влияние, ожидания, конфликты интересов
Решения и практики — что уже сработало у других и при каких условиях это переносимо

После дизайна — путь, с которого уже не сбиться

Дизайн готов, и дальше работа становится предсказуемой. Пять шагов, каждый со своим результатом.

Подготовка инструментов сбора данных. Опросники, сценарии интервью, гайды наблюдения, схемы кодирования — то, чем будут собирать и фиксировать.
Сбор данных. По процедуре, описанной в дизайне, с контролем качества по ходу.
Подготовка данных к анализу. Чистка, транскрибирование, кодирование, сведение в массив.
Анализ — в соответствии с выбранным методом.
Подготовка к публикации. Визуализация данных и расстановка акцентов: какие находки действительно ценные и в каком порядке их стоит показывать.

И честно про границы: абсолютной объективности, увы, не даёт ни один метод. Мы работаем так, чтобы результат можно было проверить, — описываем методологию, показываем данные и отдельно отмечаем, где вывод надёжный, а где это гипотеза для следующего шага.

Повод может быть любой, требование к результату — одно

Исследование начинается по разным причинам. Иногда нужен инфоповод: публикация, которая интересна СМИ, потому что в ней есть новое знание, а не пересказ очевидного. Иногда — обоснование: аргументы для грантовой заявки, годового отчёта или защиты проекта внутри компании. А иногда — настоящая потребность разобраться, без которой нельзя принять важное решение.

Повод не меняет требований к работе. Зато он влияет на то, что происходит с результатами дальше, — и это отдельная работа. Выводы исследования можно и стоит публиковать, но деликатно: не растягивая данные до более громкого заголовка, не превращая гипотезу в установленный факт, точно подбирая слова там, где цифра говорит меньше, чем хочется. Мы это умеем и помогаем — от методологической редактуры пресс-релиза до совместной креативной сессии о том, как интереснее донести находку, сохранив её смысл.

Если ощущение вопроса

Напишите нам на почту privet@tepertak.ru. Разберёмся, что это за вопрос на самом деле и каким способом на него можно ответить. Бывает, что собственное исследование и не требуется: ответ уже существует, его просто никто не искал.