Центральной проблемой маркетинговых исследований является обеспечение объективности получаемых результатов и достоверности устанавливаемых причинно-следственных связей. Присутствие «человеческого фактора» на всех этапах исследования — от постановки задачи, выбора методики и разработки инструментария до интерпретации полученных данных и принятия решений на их основе — существенно повышает риск выбора маркетинговых стратегий, обладающих низкой и часто отрицательной эффективностью. В последнее время актуальность проблемы получения объективных данных маркетинговых исследований в России неуклонно растет, поскольку с насыщением рынков возрастают требования к точности получаемых результатов.
Между тем в отечественной маркетинговой практике широко распространено поверхностное, формальное отношение к процессу исследований. Во многом это обусловлено бюджетными и временными ограничениями, которые испытывают компании в конкурентной среде. Зачастую полный цикл исследования, включающий поиск идей, формулировку гипотез и их количественную проверку, а также выявление на основе исследования причинно-следственных связей для экономического обоснования маркетингового решения, подменяется упрощенным подходом, В последнем случае решения принимаются на основе результатов поисковых исследований, основным методом проведения которых в нашей стране являются главным образом фокус-группы.
Несмотря на наглядность и кажущуюся простоту работы с фокус-группами, указанный метод имеет ряд недостатков. Во-первых, интерпретация результатов во многом зависит от личности модератора, его социальных и психологических установок. Во-вторых, из всех мнений участников дискуссии в окончательный отчет попадают мнения лидеров группы как наиболее активных респондентов. Их высказывания, как правило, носят «живой» характер, придают выразительность отчету о результатах фокус-групп, но далеко не всегда совпадают с мнением большинства респондентов, а часто даже противоречат ему.
{module 297}
Возможно ли снизить субъективность качественных исследований за счет использования количественных методов прикладной статистики? Последние в маркетинге традиционно ассоциируются исключительно с количественными исследованиями [3]. Л вот анализ результатов методов качественных исследований в основном построен на субъективных выводах исследователя и обычно не подвергается количественной обработке. Это происходит по ряду причин. Во-первых, начинающие специалисты зачастую не знают о возможности применения при анализе результатов качественных исследований количественного инструментария и ориентируются чаще на субъективные выводы. Во-вторых, степень развития современного математического и программного обеспечения в области качественных исследований пока недостаточна, т. к. ее сложно формализовать. Тем не менее, определенные задачи качественных маркетинговых исследований могут быть успешно решены с применением количественного инструментария. Рассмотрим одну из таких задач, решение которой основано на хорошо известных методах получения и анализа экспертной информации.
Часто в маркетинговых исследованиях возникает вопрос упорядочивания группы объектов по выраженности определенного признака, качества или свойства, в разной степени присущего каждому из этих объектов. Если указанный признак измерим, то задача структурирования сводится лишь к выбору минимизирующего возможность ошибки способа измерения признака. Сложнее, если измерение указанного свойства сопряжено с некоторыми трудностями. Примером такой ситуации может являться оценка рекламных роликов по степени их привлекательности. Для решения подобного типа задач приглашается группа экспертов. В контексте маркетинговых исследований в качестве эксперта может выступать потребитель, поведение которого желают изучить, причем наличие каких-либо высокопрофессиональных знаний у данного лица не обязательно. Участники исследования в процессе упорядочивания предложенных объектов опираются на собственный опыт, давая содержательную количественную или качественную оценку предмета экспертизы.
Рассмотрим случай, когда в качестве метода получения исходной информации выступает метод ранжирования, при котором эксперт упорядочивает определенные объекты. Опираясь на полученные данные, исследователь строит результирующую оценку, которая используется для построения итогового упорядочивания объектов. Основная проблема, возникающая при этом. — использование исследователями некорректных процедур при построении итогового упорядочивания, игнорирование нечисловой природы ранжировок [9]. Вследствие этого выводы и итоговое решение оказываются неверными, что способно привести исследование к ложной цели. Следует заметить, что излагаемый ниже подход близок идеям совместного анализа (conjointanalysis).
ОПРЕДЕЛЕНИЕ РЕЗУЛЬТИРУЮЩЕЙ ОЦЕНКИ ПРИ ЭКСПЕРТНОМ РАНЖИРОВАНИИ
Анализу и использованию экспертной информации при маркетинговых исследованиях в отечественной литературе отводят большое место [5, 6, 8, 9]. Выделяют несколько стадий этого процесса, но мы остановимся только на проблеме анализа мнений экспертов, представленных в виде ранжировок.
Допустим, задано множество элементов А = {a1,a2,…,an}которые мы будем называть множеством объектов экспертизы или альтернатив. На практике желательно, чтобы количество альтернатив не превышало 20 [5]. Пусть также имеется т экспертов, каждому из которых предлагается упорядочить объекты по степени выраженности определенного признака, свойства или качества. Эксперт, упорядочивая объекты, может присваивать им числовые метки (ранги) из множества {1,2,…,n}, при этом чем значительнее для исследователя данный объект, тем большее число ему присваивается. Такой подход называется прямым ранжированием. Выстраивание объектов может производиться и в обратном порядке, когда меньшему рангу соответствует более высокая степень предпочтительности объекта экспертизы. Примером обратного ранжирования могут служить результаты спортивных соревнований, в которых первое место занимает выигравший спортсмен.
Поскольку последовательность рангов не существенна, т. е. обратный порядок всегда можно перевести в прямой и наоборот, то в дальнейшем будем считать, что исходные данные экспертизы представлены в виде прямого ранжирования.
Различают строгие и нестрогие ранжировки. О строгих ранжировках говорят в случае, если объекты экспертизы не имеют эквивалентов, т. е. все объекты строго упорядочены. Но зачастую, особенно в маркетинговых исследованиях, некоторые объекты имеют эквиваленты из множества A = {a1,a2,…,an}, т. е. такие объекты не различимы с позиции используемого критерия предпочтительности. В этом случае говорят, что исходные альтернативы ранжированы нестрого. Возвращаясь к спортивным соревнованиям: известно, что подавляющее большинство всех результатов есть строгие ранжировки, и лишь изредка появляются нестрогие, когда, например, два спортсмена разделяют одно и то же место. Нестрогие ранжировки еще называют ранжировками со связями, или кластеризованными ранжировками.
Допустим, существует множество альтернатив A = {a1,a2,a3,a4,a5}.. Строгая ранжировка может выглядеть, например, как Р = а5 > а4 > а3 > а2 > а1 при этом соответствующие ранги альтернатив — R(a5) = 5, R(a2) = 4, R(a4) = 3, R(a3) = 2, R(a1) = 1. Нестрогая ранжировка— Р = {а5=а2} > а4 > {а3 = а1}, для которой имеется три класса эквивалентности — Q1 = {а2, а5}, Q2 = {a4}, Q3 ={a1, a3}. Внутри каждого класса объекты эквивалентны друг другу, а сами классы располагаются в строгом порядке. Запись ai > аj означает, что альтернатива аi предпочтительнее альтернативы аj соответственно ранги альтернатив — R(ai) > R(aj). Если две альтернативы считаются эквивалентными, т. е. аi = аj тогда им присваиваются одинаковые ранги R(ai) = R(aj). Для альтернатив ранжировки Р = {a5 = а2} > а4 > {а3 = а1} можно приписать следующие ранги: R(a5) = R(a2) = 3, R(a4) = 2, R(a3) = R(a1) = 1.
После получения экспертных оценкок возникает проблема построения оценки итоговой. Многие исследователи при решении этого вопроса будут искать сумму или среднее арифметическое значение рангов каждой из альтернатив, а затем на основе упорядочения полученных данных выстроят итоговую ранжировку. Следует отметить, что получаемая таким образом итоговая ранжировка в ряде случаев является неправильной, поскольку рассматриваемые альтернативы измерены при помощи порядковой шкалы, а для нее недопустимы операции шкалы отношений, такие как сложение и деление. Пример ошибочности этого подхода будет продемонстрирован ниже.
Таким образом, возникает необходимость корректного вычисления результирующего мнения группы экспертов, дающих свои оценки в виде ранжировок. Методы решения этой задачи базируются на результатах статистики объектов нечисловой природы и заключаются в поиске медианы Кемени [4. 5]. Итоговое мнение можно искать в виде строгой или нестрогой ранжировки. Используемые для этого алгоритмы достаточно сложны и основаны на модифицированном методе ветвей и границ, применяемом в задачах целочисленного программирования.
Помимо построения результирующего отношения важно учесть распределение мнении экспертов, т. к, они могут быть весьма неоднородными. На практике может возникнуть следующая ситуация. По результатам проведенного исследования в группе экспертов выделяются, например, две подгруппы, каждая из которых формулирует свою позицию относительно объекта экспертизы. В этом случае желательно получить не только общую результирующую экспертную оценку, но и результирующую оценку для каждой из подгрупп.
В данной ситуации поступают следующим образом. Рассчитывается матрица попарных расстояний между мнениями всех экспертов, D= ||dij||, dij=d(Pi,Pj), i,j=1…m — расстояние между ранжировками Рi и Рj Полученная матрица используется для классификации мнений экспертов. Для этого достаточно применить к ней один из методов кластерного анализа, использующих в качестве входных данных матрицу расстояний.
Например, хорошо известные иерархические агломеративные методы, такие как метод Уорда, метод «ближнего соседа», метод «дальнего соседа» [1]. В соответствии с концепцией статистической устойчивости решений [8] для получения итоговой классификации следует применять несколько методов, чтобы получить результат, в определенной степени инвариантный для всех методов анализа.
Классификация ранжировок позволяет также выделять «аномальных» экспертов. Часто мнения некоторых экспертов резко отличаются от мнений всех остальных участников исследования. Это может происходить по двум причинам: 1) эксперт некомпетентен, дает неверные оценки; 2) эксперт выражает особую точку зрения, и его позицию следует рассмотреть более детально. Изучение «аномальных» мнений, или -статистических выбросов», представляется весьма важным, поскольку многие исследователи, работая в фокус-группах, отдают свои предпочтения именно таким респондентам, считая их наиболее яркими и объективными. Но этот подход ошибочен, и «аномальные» наблюдения не следует учитывать при анализе объектов.
ПРАКТИЧЕСКИЕ РЕЗУЛЬТАТЫ
Рассмотренные подходы к вычислению результирующей экспертной оценки, а также классификация мнений экспертов были реализованы в пакете STATISTICA 6.0 на языке STATISTICS Visual Basic в виде модуля анализа экспертных ранжировок, который позволяет совершать следующие операции.
1. Находить точную медиану Кемени, как в классе строгих, так и в классе нестрогих ранжировок.
2. Вычислять результирующую ранжировку на основе медианы, суммы, среднего арифметического рангов альтернатив.
3. Классифицировать мнения экспертов иерархическими агломеративными методами (метод Уорда, метод «ближнего соседа», метод «дальнего соседа» и др.), вычислять для каждой из подгрупп экспертов результирующую оценку. Классификация производится с учетом нечисловой природы ранжировок.
4. Использовать методы многомерного шкалирования [1] для снижения размерности задачи и представления мнений экспертов в двух- и трехмерном пространстве. Шкалирование производится с учетом нечисловой природы ранжировок.
5. Рассчитывать коэффициент конкордации как меру согласованности группы экспертов и ранговые корреляции [2].
Рассмотрим на примере использование предлагаемого подхода. Объектом исследования выступило издание «Вкусные истории», целевой аудиторией которого являются женщины 30-50 лет. Цель исследования — изучить предпочтения читателей относительно рубрик журнала. На роль респондентов были приглашены 20 женщин в возрасте от 22 до 50 лет. Методом исследования были выбраны фокус-группы. В ходе работы, помимо вопросов, имеющих целью оценить общую привлекательность издания, респондентам предлагалось упорядочить рубрики журнала «Вкусные истории» числами от 1 до 12 по степени их привлекательности. На основании полученных результатов заказчик предполагал сделать вывод о необходимых изменениях в редакционной политике и корректировке рубрик в последующих номерах.
Исследовались следующие рубрики.
1. Актуально. Освещение вопросов о продуктах питания и сезонных событиях.
2. Детская комната. Все о питании детей.
3. Вкус жизни. Что и как принимать в пищу с пользой.
4. Мифы и реальность. Разрушаем стереотипы.
5. Здоровые новости. Новинки продуктового рынка и приготовления продуктов.
6. Будь в курсе. Заметки разнообразного характера.
7. Витрина. Полная характеристика того или иного продукта.
8. Мир кухни. Модные тенденции, традиционное оформление.
9. Тест-клуб. Познаем себя. 1 0. На закуску. Мини-рассказы на продуктовую тему.
11. Вкусно и интересно. Мифы, факты, рекорды, «полезности».
12. Отдохни. Юмор, акции, афиши.
Первоначально анализ ранжировок проводился с помощью метода многомерного шкалирования, двухмерная диаграмма которого изображена на рис. 1.
Кругами на рисунке отмечены респонденты, давшие резко отличающиеся от других мнения — «статистические выбросы». В практике анализа данных такие наблюдения обычно исключаются из дальнейшего рассмотрения. В нашем случае точки зрения этих участников исследования также не учитывались, но были детально изучены с целью интерпретации полученных отклонений.
После исключения из рассмотрения «выбросов» была построена классификация мнений респондентов при помощи ряда иерархических агломеративных методов («ближнего соседа», «дальнего соседа», Уорда и др.), которые дали в точности одинаковые разбиения, что свидетельствует о высокой статистической устойчивости результатов классификации. В качестве примера на рис. 2 приведена дендрограмма, построенная по методу «дальнего соседа». Рис. 1 и рис. 2 показывают, что мнения респондентов разделились на две группы. Это позволило сформулировать гипотезу о разнородности читательской аудитории и возможности более точного позиционирования продукта за счет выбора целевых сегментов.
Итоговое мнение для всей выборки в целом и каждой из групп представлены на рис. 3, порядок рангов прямой.
Примечательно, что итоговое мнение, полученное как медиана Кемени, отличается от ранжировок, вычисленных по медиане, среднему арифметическому значению и сумме рангов. На рис. 4 изображены профили указанных итоговых оценок для объектов группы 1. Ранжирования путем вычисления суммы и среднего арифметического рангов совпадают и на графике отмечены одной линией. Полученные результаты доказывают, что при вычислении итоговой ранжировки не следует использовать традиционные подходы. Это приводит к неправильным результатам и. как следствие, ошибкам при принятии решения в дальнейшем.
Как показывает сравнение методов вычисления итогового ранжирования, при использовании традиционного метода рубрики «Вкус жизни», «Мир кухни» и «Детская комната» получают более низкие оценки, нежели при использовании метода анализа экспертной информации. В контексте решения задач редакционной политики выявление такого расхождения имеет скорее иллюстративный характер и вряд ли существенно повлияет на изменение характера издания, Л при исследованиях, в которых ранжированию подвергаются маркетинговые альтернативы, связанные с денежными затратами, игнорирование подобных расхождений может быть связано с неэффективным расходованием маркетинговых бюджетов. Не исключены ситуации, при которых различие рангов может иметь принципиальный характер.
ЗАКЛЮЧЕНИЕ
Подводя итоги, можно сделать вывод о перспективности использования метода анализа экспертных ранжировок при проведении качественных маркетинговых исследований. Рассмотренные подходы могут быть использованы при работе с фокус-группами, проведении глубинных и экспертных интервью, для построения рейтингов. Более того, методы получения и анализа экспертной информации следует применять для решения и других задач в подобных исследованиях. Результаты количественных исследований, если они предполагают упорядочение объектов путем ранжирования, также могут быть подвержены анализу с применением описываемых выше подходов.
Автор: Перевозчиков С.В.
генеральный директор маркетинговой компании «Реформа». (г.Воронеж)
Белов К.А. к.т.н. начальник сектора обработки информации маркетинговой
компании «Реформа»
Статья из журанала «Маркетинг и маркетинговые исследования» 06(66)2006
1. Айвазян С. А. и др. Прикладная статистика: исследование зависимостей. — М.: Финансы и статистика, 1985. —487 с.
2. Айвазян С. А. и др. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989. — 607 с.
3. Галицкий Е. Б. Методы маркетинговых исследований. — М.: Институт Фонда «Общественное мнение», 2004. — 398 с.
4. Кемени Дж., Снелл Дж. Кибернетическое моделирование: некоторые приложения. — М.: Советское радио, 1972. — 192 с.
5. Литвак Б. Г. Экспертная информация. Методы получения и анализа. — М.: Радио и связь, 1982. — 184 с.
6. Литвак Б. Г. Экспертные технологии в управлении. — М.: Дело, 2004. — 400 с.
7. Миркин Б. Г. Анализ качественных признаков. Математические модели и методы. — М.: Статистика, 1976. — 166 с.
8. Орлов А. И. Устойчивость в социально-экономических моделях. — М.: Наука, 1979. — 296 с.
9. Орлов А. И. Нечисловая статистика. — М.: МЗ-Пресс, 2004. — 345 с.
