Аналіз валідності у сучасними дослідниками. Валідність якісних методів. - Дослідницька тріангуляція

У сенсі слова валідність, тобто. обґрунтованість методу означає відповідність одержуваних з його допомогою емпіричних даних основним цілям дослідження. Питання про валідність якісних методів у попередні роки було сильно заплутане фахівцями з математичної статистики, які поширили специфічні статистичні критерії валідності на класи завдань та дослідницьких ситуацій, що не мають нічого спільного з ідеальними об'єктами типу різнокольорових куль, що виймаються з кошика, якими оперує теорі.

Перш ніж перейти до опису якісних досліджень, особливо групових, слід охарактеризувати їхню відмінність від кількісних досліджень. Щоб зрозуміти ці відмінності повніше, необхідно розібратися в тому, що, власне, є помилкою дослідження.

Кількісні соціологічні дослідження є різновидом досліджень, основу яких лежить математична теорія ймовірності. Серед аксіоматичних передумов цієї теорії є дуже важлива передумова у тому, що різницю між аналізованими об'єктами обмежені фіксованим набором дискретних ознак. Наприклад, кулі, що лежать у кошику, різняться за кольором, розміром та намальованими на них цифрами. Люди, відповідно, можуть відрізнятися за своїми демографічним ознаками, установкам тощо., причому важливо зазначити, що у будь-якому конкретному анкетному опитуванні набір ознак обмежений кількістю квантифікованих питань анкети, проте інші можливі ознаки передбачаються ідентичними.

Основним критерієм, характеризує дослідження статистичного типу, є надійність, тобто. відтворюваність отриманих результатів. Якщо провести повторне опитування за тією самою методикою у тій самій соціальній групі, і результати обох опитувань будуть ідентичними – значить, вони надійні. Сьогодні ніхто не заперечує той факт, що при правильно проведеному масовому репрезентативному опитуванні за допомогою формалізованих анкет автоматично досягається високий рівень відтворюваності результатів. Проте питання їхньої валідності цим далеко не вичерпується.

У математичній соціології валідність дослідження прийнято трактувати як ступінь відповідності засобу виміру того, що підлягало виміру. Словник пояснює далі, що у строгому значенні слова валідизація можлива лише за наявності незалежного зовнішнього критерію, але така ситуація у соціології є рідкістю. В інших випадках валідність результатів кількісних опитувань є лише гіпотезою, оцінка ступеня правдоподібності якої немає нічого спільного з математичними і статистичними процедурами. Низький ступінь правдоподібності багатьох неявних змістовних гіпотез, що латентно закладаються дослідниками у формулювання та структуру формалізованих питань, а часом і повна відсутність такої правдоподібності є дуже серйозною і погано усвідомленою проблемою.

Отже, статистичну надійність результатів кількісних досліджень годі було плутати зі своїми надійністю і обгрунтованістю у сенсі цього терміну. Строго кажучи, кількісні дослідження надійні лише тією мірою, як і саму проблему надійності вдається звести до її статистичного тлумачення. Якщо така інформація не вдалося або в принципі неможлива, кількісні дані стають вкрай ненадійною основою висновків.

Порівнюючи кількісні та якісні методи з погляду їх валідності, слід передусім зазначити, що сфери їхнього валідного застосування не збігаються один з одним. Це робить безглуздим узагальнене порівняння їх за критерієм валідності. Існують класи завдань, у яких кількісні методи мають високу, а якісні низькою валідністю. Разом про те існують - і це аспект зазвичай слабко підкреслюється навіть у спеціальній літературі - інші класи завдань, у яких зазначене співвідношення прямо протилежно.

Різнорідність масиву забезпечується участю кількох десятків респондентів, що вже дає підстави для приблизного розподілу однотипних відповідей за тричленною або п'ятичленною шкалою: явна меншість, меншість приблизно порівну, більшість, явна більшість. Головне, однак, не в цьому. Специфіка масиву первинних даних групових інтерв'ю полягає в тому, що:

1. Одиницею аналізу не респондент, а висловлювання. Оскільки кожен респондент є носієм багатьох висловлювань, це, як мінімум, значно збільшує масив первинних аналітичних одиниць, роблячи його статистично значущим.

2. До завдання якісних досліджень не входить визначення чисельності чи питомої ваги носіїв тієї чи іншої точки зору у суспільстві чи його сегменті. Стосовно такого класу проблем якісні методи є невалідними.

Завданням якісних методів є формування списку про «гіпотез існування», тобто. списку думок, оцінок чи висловлювань, існуючиху суспільстві та, імовірно, мають не нульовий ступінь поширення. При цьому, як зазначає Д.Темплтон, краще помилитися, виявивши неіснуючий або малозначущий фактор, ніж упустити високозначний.

Як і переважна більшість прикладних статистичних завдань, дане завдання не розв'язується без певних попередніх знань про характер частотного розподілу епітетів, що шукаються, а також без деяких апріорних припущень. Залежно від практичної зручності вибору тієї чи іншої системи припущень сама постановка завдання може змінюватись. Поглиблення в це питання виходить за рамки нашої теми, оскільки в прикладних дослідженнях, що здійснюються за допомогою методу фокус-груп, статистичний апарат, подібний до описаного вище, якщо десь і застосовується, то лише у вузькоспеціальних дослідженнях, далеких від сфери застосування маркетингових фокус- груп. Основних причин бачиться дві. Перша - застосування такого апарату сильно дорожчає дослідження, а комерційний замовник не схильний оплачувати математичні «краси», якщо вони не впливають на кінцеві висновки. З низки причин, які будуть описані нижче, і замовники, і дослідники вважають цілком достатньою орієнтацію на наступний суб'єктивний критерій: якщо кількість нової інформації, що отримується від кожної наступної групи, різко впала, дослідження слід припиняти.

Друга причина набагато фундаментальніша. Вона пов'язана з тим, що сьогодні строго операційне і вичленування, що піддається автоматизації, з текстів смислових одиниць можливе лише на рівні слів і стійких словосполучень. Виокремлення, угруповання і тапологізація складніших смислових одиниць, що здійснюються на аналітичній стадії якісного соціологічного дослідження, можуть виконуватися тільки людиною на основі ще не вивчених несвідомих інтелектуальних алгоритмів. Швидкий прогрес у розвитку комп'ютерних програм автоматизованого перекладу дозволяє припустити, що з часом стане здійсненним автоматизоване розпізнавання дедалі складніших смислових одиниць. Однак на практику фокус-групових досліджень ця робота поки не має жодного впливу. При вивченні літератури з маркетингових фокус-груп ми жодного разу не зустрічалися зі згадкою про застосування контент-аналізу в будь-якій формі. У галузі академічних досліджень такі згадки є, проте вивчення цього питання потребує спеціальної роботи. Зазначимо тут же, що на початку 90-х років найсучаснішою роботою за методами комп'ютерного контент-аналізу вважалася робота Вебера .

Резюмуючи, звернемося до питання визначення областей валідних кількісних та якісних досліджень. Вище було показано, що це області принципово різні, оскільки радикально різні розв'язувані ними класи завдань. Область валідного застосування формалізованих опитувань тільки здається безмежною чи дуже широкою. Насправді вона обмежена виявленням ступеня поширеності тих чи інших знань, думок чи установок, які:

а) мають бути відомі заздалегідь, тобто. до проведення опитування;

б) не повинні бути нав'язуваною респонденту фікцією чи псевдосудженнями, не властивими його свідомості.

Для виявлення самого факту існування знань, думок чи установок кількісні методи непридатні, що видно з наступного порівняння результатів опитування.

Більшість дослідників, які працюють з якісними методами, вважають, що різні люди мають різні, але однаково валідні інтерпретації реальності, сформовані контекстом, в якому вони живуть, культурою та досвідом.

Як тоді визначати валідність інструменту? Є лише одна можливість – всім представникам різних точок зору спробувати об'єднати певні єдині критерії. Що досить складно з огляду на те, що різні дослідники виходять з різних посилок і користуються різними стратегіями. Наприклад, grounded theory повинна працювати з досить великою вибіркою та засновувати аналіз на широкому ряді даних. А дискурсний аналіз, навпаки, базується на глибинному вивченні окремих (небагатьох) фрагментів тексту. В аналізі розмови можуть досліджуватися лінгвістичні особливості, а можуть – глибинні соціокультурні смисли.

Іноді до якісних методів помилково намагаються застосовувати критерії валідності кількісних методів, особливо об'єктивність, надійність та статистичну узагальнюваність.

Працюючи з кількісними методами, дослідники застосовують безліч засобів, щоб виключити байєси, а також усунути особистість дослідника (добитися повної об'єктивності та усунення). У якісній парадигмі дослідники вірять, що дослідник НЕПОМИЛЬНО впливає на процес отримання даних, вже тим самим, що формулює дослідницький питання, вибирає метод отримання та аналізу даних, а також інтерпретує їх. Більше того, у якісних методах вплив дослідника необхідний, наприклад, у глибинному інтерв'ю, де потрібно отримати суб'єктивний досвід респондента, або під час аналізу розмови, мета якої – виявити приховані чи неусвідомлювані змісти. Так що в якісних досл. дослідники намагаються отримати максимальну вигоду з особистої залученості (замість того, щоб щоразу за тією ж схемою намагатися її контролювати), одночасно аналізуючи, як саме впливав дослідник на процес. Тож об'єктивність критерієм валідності для Кач. М. не є.

Те, що у Кіль. М. називається розкидом помилки і теж має бути максимально виключено, в Кач. М. саме це іноді є об'єктом інтересу і називається «індивідуальними відмінностями» або відмінностями поведінки у різних контекстах і є окремою темою для вивчення. Тож і генералізація даних теж може бути критерієм валідності в Кач. М.

З іншого боку, і в Кач., і в Кіль. М. дослідники сподіваються, що отримані ними дані можна буде генералізувати. Абсолютно унікальне дослідження, непридатне до жодної іншої ситуації, навряд чи має сенс. У цьому Кіль. М. з метою можливості узагальнення збирають дані з великої вибірки, тоді як Кач. М. рідко працюють із великими групами. Дослідники в цьому випадку йдуть не шляхом статистичного узагальнення, а теоретичним, логічним, «вертикальним» шляхом. Тобто. вони не чекають, що виявлене ними точно повториться в іншій вибірці, але сподіваються, що їхні відкриття, отримані в одному контексті, будуть корисні і в інших, але чимось подібних до першого. Оскільки контексти можуть відрізнятися за багатьма параметрами, але все ж таки сходитися в чомусь одному, поняття узагальнюваності в даному випадку набуває широти і гнучкості.

На даний момент розроблено низку методів для підвищення валідності якісних інструментів. Це не жорсткі рамки, яких слід триматися, але набір корисних засобів, якими можна користуватися, вибираючи залежно від свого дослідницького питання та методу. Підвищення валідності необхідно а) для загального обґрунтування парадигми, щоб показати, що вона тримається на надійній основі і заслуговує на довіру не менше, ніж кількісна і б) щоб викликати більше довіри у громадськості та замовників досліджень.

В·Тріангуляція.

Термін взято з навігації, де він означав обчислення місцезнаходження за трьома різними точками. Таким чином, тріангуляція в дослідженнях – спосіб підтвердити висловлювання (оцінки, судження) однієї людини або групи за допомогою суджень інших. Наприклад, людина пов'язує свої психологічні проблеми із зовнішніми подіями; можна доповнити його розповідь, проінтерв'ювавши також членів його сім'ї. Оскільки Кач. Дослідники часто вважають, що кожна з їхніх оповідань буде валідною, навіть якщо всі вони різні, то тріангуляція – не спосіб визначити правдивість однієї розповіді, але спосіб розширити розуміння описуваного явища, подивитися на нього з різних точок зору. Наприклад, людина дає свій опис якихось подій як причини психологічних проблем; члени його сім'ї можуть зробити свій внесок, розповівши, як особистість і життєвий досвід першого респондента вплинули на їхнє власне переживання даних подій.

Можна збирати інформацію про щось одне з різних груп (або людей), а можна збирати інформацію про одну подію, але в різний час, як лонгітюд.

В· Порівняння кодування, яким користуються дослідники.

Порівняння способів кодування, які використовують різні дослідники - теж спосіб тріангуляції. Це дозволяє переконатися, що аналіз не зводиться до чиїхось уявлень і буде доступним іншим людям. Якщо дослідник займається кодуванням будь-якого матеріалу, йому слід обговорювати спосіб кодування з іншими учасниками дослідження, які мають доступ до сирого матеріалу. Це дозволяє не пропустити жодних важливих мотивів, а також зробити кодування більш ясним, послідовним і зручним для аналізу.

Іноді кілька дослідників незалежно кодують дані, а потім результати зіставляються і таким чином визначається inter-rater reliability (не знаю, як перекласти). Між двома кодуваннями вираховується Каппа Коена (коефіцієнт згоди експертів). Якщо вона вища за 0,8, надійність дуже велика.

В· Фідбек від респондентів.

Ще називається respondent validation. Респондентів просять дати свій коментар щодо проведеного аналізу. Це цінний спосіб залучення учасників до дослідження, а також дозволяє переконатися, що респондентів правильно зрозуміли. Але спосіб не завжди доречний, наприклад, якщо аналіз повинен виявляти протиріччя між судженнями респондентів, приховані значення, лінгвістичні та інші особливості їхньої розповіді – все це респонденти просто не можуть зрозуміти (або їм не потрібно знати).

В· Аналіз випадають випадків.

Якісний аналіз зазвичай є індуктивним процесом виділення тем і патернів з масиву даних. На цей процес неминуче впливають інтереси, уявлення та цілі дослідників. Коли такий аналіз проведено, корисно пошукати суперечать усьому випадки (девіантні кейси), тобто. дані, у яких з'являються загальні всім інших теми і патерни (грубо кажучи, людина каже щось зовсім інше, ніж інші).

Випадковим випадкам потрібно приділяти велику увагу і фіксувати їх, щоб врахувати весь масив даних, а не ті, що підходять під гіпотезу дослідження. Наприклад: дослідження присвячене впливу фізичних вправ. Уся група каже, що від вправ їм круто та весело, а дві людини – що їм погано і не подобається. У генеральній сукупності ці дві людини становлять набагато більше випадків; до того ж, це дає підстави провести нове дослідження на тему «за яких умов фізичні вправи шкідливі або неприємні».

В· Паперовий слід.

Має бути спосіб показати зв'язок між сирими даними та кінцевими звітами (щоб усе було відображено акуратно). І тому можна зберігати «паперовий слід» аналізу, що відбиває всі стадії аналізу (проміжні документи): як кодувалися дані, як ставилося дослідницький питання, як інтерпретувалися дані та ін.

Сторінка 8 з 30

Валідність якісних методів

У широкому значенні слова валідність методу- відповідність одержуваних з його допомогою емпіричних даних основним цілям дослідження. Питання про валідність якісних методів у попередні роки було сильно заплутане фахівцями з математичної статистики, які поширили специфічні статистичні критерії валідності на класи завдань та дослідницьких ситуацій, що не мають нічого спільного з ідеальними об'єктами типу різнокольорових куль, що виймаються з кошика, якими оперує теорі. Якісні методи- методи, орієнтовані не так на масовий збір даних, але в досягнення поглибленого розуміння досліджуваних соціальних явищ.

Кількісні соціологічні дослідження є різновидом досліджень, основу яких лежить математична теорія ймовірності. Серед аксіоматичних передумов цієї теорії є дуже важлива передумова у тому, що різницю між аналізованими об'єктами обмежені фіксованим набором дискретних ознак. Наприклад, кулі, що лежать у кошику, різняться за кольором, розміром та намальованими на них цифрами. Люди, відповідно, можуть відрізнятися за своїми демографічним ознаками, установкам тощо., причому важливо відзначити, що у будь-якому конкретному анкетному опитуванні набір ознак обмежений кількістю квантифікованих питань анкети, проте інші можливі ознаки передбачаються ідентичними.

Основним критерієм, характеризує дослідження статистичного типу, є надійність, тобто. відтворюваність отриманих результатів. Якщо провести повторне опитування за тією ж методикою в тій самій соціальній групі та результати обох опитувань будуть ідентичні, ? отже, вони надійні. Сьогодні ніхто не заперечує той факт, що при правильно проведеному масовому репрезентативному опитуванні за допомогою формалізованих анкет автоматично досягається високий рівень відтворюваності результатів. Проте питання їхньої валідності цим далеко не вичерпується.

У математичній соціології валідність дослідження- Ступінь відповідності засобу вимірювання тому, що підлягало виміру. У строгому значенні слова валідизація можлива лише за наявності незалежного зовнішнього критерію, але така ситуація у соціології є рідкістю. В інших випадках валідність результатів кількісних опитувань є лише гіпотезою, оцінка ступеня правдоподібності якої немає нічого спільного з математичними і статистичними процедурами. Низький ступінь правдоподібності багатьох неявних змістовних гіпотез, що латентно закладаються дослідниками у формулювання та структуру формалізованих питань, а часом і повна відсутність такої правдоподібності є дуже серйозною і погано усвідомленою проблемою.

Отже, статистичну надійність результатів кількісних досліджень годі було плутати зі своїми надійністю і обгрунтованістю у сенсі цього терміну. Строго кажучи, кількісні дослідження надійні лише тією мірою, як і саму проблему надійності вдається звести до її статистичного тлумачення. Якщо така інформація не вдалося або в принципі неможливо, то кількісні дані стають вкрай ненадійною основою висновків.

Зазначені обмеження, що накладаються на валідність кількісних методів дослідження, не беруться до уваги позитивістською методологією, яка визнає за кількісними методами безумовний пріоритет, вважаючи їх (і лише їх) достовірними та доказовими. Ця традиція спирається на комплекс уявлень, що розглядають формування концепцій як детерміновану індуктивну процедуру сходження від фактів до узагальнюючої теорії. Орієнтація позитивістської методології на кількісні методи дослідження випливає з уявлення необхідність суворої фіксації досліджуваних " фактів " .

Правомірність використання якісних методів у межах кількісного підходу визнається, але, як кажуть, на допоміжних ролях. У методичних описах, зроблених із позицій кількісного підходу, постійно наголошується, що наукові дані, отримані за допомогою таких методів, є попередніми, недостовірними тощо. Зрозуміло, за подібними твердженнями стоять певні обґрунтування, проте накопичений за десятиліття досвід емпіричної роботи показує, що ці обґрунтування у багатьох відношеннях є недостатньо глибокими.

Визначення якісного методологічного підходу наведемо в наступному формуванні:

Якісний аналіз у широкому значенні слова- характер здійснення соціологічного дослідження, при якому основний акцент робиться на теоретичних ресурсах соціології, індивідуальному досвіді, спостереженні та інтуїції, традиційних засобах філософського та логічного аналізу категорій і понять, історичних зіставленнях, використанні особистих та офіційних документів.

На відміну від кількісної, якісна традиція, яка може бути охарактеризована як інтуїтивістська, схильна розглядати утворення концептуальних уявлень як процес формування образів. Як зазначає Д. Кемпбелл, підкреслення в епістемології якісного розпізнавання образу як вихідного по відношенню до розпізнавання його атомарних частинок, які можуть бути квантифікованими, ґрунтується на здатності людини формувати цілісне уявлення (гештальт) про об'єкт, що досліджується, в умовах неминуче неповної та суперечливої. Якісні методи виконують низку важливих функцій, недооцінених у межах кількісної методології.

Причини усунення пріоритету у бік використання якісних методів в якісній методології в певному сенсі носять емпіричний характер, оскільки ці причини є реакцією професійного співтовариства на низьку наукову результативність багатьох досліджень, виконаних соціологами, які явно або неявно перебувають під впливом кількісного підходу. За останні десятиліття такий досвід було накопичено як за кордоном, так і в нашій країні.

Отже, порівнюючи кількісні та якісні методи з погляду їхньої валідності, слід, перш за все, відзначити, що сфери їхнього валідного застосування не збігаються один з одним. Це робить безглуздим узагальнене порівняння їх за критерієм валідності. Існують класи завдань, у яких кількісні методи мають високу, а якісні низькою валідністю. Натомість існують? і цей аспект зазвичай слабо наголошується навіть у спеціальній літературі? інші класи завдань, у яких зазначене співвідношення прямо протилежне.

До завдання нашого підручника не входить розгляд питань методології якісних методів взагалі. Специфіка фокус-груп, а також індивідуальних глибоких інтерв'ю, якщо вони проводяться великими серіями, полягає в тому, що до них принаймні теоретично також застосовні статистичні критерії обґрунтованості, хоча й інші, ніж у кількісних дослідженнях.

Текстові розшифровки серії групових інтерв'ю, проведених на певну тему, утворюють масив первинних даних обсягом кілька сотень сторінок. Цей масив цілком придатний для аналізу із застосуванням статистичних методів як з погляду його розмірів, і з погляду різнорідності. Різнорідність масиву забезпечується участю кількох десятків респондентів, що вже дає підстави для приблизного розподілу однотипних відповідей за тричленною або п'ятичленною шкалою: явна меншість, меншість приблизно порівну, більшість, явна більшість. Головне, однак, не в цьому. Специфіка масиву первинних даних групових інтерв'ю полягає в тому, що:

Завданням якісних методів є формування списку так званих «гіпотез існування»(думок, оцінок чи висловлювань, що у суспільстві і, предположітельно, мають нульову ступінь поширення). При цьому, як зазначає Д. Темплтон, краще помилитися, виявивши неіснуючий або малозначущий фактор, ніж упустити високозначний.

Математичний апарат, пристосований на вирішення завдань подібного типу, у принципі добре відомий. Він використовується в лінгвістці при складанні списків звуків та складів, а також частотних словників слів та словосполучень. Цей апарат використовується й у соціологічних дослідженнях, здійснюваних з допомогою контент-аналізу(Аналіз змісту комунікації, що передбачає таку класифікацію досліджуваного змісту, яка дозволяла б виявити його основну структуру). Цей термін застосовується скоріше до аналізу документів або візуального матеріалу, ніж даних інтерв'ю, проте подібна техніка може застосовуватися і при вивченні відповідей на відкриті запитання, які ставляться під час проведення обстеження. Дослідники виробляють низку категорій, що характеризують досліджувані питання, та був класифікують аналізований зміст відповідно до цими предзаданными категоріями. При цьому категорії повинні бути визначені якомога чіткіше, щоб звести до мінімуму зсув, що виникає в результаті суб'єктивних суджень різних дослідників. Така техніка дозволяє отримати певні кількісні дані, які можуть бути піддані комп'ютерної обробки та статистичного аналізу.

Математична постановка завдання виглядає приблизно так: «Є кандидат у президенти А, про якого пишуть у газетах. Потрібно скласти якнайповніший список епітетів, якими автори статей характеризують даного кандидата. Який обсяг газетних текстів слід вивчити, щоб із ймовірністю 95% кількість невиявлених епітетів не перевищила 5%?»

Перша? застосування такого апарату сильно дорожчає дослідження, а комерційний замовник не схильний оплачувати математичні «краси», якщо вони не впливають на кінцеві висновки. З низки причин, які будуть описані нижче, і замовники, і дослідники вважають цілком достатньою орієнтацію на наступний суб'єктивний критерій: якщо кількість нової інформації, що отримується від кожної наступної групи, різко впала, дослідження слід припиняти.

Друга причина набагато фундаментальніша. Вона пов'язана з тим, що сьогодні строго операційне і вичленування, що піддається автоматизації, з текстів смислових одиниць можливе лише на рівні слів і стійких словосполучень. Виокремлення, угруповання і топологізація складніших смислових одиниць, що здійснюються на аналітичній стадії якісного соціологічного дослідження, можуть виконуватися тільки людиною на основі ще не вивчених несвідомих інтелектуальних алгоритмів. Швидкий прогрес у розвитку комп'ютерних програм автоматизованого перекладу дозволяє припустити, що з часом стане здійсненним автоматизоване розпізнавання дедалі складніших смислових одиниць. Однак на практику фокус-групових досліджень ця робота поки не має жодного впливу. При вивченні літератури з маркетингових фокус-груп ми жодного разу не зустрічалися зі згадкою про застосування контент-аналізу в будь-якій формі. В галузі академічних досліджень такі згадки є, проте вивчення цього питання потребує спеціальної роботи.

Завершуючи розгляд питання про валідність якісних методів, звернемося до питання визначення областей валідних кількісних та якісних досліджень. Вище було показано, що це області принципово різні, оскільки радикально різні розв'язувані ними класи завдань. Область валідного застосування формалізованих опитувань тільки здається безмежною чи дуже широкою. Насправді вона обмежена виявленням ступеня поширеності тих чи інших знань, думок чи установок, які:

а) мають бути відомі заздалегідь, тобто. до проведення опитування;

б) не повинні бути нав'язуваною респонденту фікцією або псевдосудження, не властивими його свідомості.

А. Кількісне дослідження

Запитання:Що Ви віддаєте перевагу? яблучний пиріг або шоколадний кекс (% до опитаних)?

Яблучний пиріг? 26%

Шоколадний кекс – 22%

І те, й інше – 43%

Важко відповісти? 9%

Б. Якісне дослідження

Запитання:Що Ви віддаєте перевагу? яблучний пиріг чи шоколадний кекс?

Відповідь:Я не знаю. Я люблю і те, й інше.

Запитання:Добре, якщо вам треба взяти щось одне, що це буде? Подумайте.

Відповідь:Звісно, пироги різняться. Якщо у мене буде можливість взяти яблучний пиріг моєї мами, то я віддаю перевагу його будь-якому шоколадному кексу. Якщо потрібно взяти якийсь яблучний пиріг, то я точно не знаю.

Запитання:Від чого може залежати Ваш вибір?

Відповідь:Наприклад, це залежить від того, що я їм на обід. Якщо маю повний обід, я думаю, що візьму яблучний пиріг. Яблучний пиріг? це великий делікатес у моїй родині. Але якщо на обід я їв щось легке, на кшталт риби, то краще взяти кекс. Якщо холодно, я не відмовлюся від шоколадного кексу.

Наведений діалог добре ілюструє той факт, що проста відповідь «Я вибираю яблучний пиріг» залежить від багатьох факторів у цьому випадку? від того, хто приготував цей пиріг, від ступеня голоду, густини обіду, температури навколишнього середовища. Цей список може бути продовжений. Але, як і в багатьох інших випадках, кількість таких факторів або, принаймні, найпоширеніших із них, мабуть, не дуже велика. Завданням якісного дослідження, як говорилося, є виявлення списку цих чинників з розумною мірою повноти. У цій галузі якісні дослідження мають високий рівень валідності. Визначення частотного розподілу дії виявлених факторів у популяції, що вивчається? справа кількісного дослідження. Важливі, однак, два застереження:

а) з практичної точки зору витрати на проведення кількісного дослідження можуть перевищувати очікуваний ризик від ухвалення вольового рішення, заснованого на менш точній інформації;

б) адекватна трансформація виявлених факторів у питання формалізованої анкети часто утруднена або неможлива, причому часто надзвичайно важко навіть визначити можливий ступінь цієї неадекватності.

Ці обставини нерідко знижують валідність кількісних досліджень настільки, що їх проведення стає недоцільним.

Лише у випадках, коли гіпотеза про валідність формулювань питань формалізованих анкет виглядає обгрунтованою чи правдоподібною, кількісне дослідження може дати валідний результат, що дозволяє прийняти рішення, засноване на точнішої інформації.

Резюмуючи розгляд питання щодо валідності якісних методів, сформулюємо висновки:

1. До завдання якісних досліджень не входить визначення чисельності чи питомої ваги носіїв тієї чи іншої точки зору у суспільстві чи його сегменті. Стосовно такого класу проблем якісні методи є невалідними. Їхнім завданням є формування списку так званих «гіпотез існування».

2. Область валідного застосування кількісних методів обмежена виявленням ступеня поширеності тих чи інших знань, думок чи установок, а чи не самого факту існування.

Індекс матеріалу

У широкому значенні слова валідність, т. е. обгрунтованість методу, означає своєрідність одержуваних з його допомогою емпіричних даних основним цілям дослідження. Питання про валідність якісних методів у попередні роки був сильно заплутаний фахівцями з математичної статистики, які поширили вельми специфічні статистичні критерії валідності на класи завдань і дослідницьких ситуацій, що не мають нічого спільного з ідеальними об'єктами типу вийманих з кошиків. імовірності.

Перш ніж перейти до опису якісних досліджень, особливо групових, слід охарактеризувати їхню відмінність від кількісних досліджень. Щоб зрозуміти ці відмінності повніше, дуже важливо розібратися в тому, що, власне кажучи, буде «помилкою» дослідження.

Кількісні соціологічні дослідження будуть різновидом досліджень, на підставі яких лежить математична теорія ймовірності. Серед аксіоматичних передумов цієї теорії є дуже важлива передумова у тому, що різницю між аналізованими об'єктами обмежені фіксованим набором дискретних ознак. Наприклад, кулі, що лежать у кошику, різняться за кольором, розміром та намальованими на них цифрами. Люди, власне, можуть відрізнятися за своїми демографічним ознаками, установкам тощо. буд. , причому важливо відзначити, що у будь-якому конкретному анкетному опитуванні набір ознак обмежений кількістю квантифицированных питань анкети, проте прочие.

Основним критерієм, що характеризує дослідження статистичного типу, буде надійність, тобто відтворюваність одержаних результатів. Якщо провести повторне опитування за тією ж методикою в тій самій соціальній групі, і результати обох опитувань будуть ідентичні - значить, вони надійні. Сьогодні ніхто не заперечує той факт, що при правильно проведеному масовому репрезентативному опитуванні за допомогою формалізованих анкет автоматично досягається високий рівень відтворюваності результатів. При цьому питання їхньої валідності даним далеко не вичерпується.

У математичній соціології валідність дослідження прийнято трактувати як ступінь специфічності засоби вимірювання тому, що підлягало вимірюванню. Словник пояснює далі, що у строгому значенні слова валідизація можлива виключно за наявності незалежного зовнішнього критерію, але така ситуація в соціології буде рідкістю. У решті випадків валідність результатів кількісних опитувань буде лише гіпотезою, оцінка ступеня правдоподібності кислою немає нічого спільного з математичними і статистичними процедурами. Низький ступінь правдоподібності багатьох неявних змістовних гіпотез, що латентно закладаються дослідниками у формулювання та структуру формалізованих питань, а часом і повна відсутність такої правдоподібності буде дуже серйозною і погано усвідомленою проблемою.

Отже, статистичну надійність результатів кількісних досліджень годі було плутати зі своїми надійністю і обгрунтованістю у сенсі цього слова. Строго кажучи, кількісні дослідження надійні виключно тією мірою, як і саму проблему надійності вдається звести до її статистичного тлумачення. Якщо така інформація не вдалося або в принципі неможлива, кількісні дані стають вкрай ненадійною основою для висновків.

Порівнюючи кількісні та якісні методи з позиції їх валідності, слід передусім зазначити, що сфери їхнього валідного застосування не збігаються один з одним. Це робить безглуздим узагальнене порівняння їх за критерієм валідності. Існують класи завдань, в яких кількісні методи мають високу, а якісні низькою валідністю. Разом про те існують - і цей аспект зазвичай слабко підкреслюється навіть у спеціальній літературі - інші класи завдань, у яких зазначене співвідношення прямо протилежно.

До завдання нашого підручника не входить розгляд питань методології якісних методів взагалі. Специфіка фокус-груп, а також індивідуальних глибоких інтерв'ю, якщо вони проводяться великими серіями, полягає по суті в тому, що до них принаймні теоретично також застосовні статистичні критерії обґрунтованості, хоча й інші, ніж у кількісних дослідженнях.

Зазначимо, що текстові розшифрування серії групових інтерв'ю, проведених на певну тему, утворюють масив первинних даних обсягом кілька сотень сторінок. Цей масив цілком придатний для аналізу із застосуванням статистичних методів як з погляду його розмірів, так і з позиції різнорідності. Різнорідність масиву забезпечується участю кількох десятків респондентів, що вже дає підстави для приблизного розподілу однотипних відповідей за тричленною або п'ятичленною шкалою: явна меншість, меншість приблизно порівну, більшість, явна більшість. Головне, проте, полягає над цим. Специфіка масиву первинних даних групових інтерв'ю полягає в тому, що:

1. Одиницею аналізу буде респондент, а висловлювання. Оскільки кожен респондент буде носієм багатьох висловлювань, це, як мінімум, значно збільшує масив первинних аналітичних одиниць, роблячи його статистично значущим.

2. До завдання якісних досліджень не входить визначення чисельності чи питомої ваги носіїв тієї чи іншої позиції у суспільстві чи його сегменті. Стосовно такого класу проблем якісні методи є невалідними.

Завданням якісних методів буде формування списку про «гіпотез існування», т. е. списку думок, оцінок чи висловлювань, що у суспільстві і, імовірно, мають нульовий ступінь поширення. У цьому, як зазначає Д. Зазначимо, що темплтон, краще помилитися, виявивши неіснуючий чи малозначимий чинник, ніж упустити високозначний.

Математичний апарат, пристосований на вирішення завдань подібного типу, у принципі добре відомий. Варто зауважити, що він використовується в лінгвістці при складанні списків звуків та складів, а також частотних словників слів та словосполучень. Цей апарат використовується і в соціологічних дослідженнях, що здійснюються за допомогою контент-аналізу. Щодо останнього випадку математична постановка завдання виглядає приблизно так: «Є кандидат у президенти А, про яке пишуть в газетах. Потрібно скласти якнайповніший перелік епітетів, якими автори статей характеризують даного кандидата. Який обсяг газетних текстів слід вивчити, коли з ймовірністю 95% кількість невиявлених епітетів не перевищила 5%?»

Як і переважна більшість прикладних статистичних завдань, це завдання не розв'язується без певних попередніх знань про характер частотного розподілу шуканих епітетів, а також без деяких апріорних припущень. Враховуючи залежність від практичної зручності вибору тієї чи іншої системи припущень сама постановка завдання може змінюватись. Заглиблення в це питання виходить за рамки нашої теми, оскільки в прикладних дослідженнях, що здійснюються за допомогою методу фокус-груп, статистичний апарат, подібний до описаного вище, якщо десь і застосовується, то виключно у вузькоспеціальних дослідженнях, далеких від сфери застосування маркетингових фокус -груп.
Варто зазначити, що основних причин цьому бачиться дві. Перша - застосування такого апарату сильно дорожчає дослідження, а комерційний замовник не схильний оплачувати математичні «краси», якщо вони не впливають на кінцеві висновки. З низки причин, які будуть описані нижче, і замовники, і дослідники вважають цілком достатньою орієнтацію на наступний суб'єктивний критерій: якщо кількість нової інформації, одержуваної від кожної наступної групи, різко впала, дослідження слід припиняти.

Друга причина набагато фундаментальніша. Варто зауважити, що вона пов'язана з тим, що сьогодні строго операційне і вичленування, що піддається автоматизації, з текстів смислових одиниць можливе лише на рівні слів і стійких словосполучень. Виокремлення, угруповання і топологізація складніших смислових одиниць, здійснювані на аналітичній стадії якісного соціологічного дослідження, можуть виконуватися лише людиною з урахуванням ще вивчених несвідомих інтелектуальних алгоритмів. Швидкий прогрес у розвитку комп'ютерних програм автоматизованого перекладу дозволяє припустити, що з часом стане здійсненним автоматизоване розпізнавання дедалі складніших смислових одиниць. При цьому на практику фокус-групових досліджень ця робота поки не має жодного впливу. При вивченні літератури з маркетингових фокус-груп ми жодного разу не зустрічалися зі згадкою про застосування контент-аналізу в будь-якій формі. У галузі академічних досліджень такі згадки є, проте вивчення цього питання потребує спеціальної роботи. Зазначимо тут же, що на початку 90-х років найсучаснішою роботою за методами комп'ютерного контент-аналізу вважалася робота Вебера.

Резюмуючи, звернемося до питання визначення областей валідних кількісних та якісних досліджень. Вище було показано, що ці області принципово різні, оскільки радикально різні класи завдань, які вони вирішують. Область валідного застосування формалізованих опитувань тільки здається безмежною чи дуже широкою. Насправді вона обмежена виявленням ступеня поширеності тих чи інших знань, думок або установок, які:

а) повинні бути відомі заздалегідь, тобто до опитування;

б) повинні бути нав'язуваної респонденту фікцією чи псевдосудженнями, не властивими його свідомості.

А. Кількісне дослідження

Питання: Що Ви віддаєте перевагу - яблучний пиріг чи шоколадний кекс? (% до опитаних)

Яблучний пиріг - 26%

Шоколадний кекс – 22%

І те, й інше – 43%

Важко відповісти - 9%

Б. Якісне дослідження

Питання: Що Ви віддаєте перевагу - яблучний пиріг чи шоколадний кекс?

Відповідь: Я не знаю. Я люблю і те, й інше.

Питання: Добре, якщо Не варто забувати, що вам треба взяти щось одне, що це буде? Подумайте.

Відповідь: Звичайно, пироги різняться. Якщо у мене буде можливість взяти яблучний пиріг моєї мами, то я віддаю перевагу його будь-якому шоколадному кексу. Якщо дуже важливо взяти якийсь яблучний пиріг, то я точно не знаю.

Питання: Від чого може залежати Не варто забувати, що ваш вибір?

Відповідь: Наприклад, це залежить від того, що я їм на обід. Якщо у мене повний обід, я думаю, що візьму яблучний пиріг. Яблучний пиріг - це великий делікатес у моїй сім'ї. Але якщо на обід я їв щось легке, на кшталт риби, то краще взяти кекс. Якщо холодно, я не відмовлюся від шоколадного кексу.

Наведений діалог добре ілюструє те що, що простий відповідь «Я вибираю яблучний пиріг» залежить від багатьох чинників, у разі - від цього, хто приготував цей пиріг, від ступеня голоду, щільності обіду, температури довкілля. Цей список може бути продовжений. Але, як і в багатьох інших випадках, кількість таких факторів або, принаймні, найпоширеніших із них, мабуть, не дуже велика. Завданням якісного дослідження, як говорилося, буде виявлення списку даних чинників з розумною мірою повноти. У цій галузі якісні дослідження мають високий рівень валідності. Доречно відзначити, що визначення частотного розподілу дії виявлених факторів у популяції, що вивчається, - справа кількісного дослідження. Не варто забувати, що важливі, однак, два застереження:

а) з практичної позиції витрати на проведення кількісного дослідження можуть перевищувати очікуваний ризик прийняття вольового рішення, заснованого на менш точної інформації;

б) адекватна трансформація виявлених чинників у питання формалізованої анкети часто утруднена чи неможлива, причому часто надзвичайно важко навіть визначити можливу ступінь своєї неадекватності.

У моїй пошті накопичилося достатньо питань, де є прохання дати пораду, як забезпечити достовірність та валідність якісного дослідження. Коли 90-х гг. ми розпочинали регулярні польові дослідження із застосуванням якісного підходу, сама постановка питання про їхню валідність і достовірність була несподіваною, т.к. ці поняття використовувалися переважно для кількісних досліджень.

У широкому значенні і найчастіше, під валідністю розуміють ступінь відповідності всього того, що дослідник робить, вивчаючи свій предмет, тому, що з цим предметом (явленням) відбувається насправді. У кількісних дослідженнях це означає правильність виміру (конструктна валідність) та виразність логічних зв'язок між причинами та наслідками (зовнішня та внутрішня валідність).

Тим, хто пов'язав у своєму питанні валідність та достовірність, можливо, буде цікаво познайомитися з поглядами відомих методологів якісного підходу, наприклад, Лінкольна, Губи чи Паттона, які трактували валідність у якісних дослідженнях саме як достовірність. Щоправда, ототожнити повністю валідність та достовірність не виходить через різні підходи авторів до розуміння достовірності. Наприклад, до внутрішньої валідності ще якось можна віднести конвенційну достовірність, як результат конвенції різних дослідників щодо відповідності обраних іміметодів цілям і завданням дослідження або загальну згоду з операціоналізацією основних понять та з інтерпретацією сенсу отриманих даних.

Інший підхід забезпечення достовірності вже претендує на об'єктивність, тому що вимагає підтвердження результатів дослідження відомостями, отриманими з різних джерел, включаючи документи, статистику або «свідоцтва незалежних експертів». механізмів і висновків на ширший соціальний контекст.

Розберемо питання про валідність та достовірність на прикладі, який якось прижився в нашій «школі-студії польового дослідника».

приклад.

Перед дослідницької групою поставлено завдання, вивчити випадок жорстокого поводження персоналу дитячого будинку з підопічними, зрозуміти причини і дати, по можливості, прогноз про ймовірність поширення цього негативного явища в інших закладах. Для дослідників ця тема нова, тільки в одного з них був досвід участі у дослідженні причин «дідівщини» в армії. Термін дослідження – 2 місяці. Група вибирає якісний спосіб дослідження – інтерв'ю і спостереження, т.к. знання предмета дослідження та продуктивних гіпотез, придатних для перевірки в анкетному опитуванні практично немає.

Подивимося на дослідницький процес з т.з забезпечення достовірності результатів та їх відповідності «реальності» як картину розгортання симптомів «невалідності» та «недостовірності» якісного дослідження. Розуміння того, що вважати невалідністю та недостовірністю в дослідженні, має допомогти розумінню того, що робить результати дослідження достовірними та валідними.

Симптом 1

Перше, що може з самого початку створити проблеми з валідністю та достовірністю - це відсутність конвенції в дослідній групі щодо термінів і понять, їх операціоналізації, теоретичних рамокрозуміння соціальних механізмів жорстокості, факторів її виникнення, уявлень про інституційний устрій дитячого будинку, питань вибірки та ін. це проблема невміння чи небажання зайнятися методичною рефлексією своїх уявлень на тему дослідження до виходу в «полі».

Щоб не говорили прихильники йти в поле без гіпотез, «з чистого листа», неможливо уявити повну відсутність у них повсякденних та наукових уявлень про це явище. Особливо розчулює, коли вони висувають до виходу в поле гайд. Уявіть собі список питань, за якими не стоять ніякі припущення про феномен, що вивчається. Звідки тоді в гайді питання про контроль роботи персоналу, про матеріальне забезпечення закладу чи контингент вихованців?

Це означає, що ми бачимо перший симптом розвитку «недостовірності». Виходить, що не вникнувши суть проблеми, дослідники кидаються в поле, не маючи достатнього наукового та дослідницького багажу з даної проблематики. Вони не узгодили ключові дослідницькі питання та первинні гіпотези, не побудували моделі вибірки, щоб уникнути «хибної снігової грудки». Вони не відпрацювали навички ведення інтерв'ю, спостереження, фіксування питань з урахуванням специфіки об'єкта тощо.

Найчастіше цей симптом проявляється у труднощах дослідника пояснити, навіщо він ставить ці питання, і що буде робити з відповідями, чому вирішив опитати саме цих респондентів, а не інших. спосіб «вживання», тобто. поступове неквапливе знайомство з об'єктом дослідження. Систематичні спостереження, багаторазові інтерв'ю, випадкові бесіди, польові щоденники допомогли б вибудувати гіпотези, підібрати адекватні інструменти дослідження, замислитися над теорією, намітити вибірку та ін.

Але т.к. для цього часу немає, то в результаті ми бачимо, що дослідник складає питання як список походу в супермаркет «що б ще не забути запитати, раптом знадобиться». Причому, кожен член групи, незважаючи на наявність «загального гіда», часто ставить свої власні питання, називаючи все це глибинним інтерв'ю. Вибірка, у цьому випадку, це випадкові «захоплення» респондента за принципом «кого знайдемо – хто погодився відповідати». Через війну високий ризик появи «неправдивих снігових грудок» і «хибної насиченості», коли наприкінці дослідження з'ясовується, що опитали не тих, хто потрібен чи втрачені ключові респонденти з цієї теме.Наприклад, багато інтерв'ю з вихованцями і адміністрацією, але відсутня думка членів опікунського ради, слідчого, який проводив розслідування, представників органів соц. захисту – кураторів закладу тощо.

Першу проблему Паттон (Patton) називає проблемою методичної суворості (rigorous methods). У нашому випадку - це прозорість логіки використання методів дослідження, дотримання правил застосування та загальних принципів обраного методу відповідно до ресурсів часу, цілей та завдань дослідження.

А друга проблема - це проблема наявності необхідного знання, навичок, вміння, досвіду, продуктивності самого дослідника. Паттон наявність такого «бекграунду» точно позначив як «достовірність самого дослідника» (credibility of the researcher). Це дуже важливо задля розуміння специфіки поняття достовірність у якісних дослідженнях, т.к. дає у відповідь питання, виходячи з чого ми маємо довіряти суб'єктивності дослідника;

Симптом2

Припустимо, що це проблеми польового етапу подолано. Дослідники опитали всіх «гравців на цьому полі», відповідно до своєї моделі (наприклад, такий як наша «восьмивіконна вибірка»). Вони опитали експертів з насильства дітей, адміністрацію дит.будинку, вихователів, опікунів, самих вихованців, представників правопорядку тощо. У результаті став зрозумілим соціальний механізм, який призвів до цієї нагоди. Основні фактори: слабкий контроль наглядових органів за виховною роботою персоналу, порушення у відборі вихователів, скорочення бюджету на утримання вихованців, закритість закладу від громадськості, відсутність можливості для ізоляції (перекладу) вихованців з девіантною (відхиляється) поведінкою, внаслідок психосоматичних порушень.

Чи можна довіряти цим результатам? Відповідь негативна.Т.к. згідно К. Попперу теорія не фальсифікована. Потрібні докази, що саме ці фактори пов'язані з випадком жорстокості. Як їх добути? Очевидно, нам доведеться вирушити до дитбудинку, де не було подібних випадків і переконатися, що там відсутні виділені нами фактори. До речі, Максвелл називав таке встановлення взаємозв'язку між використовуваними поняттями «теоретичною валідністю».

Сімтом 3.

Встановлення стійкого взаємозв'язку між зазначеними факторами, виявлена у двох випадках є важливим кроком для забезпечення достовірності всього дослідження, але недостатнім для поширення на інші об'єкти. Ми можемо вважати, що ми з'явилася теорія середнього рівня, але треба її перевірити іншими методами. В ідеалі це має бути методична тріангуляція із застосуванням кількісно-якісного підходу. Наприклад, аналіз статистики у кримінальних справах у подібних випадках, аналіз тематичних статей у ЗМІ та Інтернеті, вивчення спеціальної літератури, експертне опитування. Загалом, ми маємо досягти підтвердження своїх результатів даними з інших джерел, тобто. «confirmability» та можливості перенесення цієї пояснювальної моделі на інші об'єкти (transferability) по Губі та Лінкольну.

Симптом 4.

Припустимо, що аналіз вторинних даних та експертна думка підтвердила наші висновки щодо цього випадку, але одним із завдань дослідження є прогноз на ймовірність виникнення нових випадків у різних регіонах РФ. Дати такий прогноз – це піддати свою «теорію» найжорсткішої перевірки на достовірність.

Для цього ми вирушаємо до чиновників із міністерства соц. політиці, фінансів та ін. центральних держ. установ курируючих подітий. вдома і запитуємо їх щодо «випадків жорстокості», йдеться про зміни у планованому бюджеті, контролю, вирішенням кадрових питань, тобто. за тими факторами, які ми виявили. Якщо дізнаємося, що за фактом все залишиться на колишньому рівні, то йдемо до експертів, здатних прокоментувати цю ситуацію і дати свій прогноз на її розвиток. .

Поєднуючи ці дані, ми робимо прогноз, який може претендувати на достовірність дослідження. Якщо прогноз підтвердиться, це можна вважати важливим свідченням валідності дослідницьких процедур і достовірності отриманих даних і висновків. У випадку, коли прогноз не підтвердився або частково, то слід переглянути свої підходи і наявні моделі.

1) Однак буває так, що методично все виконано «строго» і «достовірність дослідників» достатня для вирішення даних завдань, але з'явилися нові обставини, нові фактори, яких не було в період проведення дослідження або на той момент вони були малозначущі. , не тільки для оцінки продуктивності дослідження, але і для того,щоб, як писав Паттон, не втратити «philosophical belief in the value of qualitative inquiry».Переконаність дослідника у правильності методологічних позицій якісного підходу у дослідженнях, його повне прийняття теоретичних парадигм, у яких базуються ці методи, на думку Паттона, також є умовою достовірності якісного дослідження.