CATI или CAWI: телефонный опрос или онлайн, что выбрать
Чем телефонный опрос отличается от онлайн-опроса, кому лучше звонить, кого проще найти по ссылке и как получать честные данные в обоих случаях.
«Сколько человек надо опросить?» Этот вопрос задают первым, и обычно в надежде услышать одно волшебное число. Волшебного числа нет. Есть простой расчёт, и он зависит от того, что вы собираетесь делать с результатами.
Представьте, что вы хотите узнать, какая доля жителей города пользуется Госуслугами. Опросить всех невозможно, поэтому опрашивают часть и переносят результат на всех. Чем больше людей в опросе, тем меньше результат «гуляет» от случая к случаю.
Допустим, в опросе получилось 92%. Это не значит, что в городе ровно 92%. Настоящее значение, скорее всего, лежит где-то рядом, например, от 88% до 96%. Эта ширина и называется погрешностью, в данном случае ±4%. А «скорее всего» обычно означает 95 шансов из 100. Это доверительная вероятность, её почти всегда берут равной 95%.
Для большой аудитории всё сводится к одной строчке:
n = z² · p · (1 − p) / E²
где E — допустимая погрешность, z = 1,96 (для 95%), а p — ожидаемая доля. Если вы заранее не знаете, чего ждать, берите p = 50%. Это самый строгий вариант: выборка получится побольше, зато не подведёт.
При таких значениях формула превращается в правило на салфетке: n ≈ 0,96 / E². Хотите ±5%? Считаем 0,96 / 0,0025 и получаем 385 человек.
Для 95% уверенности и p = 50%:
| Нужная погрешность | Респондентов |
|---|---|
| ±10% | 97 |
| ±7% | 196 |
| ±5% | 385 |
| ±4% | 601 |
| ±3% | 1 068 |
| ±2% | 2 401 |
| ±1% | 9 604 |
И наоборот, какую точность даёт выборка, которая у вас уже есть:
| Респондентов | Погрешность |
|---|---|
| 100 | ±9,8% |
| 200 | ±6,9% |
| 400 | ±4,9% |
| 1 000 | ±3,1% |
| 1 500 | ±2,5% |
Посмотрите, как неохотно растёт точность. Чтобы сделать погрешность вдвое меньше, выборку надо увеличить вчетверо. Из ±5% в ±2,5% вы переезжаете с 385 человек на 1 540.
Формула выше предполагает, что людей «миллионы». Если вы опрашиваете сотрудников компании или клиентов узкой ниши, можно обойтись меньшим:
n = n₀ / (1 + (n₀ − 1) / N)
Здесь n₀ — результат по обычной формуле, N — сколько людей в аудитории. Для n₀ = 385:
| Размер аудитории | Нужно опросить |
|---|---|
| 200 | 132 |
| 300 | 169 |
| 500 | 218 |
| 2 000 | 323 |
Поправка чувствуется, когда вы опрашиваете больше 5% от всех. Для рынка в миллионы человек она ничего не меняет.
Это то, на чём спотыкаются чаще всего. Вы посчитали 385 человек и довольны. А потом захотели посмотреть отдельно Москву, Питер, Казань и Новосибирск. В каждом городе оказалось человек по 96, а погрешность там уже около ±10%.
Точность определяется размером именно той группы, которую вы смотрите. Хотите ±5% в четырёх городах, нужно 4 × 385 = 1 540 человек. Плюс сравнивать две группы между собой сложнее, чем оценивать долю в каждой: погрешность разницы примерно в 1,4 раза больше.
Поэтому первый вопрос перед расчётом звучит не «сколько людей?», а «какие сравнения мы хотим сделать по итогам?».
Она предполагает случайную выборку. Опрос, который вы выложили в соцсетях, случайным не является: ответят те, кто вас читает и кому не лень. Погрешность для такого опроса формально не посчитать. Тут важнее, из кого состоит выборка. Поэтому задают квоты по полу, возрасту и региону и при необходимости взвешивают данные.
Формула не знает и про отказы с браком. Не все согласятся отвечать, а часть анкет придётся выкинуть, например, от тех, кто прокликал всё за две минуты. Запас на это лучше заложить заранее.
И, конечно, ни одна формула не спасёт плохие вопросы. Если вопрос подсказывает ответ, хоть на 10 000 человек его задайте, вы получите красивые цифры про то, что вы сами же и написали.
Опрос на 10 000 человек даёт ±1%. Нужна ли такая точность? Обычно нет. Решения принимаются, когда разница между вариантами исчисляется десятками процентов. Если 62% выбирают вариант А и 31% вариант Б, спорить о том, что на самом деле 61% или 63%, странно. Бюджет разумнее потратить на аккуратную выборку и хорошую анкету.
Если хотите посчитать выборку под свою задачу и бюджет, расскажите о ней. Подскажем, какой метод выбрать и сколько людей действительно нужно. Подробности на странице опросов CATI и CAWI.
Чтобы оценить одну долю с погрешностью ±5% при 95% уверенности, хватит около 385 человек. Для ±3% нужно около 1 070. Если вы хотите сравнивать группы, эти цифры нужны на каждую группу отдельно.
Почти нет. Что для рынка в 100 тысяч человек, что для рынка в 100 миллионов, нужно примерно одинаково. Размер аудитории начинает влиять, только если она совсем небольшая, скажем, несколько сотен человек.
Честно согласиться на более грубую точность, например ±7–10%, и читать результат как направление, а не как точные проценты. Или добавить к опросу несколько интервью, они хорошо объясняют цифры.
Предложим метод, выборку и сроки под вашу задачу и бюджет. Цену называем до начала работ.
Чем телефонный опрос отличается от онлайн-опроса, кому лучше звонить, кого проще найти по ссылке и как получать честные данные в обоих случаях.
Как проверить, что сайтом или приложением удобно пользоваться: сколько людей позвать, как писать задачи, что говорить во время теста и как расставить приоритеты по найденным проблемам.