چند سؤال جدی درباره نظرسنجی‌ها
این روزها گزارش‌هایی که «متا» با عنوان نظرسنجی منتشر می‌کند، مبنای برخی تحلیل‌ها و حتی حمله به رسانه‌ملی قرار گرفته است. به نظرم قبل از هر قضاوتی، بد نیست یک‌بار با دقت بیشتری به روش تولید این داده‌ها و خود اعداد منتشرشده نگاه کنیم.
محسن شاکری‌نژاد - رئیس مرکز تحقیقات صداوسیما
براساس اطلاعاتی که در سایت متا منتشر شده، این مرکز در حال حاضر یک پانل حدود ۲۰ هزار نفری دارد. سازوکار فعالیت آن نیز به این‌گونه است که از اعضای این پانل دعوت می‌شود در یک بازه زمانی مشخص به صفحه یا سایت مرکز مراجعه کنند و به سؤالات پاسخ دهند و متناسب با میزان مشارکت، مشوق‌هایی نیز برای آنها در نظر گرفته می‌شود.
اینجا یک نکته روش‌شناختی بسیار مهم وجود دارد: پانل بودن یک نمونه، به‌خودی‌خود به معنای نماینده بودن آن برای کل جامعه نیست. در مطالعات پانل، یک گروه ثابت از افراد در چند مقطع زمانی بررسی می‌شوند. این‌که این گروه تا چه اندازه می‌تواند نماینده کل جامعه باشد، به نحوه انتخاب اعضا، ترکیب جمعیتی آنها، حجم نمونه، میزان ریزش اعضا و در صورت لزوم، وزن‌دهی آماری بستگی دارد.
برای این‌که بتوان نتایج یک مطالعه پانل را به یک جامعه بزرگ‌تر تعمیم داد، باید بدانیم اعضای نمونه چگونه و با چه روشی انتخاب شده‌اند؛ آیا این فرآیند احتمالی و علمی بوده است؟ آیا ترکیب پانل از نظر استان، شهر و روستا، سن، جنسیت، تحصیلات و وضعیت اقتصادی با جامعه هدف همخوانی دارد؟ آیا گروه‌هایی که دسترسی یا مشارکت کمتری در فضای آنلاین دارند در نمونه به اندازه کافی حضور کافی یافته‌اند؟ و در نهایت، آیا ریزش اعضای پانل در طول زمان می‌تواند نمایندگی نمونه را تحت تأثیر قرار داده باشد؟
فرض کنید بخواهیم نظر دانشجویان یک کشور را بررسی کنیم. اگر از ابتدا یک نمونه تصادفی و نماینده از دانشجویان انتخاب کنیم و همان افراد را در چند سال متوالی مورد بررسی قرار دهیم، یک مطالعه پانل می‌تواند مبنای مناسبی برای تعمیم نتایج باشد اما اگر افراد به شکل داوطلبانه یا غیرتصادفی وارد پانل شده باشند، نمی‌توان صرفا با استناد به تعداد آنها، نتایج را با اطمینان به کل جامعه تعمیم داد. بنابراین مسأله اصلی، ۲۰ هزار نفر یا ۲۰۰ هزار نفر بودن پانل نیست؛ مسأله اصلی سوگیری پوشش است.
اگر یک پانل صرفا از کاربران اینترنت، اعضای یک پلتفرم یا داوطلبانی تشکیل شده باشد که خودشان برای حضور در یک نظرسنجی آنلاین ثبت‌نام کرده‌اند، تعداد زیاد اعضا لزوما به معنای نمایندگی کل جامعه ایران نیست. چون این افراد ممکن است از نظر سن، محل سکونت، تحصیلات، دسترسی به اینترنت، میزان استفاده از فضای مجازی و حتی علاقه به مشارکت در نظرسنجی‌های آنلاین، با کل جامعه تفاوت داشته باشند.
البته یک پانل آنلاین می‌تواند برای برآوردهای ملی مورد استفاده قرار گیرد؛ به شرط آن‌که نمونه‌گیری اولیه علمی باشد، سهم گروه‌های مختلف جمعیتی متناسب با جامعه تنظیم شود، گروه‌های کمتر پوشش داده‌‌شده به‌درستی در تحلیل مورد لحاظ قرار گیرند، ریزش اعضا کنترل شود و جامعه هدف دقیقا مشخص باشد.
وزن‌دهی آماری هم می‌تواند تا حدی عدم تطابق نمونه با ساختار جمعیت را اصلاح کند اما یک نکته را نباید فراموش کرد: وزن‌دهی نمی‌تواند یک نمونه‌گیری اساسا نامناسب را به‌طور کامل جبران کند. به همین دلیل، درباره گزارش‌هایی که متا تحت عنوان «نظرسنجی» منتشر می‌کند، یک سؤال کاملا روشن دارم:
اگر پانل متا ۲۰ هزار عضو دارد، در هر نظرسنجی دقیقا برای چند نفر از این ۲۰ هزار نفر دعوت‌نامه ارسال شده است؟ چند نفر دعوت را پذیرفته‌اند؟ چند نفر واقعا به سؤالات پاسخ داده‌اند؟ ترکیب جمعیتی این پاسخ‌دهندگان چیست؟ چند‌درصد آنها زن و مرد هستند؟ چه توزیع سنی و تحصیلی دارند؟ از کدام استان‌ها و شهرها هستند؟ و اساسا چه میزان از جامعه ایران از نظر سواد و دسترسی دیجیتال، امکان مشارکت در چنین نظرسنجی‌هایی را دارد؟ این اطلاعات برای ارزیابی اعتبار و قابلیت تعمیم یک نظرسنجی بسیار مهم است.
اما یک سؤال دیگر، حتی از این هم جدی‌تر است. به کسانی که برخی گزارش‌های متا را مستمسک حمله به رسانه‌ملی قرار داده‌اند، پیشنهاد می‌کنم یک بار دیگر خود گزارش را با دقت بیشتری بخوانند. ضمن احترام کامل به مخاطبان همه برنامه‌های صداوسیما، در همین گزارش ادعا شده است که میزان مخاطب برنامه‌هایی مانند «به وقت ایران» و «حسینیه معلی» از برنامه «جام ۲۶» که پخش‌کننده مسابقات فوتبال جام‌جهانی بوده، بیشتر است.
اینجا یک نکته روش‌شناختی بسیار مهم وجود دارد: پانل بودن یک نمونه، به‌خودی‌خود به معنای نماینده بودن آن برای کل جامعه نیست. در مطالعات پانل، یک گروه ثابت از افراد در چند مقطع زمانی بررسی می‌شوند. این‌که این گروه تا چه اندازه می‌تواند نماینده کل جامعه باشد، به نحوه انتخاب اعضا، ترکیب جمعیتی آنها، حجم نمونه، میزان ریزش اعضا و در صورت لزوم، وزن‌دهی آماری بستگی دارد.
برای این‌که بتوان نتایج یک مطالعه پانل را به یک جامعه بزرگ‌تر تعمیم داد، باید بدانیم اعضای نمونه چگونه و با چه روشی انتخاب شده‌اند؛ آیا این فرآیند احتمالی و علمی بوده است؟ آیا ترکیب پانل از نظر استان، شهر و روستا، سن، جنسیت، تحصیلات و وضعیت اقتصادی با جامعه هدف همخوانی دارد؟ آیا گروه‌هایی که دسترسی یا مشارکت کمتری در فضای آنلاین دارند در نمونه به اندازه کافی حضور کافی یافته‌اند؟ و در نهایت، آیا ریزش اعضای پانل در طول زمان می‌تواند نمایندگی نمونه را تحت تأثیر قرار داده باشد؟
فرض کنید بخواهیم نظر دانشجویان یک کشور را بررسی کنیم. اگر از ابتدا یک نمونه تصادفی و نماینده از دانشجویان انتخاب کنیم و همان افراد را در چند سال متوالی مورد بررسی قرار دهیم، یک مطالعه پانل می‌تواند مبنای مناسبی برای تعمیم نتایج باشد اما اگر افراد به شکل داوطلبانه یا غیرتصادفی وارد پانل شده باشند، نمی‌توان صرفا با استناد به تعداد آنها، نتایج را با اطمینان به کل جامعه تعمیم داد. بنابراین مسأله اصلی، ۲۰ هزار نفر یا ۲۰۰ هزار نفر بودن پانل نیست؛ مسأله اصلی سوگیری پوشش است.
اگر یک پانل صرفا از کاربران اینترنت، اعضای یک پلتفرم یا داوطلبانی تشکیل شده باشد که خودشان برای حضور در یک نظرسنجی آنلاین ثبت‌نام کرده‌اند، تعداد زیاد اعضا لزوما به معنای نمایندگی کل جامعه ایران نیست. چون این افراد ممکن است از نظر سن، محل سکونت، تحصیلات، دسترسی به اینترنت، میزان استفاده از فضای مجازی و حتی علاقه به مشارکت در نظرسنجی‌های آنلاین، با کل جامعه تفاوت داشته باشند.
البته یک پانل آنلاین می‌تواند برای برآوردهای ملی مورد استفاده قرار گیرد؛ به شرط آن‌که نمونه‌گیری اولیه علمی باشد، سهم گروه‌های مختلف جمعیتی متناسب با جامعه تنظیم شود، گروه‌های کمتر پوشش داده‌‌شده به‌درستی در تحلیل مورد لحاظ قرار گیرند، ریزش اعضا کنترل شود و جامعه هدف دقیقا مشخص باشد.
وزن‌دهی آماری هم می‌تواند تا حدی عدم تطابق نمونه با ساختار جمعیت را اصلاح کند اما یک نکته را نباید فراموش کرد: وزن‌دهی نمی‌تواند یک نمونه‌گیری اساسا نامناسب را به‌طور کامل جبران کند. به همین دلیل، درباره گزارش‌هایی که متا تحت عنوان «نظرسنجی» منتشر می‌کند، یک سؤال کاملا روشن دارم:
اگر پانل متا ۲۰ هزار عضو دارد، در هر نظرسنجی دقیقا برای چند نفر از این ۲۰ هزار نفر دعوت‌نامه ارسال شده است؟ چند نفر دعوت را پذیرفته‌اند؟ چند نفر واقعا به سؤالات پاسخ داده‌اند؟ ترکیب جمعیتی این پاسخ‌دهندگان چیست؟ چند‌درصد آنها زن و مرد هستند؟ چه توزیع سنی و تحصیلی دارند؟ از کدام استان‌ها و شهرها هستند؟ و اساسا چه میزان از جامعه ایران از نظر سواد و دسترسی دیجیتال، امکان مشارکت در چنین نظرسنجی‌هایی را دارد؟ این اطلاعات برای ارزیابی اعتبار و قابلیت تعمیم یک نظرسنجی بسیار مهم است.
اما یک سؤال دیگر، حتی از این هم جدی‌تر است. به کسانی که برخی گزارش‌های متا را مستمسک حمله به رسانه‌ملی قرار داده‌اند، پیشنهاد می‌کنم یک بار دیگر خود گزارش را با دقت بیشتری بخوانند. ضمن احترام کامل به مخاطبان همه برنامه‌های صداوسیما، در همین گزارش ادعا شده است که میزان مخاطب برنامه‌هایی مانند «به وقت ایران» و «حسینیه معلی» از برنامه «جام ۲۶» که پخش‌کننده مسابقات فوتبال جام‌جهانی بوده، بیشتر است.
