پارادوکس سیمپسون؛ وقتی که آمار و ارقام حقیقت را به شما نمی‌گویند

آخر هفته است و قرار است به‌همراه یکی از دوستانتان به رستوران رفته و شام را آن‌جا در کنارهم بخورید. شما از کیفیت رستوران‌های اطراف خود اطلاعی ندارید، بنابراین تصمیم می‌گیرید سراغ یکی از سایت‌ها یا اپلیکیشن‌های بررسی رستوران رفته و با مقایسه امتیازها، تصمیم بگیرید که شام را کجا بخورید.

در نهایت تصمیم می‌گیرید تا یکی از دو رستوران زیر را انتخاب کنید. نتیجه رضایت‌مندی مشتریان این رستوران‌ها در جدول زیر داده شده است:

	رستوران آبی	رستوران قرمز
میزان رضایت کلی	۶۲.۵ ٪	۵۴ ٪

احتمالا شما پس از مشاهده این بررسی، رستوران آبی را انتخاب می‌کنید. چرا که درصد رضایت آن بالاتر بوده است. (در هر دو رای‌گیری تعداد افراد یکسانی شرکت کرده‌اند).

حال کمی از فضای رستوران و شام آخر هفته فاصله بگیریم و مسئله را از چشم یک دانشمند داده بررسی کنیم. در گام اول افرادی که در این نظرسنجی شرکت کرده‌اند را به دو دسته «زن» و «مرد» تقسیم و مسئله را تفکیک می‌کنیم. اکنون جدول زیر بدست می‌آید:

	رستوران آبی	رستوران قرمز
مردان	۳۳.۳ ٪ ۵۰/۱۵۰	۵۰ ٪ ۱۸۰/۳۶۰
زنان	۸۰ ٪ ۲۰۰/۲۵۰	۹۰ ٪ ۳۶/۴۰
میزان رضایت کلی	۶۲.۵ ٪ ۲۵۰/۴۰۰	۵۴ ٪ ۲۱۶/۴۰۰

اتفاق جالبی در حال رخ دادن است! رستوران قرمز که رضایت کلی کمتری نسبت به رضایت آبی داشت، از هر دو دسته مردان و زنان درصد رضایت بیشتری را کسب کرده است. همچنین دقت داشته باشید که تعداد کل افرادی که هر دو رستوران از آن‌ها رضایت‌سنجی کرده، مساوی و برابر ۴۰۰ نفر است.

این پدیده را در ریاضیات پارادوکس سیمپسون می‌نامند. این موضوع در علم آمار-ریاضی اهمیت بسیار زیادی دارد، چرا که دقیقا در جایی که شما گمان می‌کنید داده‌محور حرکت کرده‌اید و مبتنی بر نتایج بدست آمده یک گزینه را انتخاب کرده‌اید، دچار خطا شده‌اید. در مثال ذکر شده، اگر درصد رضایت را به‌عنوان ملاک برتری رستوران قرار دهیم، رستوران قرمز هم در میان مردان و هم در میان زنان درصد بالاتری را کسب کرده است، اما درصد رضایت کل آن از رستوران آبی کمتر است.

چه زمانی پارادوکس سیمپسون رخ می‌دهد؟

به‌طور کلی پارادوکس سیمپسون هنگامی رخ می‌دهد که دو رویداد را به چند دسته تقسیم کنیم و وزن دسته‌های متناظر یکسان نباشد. همچنین این پارادوکس زمانی رخ می‌دهد که متغیر و دلیلی در رویداد وجود داشته است و آن را هنگام بررسی ریاضیاتی در نظر نگرفته‌ایم. پارادوکس سیمپسون به ما نشان می‌دهد که استفاده محض از داده‌ها به تنهایی کافی نیست و باید داستان پشت پرده داده‌ها را دانست تا بتوان به تصمیم درست رسید. به‌عبارت دیگر، اگر می‌خواهیم داده‌محور عمل کنیم، نیاز است تصویر کاملی از داده‌های موجود نظیر نحوه گردآوری داده‌ها، عوامل موثر بر داده‌ها، متغیرهای پنهان و ... داشته باشیم. در غیر این صورت ممکن است با تحلیل داد‌ه‌های ناقص، تصمیمی بگیریم که ما را به اشتباه و گمراهی بکشاند. در ادامه این مقاله چند مثال واقعی‌تر از تاثیر پارادوکس سیمپسون در حوزه‌های مختلف را مورد بررسی قرار می‌دهیم و با اهمیت آن آشنا می‌شویم. در پایان نیز نگاهی جبری‌تر به بحث از ریاضیات می‌اندازیم.

کدام روش درمانی موثرتر است؟

فرض کنید دو روش درمانی A و B برای بیماری سنگ کلیه وجود دارد. به این دو روش درمانی به عنوان محصول نگاه می‌کنیم و میزان اثربخشی هر یک را بررسی کرده تا در نهایت تصمیم بگیریم که از کدام یک استفاده کنیم. به‌همین منظور از دستیار خود خواسته‌ایم که گزارشی از موفقیت‌آمیز بودن این دو روش درمانی در مقایسه با یک‌دیگر آماده کند. دستیار میزان موفقیت‌آمیز بودن این دو روش درمانی را در ۳۵۰ عمل کلیه ارائه می‌دهد.

	روش درمانی A	روش درمانی B
میزان موفقیت	۷۸ ٪ ۲۷۳/۳۵۰	۸۳ ٪ ۲۸۹/۳۵۰

آیا این اطلاعات برای تصمیم‌گیری در رابطه با استفاده از روش درمانی کافی است؟ قطعا خیر! این اطلاعات به‌شدت ناقص و گمراه‌کننده است.

می‌دانیم که عمل‌های سنگ کلیه به دو دسته‌بندی، سنگ‌های کوچک و بزرگ تقسیم می‌شوند. لازم به ذکر است، افرادی که سنگ‌های کوچک دارند به‌طور کلی شانس موفقیت بیشتر و حال عمومی بهتری دارند. در سوی دیگر عمل سنگ‌های بزرگ سخت‌تر و پر ریسک‌تر است و افرادی که به این نوع سنگ دچار هستند، حال عمومی‌شان نسبتا وخیم است. اکنون اطلاعات اولیه‌ را به‌شکل دسته‌بندی شده بررسی می‌کنیم:

	روش درمانی A	روش درمانی B
میزان موفقیت در عمل سنگ کوچک	۹۳ ٪ ۸۱/۸۷	۸۷ ٪ ۲۳۴/۲۷۰
میزان موفقیت در عمل سنگ بزرگ	۷۳ ٪ ۱۹۲/۲۶۳	۶۹ ٪ ۵۵/۸۰
میزان موفقیت تجمیعی	۷۸ ٪ ۲۷۳/۳۵۰	۸۳ ٪ ۲۸۹/۳۵۰

نتایج بدست آمده شگفت‌انگیزند! روش درمانی A که در ابتدا ناکارمدتر از روش درمانی B به نظر می‌رسد، در هر دو عمل سنگ‌های کوچک و بزرگ موفقیت‌آمیزتر بوده است. حال این سوال پیش می‌آید که چرا درصد موفقیت روش B به‌صورت تجمیعی بیشتر از روش A است؟ پاسخ این سوال در همان نکته‌ای است که در ابتدای مقاله ذکر کردیم، یعنی متغیر و دلیل پنهانی که آن را در نظر نگرفته‌ایم.

روش درمانی A هجومی‌تر از روش B است، بنابراین بیشتر عمل‌های سنگ بزرگ با این روش انجام می‌شود. از سوی دیگر افرادی که سنگ کلیه بزرگ دارند، حال جسمی‌شان وخیم است و همین امر شانس موفقیت‌آمیز بودن عمل آن‌ها را مستقل از روش درمانی پایین می‌آورد. اگر به جدول داده‌ها دقت کنید، واضح است که از ۲۸۹ عمل موفقیت‌آمیز روش B، تعداد ۲۳۴تا از آن‌ها روی افراد با سنگ کلیه کوچک انجام شده است. همین امر سبب شده است که در محاسبه‌ درصد تجمیعی، روش درمانی B در نگاه اول روش درمانی مناسبت‌تری نسبت به روش درمانی A به حساب بیاید.

حال اینجا یک سوال محصولی-بازاریابی پیش می‌آید: به‌نظر شما با توجه به موفقیت‌آمیز بودن روش درمانی A در عمل سنگ‌های کوچک نسبت به روش درمانی B در این گونه عمل‌ها از کدام روش درمانی باید استفاده کرد؟

باتوجه به اطلاعات فعلی نمی‌توان پاسخ دقیقی به این سوال داد، اما با فرض اینکه روش درمانی B پرهزینه‌تر و محدودتر است و وضعیت جسمی افراد با سنگ کلیه بزرگ، بسیار وخیم‌تر از افراد با سنگ کلیه کوچک است، برای انجام عمل‌های سنگ کلیه کوچک بهتر است که از روش درمانی B استفاده شود. چراکه با وجود آن‌که درصد موفقیت آن از روش A پایین‌تر است، اما به‌طور کلی شانس موفقیت در این گونه عمل‌ها بالاست و در صورت موفقیت‌آمیز نبودن نیز جان افراد به‌خطر نمی‌افتد! بدین ترتیب با اثر پارادوکس سیمپسون در حوزه محصول پزشکی آشنا شدیم.  

سرمایه‌گذاری ۱۰۰ هزار دلاری!

شرکت شما به تازگی یک سرمایه‌گذار جدید پیدا کرده و در گام اول ۱۰۰ هزار دلار سرمایه جذب کرده است. همه‌چیز خوب به‌نظر می‌رسد که یک روز یکی از اعضای هیئت مدیره (stakeholder) به اتاق شما می‌آید و با ناراحتی می‌گوید: «پس از سرمایه‌گذاری ۱۰۰ هزار دلاری، میانگین خرید کاربران سایت از ۲۰۰ دلار به ۱۸۰ دلار رسیده و این وحشتناک است.»

شما لبخندی بر لب زده و به او اطمینان می‌دهید که همه‌چیز به بهترین شکل پیش می‌رود. از آن عضو هیئت‌مدیره می‌خواهید که یک جلسه عمومی با حضور دیگر اعضا برنامه‌ریزی شود تا دلیل این موضوع را توضیح دهید. آن عضو هیئت‌مدیره از آرامش شما جا خورده است؛ چراکه او با پارادوکس سیمپسون آشنا نیست. اکنون به‌جای نگاه سطحی اولیه، کمی جدول داده‌ها را تفکیک می‌کنید و خود را برای جلسه ظهر آماده می‌کنید. جدول داده‌های آماده شده به شرح زیر است:

میانگین خرید هر شخص	میزان خرید	پیش از سرمایه‌گذاری ۱۰۰ هزار دلاری
۱۳۰ دلار	۵۸۰۰ دلار	مشتریان جدید
۲۵۰ دلار	۸۰۰۰ دلار	مشتریان فعلی
۲۰۰ دلار	۱۳۸۰۰ دلار	مجموع مشتریان

میانگین خرید هر شخص	میزان خرید	پس از سرمایه‌گذاری ۱۰۰ هزار دلاری
۱۵۶ دلار	۳۵۰۰۰ دلار	مشتریان جدید
۳۰۰ دلار	۷۵۰۰ دلار	مشتریان فعلی
۱۸۱ دلار	۴۲۵۰۰ دلار	مجموع مشتریان

شما با این دو جدول وارد جلسه می‌شوید. باتوجه به داده‌های بدست آمده، مشخص است که میانگین خرید کاربران جدید و کاربران فعلی افزایش داشته است. همچنین میزان خرید کلی نیز افزایش چشم‌گیری داشته، بنابراین این سرمایه‌گذاری موفقیت‌آمیز بوده است. اکنون دیگر اثری از نگرانی در اعضای هیئت‌مدیره نیست و بر صورت همگی لبخند نشسته است.

در این مسئله نیز با پارادوکس سیمپسون روبه‌رو هستیم. در مرحله اول پیش از سرمایه‌گذاری تعداد مشتریان شرکت کمتر بوده و اصطلاحا «شرکت سهم بیشتری از یک کیک کوچک داشته است»، اما پس از سرمایه‌گذاری تعداد مشتریان شرکت افزایش چشم‌گیری داشته و اکنون شرکت «سهم کمتری از یک کیک بزرگ دارد» و به همین سبب میانگین خرید تجمیعی هر مشتری کاهش یافته است.

لازم به ذکر است، در بسیاری از شرایط با افزایش چشم‌گیر مشتریان نیز ممکن است میانگین خرید دسته‌ها کاهش یابد و این امر لزوما یک اتفاق منفی نیست. چرا که ممکن است پرسونای مخاطبان شما تغییر کرده باشد و لزوما رفتاری شبیه به مشتریان قبلی نداشته باشند. در این شرایط باید پارامترهای دیگری را موردارزیابی قرار دهید.

تبلیغات کلیکی و دیجیتال مارکتینگ

شما به عنوان مدیر دیجیتال مارکتینگ یک مجموعه در نظر دارید تا یک کمپین تبلیغاتی اجرا کنید. برای اجرای این کمپین دو روش وجود دارد:

در روش اول (روش تک کلیکی) کاربر با دیدن بنر تبلیغاتی روی آن کلیک می‌کند و به صفحه وب‌سایت هدایت می‌شود. در روش دوم (روش دو کلیکی) کاربر با دیدن بنر و کلیک بر آن، ابتدا به یک صفحه میانی که در آن کلمات کلیدی مختلف و مرتبط با تبلیغ بودند هدایت شده و در صورتی که روی یکی از کلمات کلیدی کلیک کند، به صفحه وب‌سایت موردنظر انتقال داده می‌شود. با توجه به اینکه در روش دو کلیکی مخاطب باید مراحل بیشتری را بگذارند تا وارد صفحه اصلی وب‌سایت شود، پیش‌بینی اولیه این است که در روش دو کلیکی نرخ تبدیل کمتری داشته باشیم، یعنی نسبت کسانی که به وب‌سایت نهایی هدایت می‌شوند به کسانی که تبلیغ را می‌بینند، کاهش یابد. اما از سوی دیگر انتظار داریم که در این روش کاربران باکیفیت‌تری به صفحه وب‌سایت منتقل شوند و بنابراین میزان فروش به ازای هر کاربر افزایش یابد. بنابراین کمپین به روش آزمون A/B اجرا می‌شود و نتایج زیر بدست می‌آید:

روش دو کلیکی	روش دو کلیکی	روش تک کلیکی	روش تک کلیکی
درآمد به ازای هرکاربر (دلار)	تعداد کاربران	درآمد به ازای هرکاربر (دلار)	تعداد کاربران
۱۲.۱۴	۱۴۰	۱۱.۶	۲۵۰

همان‌طور که پیش‌بینی می‌شد، نتایج اولیه حاکی از آن هستند که در روش دو کلیکی میزان فروش به ازای هر کاربر بالاتر از روش تک کلیکی است. اما آیا مسئله حل شده است؟ برای اینکه کمی بیشتر مسئله را درک کنیم، یک تفکیک میان کاربران انجام می‌دهیم و آن‌ها را به دو دسته‌: ۱- کاربران داخل آمریکا ۲- کاربران خارج آمریکا تقسیم می‌کنیم. بدین ترتیب جدول داده‌ها به شرح زیر خواهد بود:

روش دو کلیکی	روش دو کلیکی	روش تک کلیکی	روش تک کلیکی
درآمد به ازای هرکاربر	تعداد کاربران	درآمد به ازای هرکاربر	تعداد کاربران
۲۴ دلار	۵۰	۲۵.۷۱ دلار	۷۰	داخل آمریکا
۵.۵۶ دلار	۹۰	۶.۱۱ دلار	۱۸۰	خارج آمریکا
۱۲.۱۴ دلار	۱۴۰	۱۱.۶ دلار	۲۵۰	کل

اتفاق شگفت‌انگیری در حال رخ دادن است. در روش تک کلیکی میانگین خرید کاربران چه در داخل آمریکا و چه خارج از آمریکا از روش دو کلیکی بیشتر است. دانستن این موضوع برای یک مدیر دیجیتال مارکتینگ بسیار حیاتی است!

متغیر پنهان در این مسئله تفاوت رفتار کاربران مناطق مختلف است. به‌طور کلی کاربران آمریکایی سرانه درآمد بالاتری دارند و به همین‌دلیل مصرف‌گرایی و خرید کردن میان آنان شایع‌تر است. همین امر و تفاوت فاحش میانگین خرید کاربران آمریکایی و غیرآمریکایی باعث شده که وقتی تجمیعی به این مسئله نگاه کنیم، میانگین خرید کاربران در روش دو کلیکی بالاتر باشد.

 در اینجا یک بحث قابل توجه نیز برای مدیران محصول و بازاریابی مطرح است. به‌طور کلی اگر قرار باشد شما به ازای هر کاربری که از طریق بنر تبلیغاتی وارد وب‌سایت شما شده‌ مبلغی پرداخت کنید، بدیهی است که این مبلغ در روش دو کلیکی بیشتر خواهد بود. به‌طور مثال اگر شرکتی که به آن تبلیغات داده‌اید به ازای هر کاربری که در روش یک کلیکی از طریق بنر وارد وب‌سایت شود مبلغ ۱ دلار دریافت کند، این عدد در روش دو کلیکی حداقل ۱.۵ دلار خواهد بود. بنابراین استفاده از روش دو کلیکی نه‌تنها باعث می‌شود که درآمد بالقوه بیشتری را از دست بدهید، بلکه باید هزینه گزاف‌تر نیز بپردازید.

تبعیض جنسیتی در دانشگاه UC Berkeley

در سال ۱۹۷۳ عده‌ای از فعالان حقوق زنان از دانشگاه UC Berkeley آمریکا که جزو ۱۰ دانشگاه برتر جهان است، شکایتی را ثبت کردند. آن‌ها مدعی بودند که این دانشگاه در پذیرش دانشجو تحصیلات تکمیلی، میان مردان و زنان تبعیض قائل می‌شود و درصد بیشتری از مردان را قبول می‌کند. آن‌ها برای ادعای خود جدول زیر را ارائه دادند:

زنان	زنان	مردان	مردان	کل	کل
درصد قبولی	متقاضی	درصد قبولی	متقاضی	درصد قبولی	متقاضی
۳۵ ٪	۴۳۲۱	۴۴ ٪	۸۴۴۲	۴۱ ٪	۱۲۶۷۳	مجموع

در نگاه اول به‌نظر می‌رسید که یک تبعیض جنسی ۹ درصدی میان متقاضیان آقا و خانم در دانشگاه برکلی وجود دارد. اما هنگامی که پژوهشگران این نتایج را تفکیک شده و دانشکده به دانشکده بررسی کردند، نتایج جالبی بدست آمد. در میان ۸۵ دانشکده این دانشگاه، ۶ دانشکده به‌طور قابل توجهی در برابر مردان مغرضانه عمل می‌کند. این در حالی است که تنها ۴ دانشکده علیه زنان سوگیری داشته است. اکنون اطلاعات ۶ دانشکده بزرگ این دانشگاه را نمایش می‌دهیم و اطلاعات آن را تفکیک شده بررسی می‌کنیم:

زنان		مردان			کل	دانشکده
درصد قبولی	متقاضی	درصد قبولی	متقاضی	درصد قبولی	متقاضی
۸۲ ٪	۱۰۸	۶۲ ٪	۸۲۵	۶۴ ٪	۹۳۳	A
۶۸ ٪	۲۵	۶۳ ٪	۵۶۰	۶۳ ٪	۵۸۵	B
۳۴ ٪	۵۹۳	۳۷ ٪	۳۲۵	۳۵ ٪	۹۱۸	C
۳۵ ٪	۳۷۵	۳۳ ٪	۴۱۷	۳۴ ٪	۷۹۲	D
۲۴ ٪	۳۹۳	۲۸ ٪	۱۹۱	۲۵ ٪	۵۸۴	E
۷ ٪	۳۴۱	۶ ٪	۳۷۳	۶ ٪	۷۱۴	F

همان‌طور که مشخص است، در میان این ۶ دانشکده بزرگ ۴ دانشکده درصد بیشتری از خانم‌ها را نسبت به آقایان پذیرفته است. حتی در یک مورد (دانشکده A) اختلاف ۲۰ درصدی میان درصد پذیرش خانم‌ها و آقایان وجود دارد و احتمالا نسبت به پذیرش آقایان برخورد جهت‌گیرانه صورت گرفته است.  بنابراین اعتراض فعالان حقوق زنان وارد نبوده و اساسا اگر قرار بر اعتراض باشد، باتوجه به این نتایج جامعه مردان می‌توانست مدعی ناعدالتی و تبعیض باشد!

حال به سراغ علت این پارادوکس می‌رویم. به‌نظر شما چه دلیل سبب شده باوجود آن‌که در اکثر دانشکده‌ها درصد پذیرش خانم‌ها نسبت به آقایان بیشتر بوده، وقتی تجمیعی به این بحث نگاه کنیم درصد پذیرش آقایان حدودا ۱۰ درصد بیشتر از بانوان است؟

علت رخ دادن پارادوکس سیمپسون در این مسئله نوع متقاضیان است. تعداد زیادی از خانم‌ها، متقاضی حضور در دانشکده‌هایی هستند که درصد پذیرش اندکی دارند و رقابت بیشتری در آن‌جا وجود دارد. (به‌طور مثال دانشکده زبان انگلیسی) در حالی که بیشتر مردان متقاضی حضور در دانشکده‌هایی هستند که درصد پذیرش بیشتری دارند و طبعا رقابت برای حضور در آن دانشکده نیز کمتر است. (به‌طور مثال دانشکده فنی-مهندسی) در جدول نیز مشخص است، برای دانشکده A که دانشکده بزرگی است ۸۲۵ مرد متقاضی بودند در حالی که تنها ۱۰۸ خانم متقاضی حضور در آن‌جا بوده‌اند.

کمی ریاضیات!

حال پس از بررسی چندین مسئله و مدل‌های مختلف پارادوکس سیمپسون، بد نیست کمی ریاضیاتی به این موضوع نگاه کنیم و شرط لازم برای رخ دادن «پارادوکس سیمپسون» را از زبان ریاضی بیان کنیم.

فرض کنید احتمال رخداد مجموعه A را PA بنامیم. اکنون A را به n دسته تقسیم می‌کنیم و احتمال موفقیت هر کدام را PA می‌نامیم. در نظر داریم که i در محدوده صفر و n است.

حال به طریق مشابه فرض کنید احتمال رخداد مجموعه B را PB بنامیم. اکنون B را به n دسته تقسیم می‌کنیم و احتمال موفقیت هر کدام را PB می‌نامیم. درنظر داریم که i در محدوده صفر و n است. پارادوکس سیمپسون در صورتی رخ می‌دهد که داشته باشیم:

بیان این عبارت به زبان ساده دقیقا همان چیزی است که در این مقاله بررسی کردیم. یعنی شرایطی که احتمال وقوع یک رخداد در حالت کلی بالاتر از حالت دیگر است، اما وقتی آن رویداد را تفکیک می‌کنیم و دسته‌های تفکیک شده را باهم بررسی می‌کنیم، احتمال رخ دادن دسته‌ها از حالت اولیه پیروی نمی‌کند.

اکنون به پایان این مقاله رسیده‌ایم، همان‌طور که متوجه شدید دامنه گستردگی پارادوکس سیمپسون بسیار وسیع است. بنابراین لازم است که برای اخذ تصمیمات داده‌محور، از تمام جوانب جمع‌آوری آن داده‌ها باخبر باشیم و روابط علت و معولی پشت پرده آن رویداد را بدانیم.