الگوریتم‌ها قرار بود زندگی ما را آسان‌تر و عادلانه‌تر کنند: به ما کمک کنند بهترین متقاضیان شغل را پیدا کنیم، به قضات کمک کنند تا خطرات ناشی از وثیقه و تصمیمات وثیقه را بی‌طرفانه ارزیابی کنند، و اطمینان حاصل کنند که مراقبت‌های بهداشتی به بیمارانی که بیشترین نیاز را دارند ارائه می‌شود. با این حال، در حال حاضر، ما می دانیم که الگوریتم ها می توانند به همان اندازه که تصمیم گیرندگان انسانی که به آنها اطلاع می دهند و جایگزین می کنند، مغرضانه باشند.
اگر این چیز بدی نبود چه؟
تحقیقات جدید Carey Morewedge، استاد بازاریابی دانشکده بازرگانی Questrom دانشگاه بوستون و محقق برجسته دانشکده Everett W. Lord، نشان داد که افراد بیشتر از تعصبات خود در تصمیمات الگوریتم‌ها را تشخیص می‌دهند تا در تصمیمات خود – حتی زمانی که این تصمیم‌ها همان پژوهش، انتشار در مجموعه مقالات آکادمی ملی علوم، راه هایی را پیشنهاد می کند که آگاهی ممکن است به تصمیم گیرندگان انسانی کمک کند تا تعصبات خود را تشخیص داده و تصحیح کنند.
Morewedge که همچنین ریاست بخش بازاریابی Questrom را بر عهده دارد، می‌گوید: «یک مشکل اجتماعی این است که الگوریتم‌ها یاد می‌گیرند و در مقیاس، سوگیری‌ها را در تصمیم‌گیری‌های انسانی که بر اساس آن آموزش دیده‌اند به کار می‌برند. به عنوان مثال: در سال 2015، آمازون الگوریتمی را آزمایش کرد (و به زودی کنار گذاشت) تا به مدیران استخدامی خود کمک کند تا متقاضیان کار را فیلتر کنند. آنها دریافتند که این برنامه رزومه‌هایی را که تصور می‌شد از متقاضیان مرد است، تقویت کرد و رزومه‌های متقاضیان زن را کاهش داد، که یک مورد واضح از تعصب جنسیتی است.
اما در همان سال، تنها 39 درصد از نیروی کار آمازون زن بودند. اگر این الگوریتم بر روی داده‌های استخدامی موجود آمازون آموزش داده شده بود، جای تعجب نیست که متقاضیان مرد را در اولویت قرار می‌داد – آمازون قبلاً این کار را کرده بود. Morewedge می‌گوید: اگر الگوریتم آن تعصب جنسیتی داشت، به این دلیل است که مدیران آمازون در تصمیم‌گیری‌های استخدامی خود مغرضانه بودند.
«الگوریتم‌ها می‌توانند سوگیری انسان را کدگذاری و تقویت کنند، اما الگوریتم‌ها نیز آشکار کردن او می گوید: سوگیری های ساختاری در جامعه ما، بسیاری از سوگیری ها را نمی توان در سطح فردی مشاهده کرد. به عنوان مثال، در یک تصمیم استخدامی، اثبات تعصب دشوار است. اما هنگامی که تصمیمات درون و بین افراد را جمع آوری می کنیم، همانطور که هنگام ساخت الگوریتم ها انجام می دهیم، می تواند سوگیری های ساختاری را در سیستم ها و سازمان های ما آشکار کند.”
Morewedge و همکارانش – Begum Çeliktutan و Romain Cadario، هر دو در دانشگاه اراسموس در هلند – مجموعه‌ای از آزمایش‌ها را طراحی کردند که برای از بین بردن تعصبات اجتماعی افراد (از جمله نژادپرستی، جنسیت‌گرایی و سن‌گرایی) طراحی شده بود. سپس تیم تشخیص شرکت کنندگان در تحقیق را از اینکه چگونه این سوگیری ها تصمیمات خود را در مقابل تصمیمات اتخاذ شده توسط یک الگوریتم رنگ آمیزی می کنند، مقایسه کردند. در آزمایش ها، شرکت کنندگان گاهی اوقات تصمیمات الگوریتم های واقعی را می دیدند. اما یک نکته وجود داشت: در زمان‌های دیگر، تصمیم‌هایی که به الگوریتم‌ها نسبت داده می‌شد، در واقع انتخاب‌های شرکت‌کنندگان بود.
در سراسر هیئت مدیره، شرکت کنندگان بیشتر احتمال داشت که سوگیری را در تصمیماتی که فکر می کردند از الگوریتم ها گرفته شده می دیدند تا تصمیمات خودشان. شرکت‌کنندگان همچنین در تصمیم‌گیری‌های الگوریتم‌ها به همان اندازه که در تصمیم‌گیری‌های افراد دیگر تعصب داشتند، دیدند. (افراد عموماً سوگیری را در دیگران بهتر از خودشان تشخیص می‌دهند، پدیده‌ای که نقطه کور سوگیری نامیده می‌شود.) شرکت‌کنندگان همچنین احتمال بیشتری برای تصحیح سوگیری در آن تصمیم‌ها پس از این واقعیت داشتند، گامی حیاتی برای به حداقل رساندن سوگیری در آینده.
الگوریتم ها نقطه کور سوگیری را حذف می کنند
محققان مجموعه‌ای از شرکت‌کنندگان را که در مجموع بیش از 6000 نفر بودند، از طریق 9 آزمایش انجام دادند. در مرحله اول، شرکت‌کنندگان مجموعه‌ای از فهرست‌های Airbnb را رتبه‌بندی کردند که شامل چند اطلاعات در مورد هر فهرست بود: میانگین رتبه‌بندی ستاره آن (در مقیاس 1 تا 5) و نام میزبان. بر اساس این مقاله، محققان این فهرست‌های تخیلی را به میزبان‌هایی اختصاص دادند که نام‌هایی «به طور مشخص آفریقایی آمریکایی یا سفیدپوست» داشتند، بر اساس تحقیقات قبلی که سوگیری نژادی را شناسایی می‌کرد. شرکت کنندگان میزان احتمال اجاره هر فهرست را ارزیابی کردند.
در نیمه دوم آزمایش، به شرکت‌کنندگان در مورد یافته‌های پژوهشی گفته شد که توضیح می‌دهد چگونه مسابقه میزبان ممکن است امتیازات را تعصب کند. سپس، محققان مجموعه‌ای از رتبه‌بندی‌ها را به شرکت‌کنندگان نشان دادند و از آنها خواستند (در مقیاس 1 تا 7) ارزیابی کنند که چقدر احتمال دارد که سوگیری بر رتبه‌بندی‌ها تأثیر داشته باشد.
شرکت‌کنندگان یا رتبه‌بندی خودشان را دیدند که به آنها منعکس می‌شد، رتبه‌بندی خودشان را تحت پوشش الگوریتم، رتبه‌بندی خودشان را تحت پوشش دیگران، یا یک رتبه‌بندی الگوریتم واقعی بر اساس ترجیحاتشان.
محققان این تنظیم را چندین بار تکرار کردند و از نظر نژاد، جنسیت، سن و سوگیری جذابیت در پروفایل رانندگان Lyft و میزبانان Airbnb آزمایش کردند. هر بار نتایج یکسان بود. شرکت‌کنندگانی که فکر می‌کردند رتبه‌بندی‌های یک الگوریتم یا رتبه‌بندی‌های شخص دیگری را می‌بینند (خواه واقعاً چنین بوده باشند یا نه)، بیشتر احتمال دارد که سوگیری را در نتایج درک کنند.
Morewedge این را به شواهد مختلفی که برای ارزیابی سوگیری در دیگران و سوگیری در خود استفاده می‌کنیم نسبت می‌دهد. او می‌گوید از آنجایی که ما بینشی نسبت به فرآیند فکری خود داریم، احتمالاً از طریق تفکر خود ردیابی می‌کنیم و تصمیم می‌گیریم که این تفکر مغرضانه نبوده است، شاید به دلیل عوامل دیگری که در تصمیمات ما نقش داشته است. با این حال، هنگام تجزیه و تحلیل تصمیمات افراد دیگر، تنها چیزی که باید قضاوت کنیم، نتیجه است.
Morewedge می‌گوید: «فرض کنید شما در حال سازماندهی یک پانل از سخنرانان برای یک رویداد هستید. “اگر همه آن سخنرانان مرد باشند، ممکن است بگویید که نتیجه نتیجه سوگیری جنسیتی نبوده است، زیرا هنگام دعوت از این سخنرانان حتی به جنسیت فکر نمی کردید. اما اگر در این رویداد شرکت می کردید و یک پانل از همه را دیدید. – سخنرانان مرد، شما به احتمال زیاد به این نتیجه می رسید که سوگیری جنسیتی در انتخاب وجود داشته است.”
در واقع، در یکی از آزمایش‌های خود، محققان دریافتند که شرکت‌کنندگانی که بیشتر مستعد این نقطه کور سوگیری بودند، در تصمیم‌گیری‌های منتسب به الگوریتم‌ها یا دیگران بیشتر از تصمیمات خود، تعصب می‌بینند. در آزمایشی دیگر، آنها دریافتند که مردم راحت‌تر تصمیم‌های خود را تحت تأثیر عواملی که نسبتاً خنثی یا معقول هستند، مانند رتبه‌بندی ستاره میزبان Airbnb، در مقایسه با یک سوگیری متعصبانه، مانند نژاد، می‌بینند – شاید به این دلیل که اعتراف به ترجیح دادن پنج مورد است. Morewedge پیشنهاد می‌کند، اجاره ستاره برای احساس خود یا دیدگاه دیگران نسبت به ما تهدید کننده نیست.
الگوریتم ها به عنوان آینه: دیدن و تصحیح تعصب انسان
در آزمایش نهایی محققان، آنها به شرکت کنندگان فرصتی دادند تا تعصب را در رتبه بندی خود یا رتبه بندی یک الگوریتم (واقعی یا غیر واقعی) تصحیح کنند. احتمال بیشتری وجود داشت که مردم تصمیمات الگوریتم را تصحیح کنند، که این باعث کاهش تعصب واقعی در رتبه بندی آن شد.
او می گوید که این گامی حیاتی برای موروج و همکارانش است. برای هر کسی که انگیزه کاهش تعصب دارد، دیدن آن اولین قدم است. تحقیقات آنها شواهدی را ارائه می دهد که نشان می دهد الگوریتم ها می توانند به عنوان آینه استفاده شوند – راهی برای شناسایی سوگیری حتی زمانی که افراد نمی توانند آن را در خود ببینند.
Morewedge می‌گوید: «در حال حاضر، من فکر می‌کنم ادبیات مربوط به سوگیری الگوریتمی تیره و تار است. “بسیاری از آن می گوید که ما نیاز به توسعه روش های آماری برای کاهش تعصب در الگوریتم ها داریم. اما بخشی از مشکل این است که تعصب از سوی مردم نشات می گیرد. ما باید برای بهتر کردن الگوریتم ها تلاش کنیم، اما همچنین باید تلاش کنیم تا خودمان را کمتر سوگیری کنیم.”
او می‌گوید: «چیزی که در مورد این کار هیجان‌انگیز است این است که نشان می‌دهد الگوریتم‌ها می‌توانند تعصبات انسانی را کدنویسی یا تقویت کنند، اما الگوریتم‌ها همچنین می‌توانند ابزارهایی برای کمک به افراد برای دیدن بهتر سوگیری‌های خود و اصلاح آنها باشند». “الگوریتم ها یک شمشیر دو لبه هستند. آنها می توانند ابزاری باشند که بدترین تمایلات ما را تقویت می کنند. و الگوریتم ها می توانند ابزاری باشند که می توانند به بهتر شدن خودمان کمک کنند.”
