أثار الاستخدام الأخير لخوارزمية لحساب درجات التخرج لطلاب المدارس الثانوية في إنجلترا الكثير من الغضب العام بسبب ظلمها الملحوظ لدرجة أنها أصبحت تُعرف على نطاق واسع باسم “إخفاق المستويات A”. نتيجة للغضب – والتهديد الذي يلوح في الأفق باتخاذ إجراء قانوني – اضطرت الحكومة إلى منعطف محرج ومنحت درجات بناءً على تقييم المعلم.
ومنذ ذلك الحين ألقى رئيس الوزراء بوريس جونسون باللوم في الأزمة على ما أسماه الخوارزمية “الطافرة”. لكن هذا لم يكن قطعة معطلة من التكنولوجيا. عند تصنيف العديد من الطلاب الفرديين لمنع زيادة الدرجات العالية بشكل عام ، قامت الخوارزمية بالضبط بما تريد الحكومة أن تفعله. كانت حقيقة أن المزيد من التلاميذ المحرومين تم تخفيضهم نتيجة حتمية لإعطاء الأولوية للبيانات التاريخية من نظام تعليمي غير متكافئ على الإنجاز الفردي.
ولكن أكثر من ذلك ، لا ينبغي فهم الملحمة على أنها فشل في تصميم خوارزمية معينة ، ولا نتيجة لعدم الكفاءة نيابة عن إدارة حكومية معينة. بدلاً من ذلك ، يعد هذا مؤشرًا مهمًا على الأساليب التي تعتمد على البيانات والتي تلجأ إليها العديد من الحكومات الآن والصراعات السياسية التي من المحتمل أن يتم خوضها من أجلها.
تميل أنظمة الخوارزميات إلى الترويج لعدة أسباب ، بما في ذلك الادعاءات بأنها تنتج قرارات أكثر ذكاءً وأسرع وأكثر اتساقًا وموضوعية ، وتستخدم الموارد الحكومية بشكل أكثر كفاءة. لقد أظهر الفشل الذريع على المستوى A أن هذا ليس هو الحال بالضرورة في الممارسة العملية. حتى عندما توفر الخوارزمية فائدة (اتخاذ قرارات سريعة ومعقدة لكمية كبيرة من البيانات) ، فقد تجلب مشاكل جديدة (التمييز الاجتماعي والاقتصادي).
الخوارزميات في كل مكان
في المملكة المتحدة وحدها ، يتم استخدام العديد من الأنظمة أو تم استخدامها مؤخرًا لاتخاذ قرارات مهمة تحدد الخيارات والفرص والموقف القانوني لقطاعات معينة من الجمهور.
في بداية شهر أغسطس ، وافقت وزارة الداخلية على إلغاء “أداة التدفق” الخاصة بالتأشيرة المصممة لفرز طلبات التأشيرة إلى فئات مخاطر (أحمر ، كهرماني ، أخضر) أشارت إلى مدى الحاجة إلى مزيد من التدقيق. جاء ذلك بعد طعن قانوني من مجموعة حملة Foxglove والمجلس المشترك لرعاية المهاجرين الخيرية ، بدعوى أن الخوارزمية تميز على أساس الجنسية. قبل أن تصل هذه القضية إلى المحكمة ، تعهدت وزيرة الداخلية بريتي باتيل بوقف استخدام الخوارزمية والالتزام بإعادة تصميم جوهرية.
دومينيك ليبينسكي / PA Wire / PA Images
“مصفوفة العصابات” التابعة لخدمة شرطة العاصمة هي قاعدة بيانات تستخدم لتسجيل أعضاء العصابات المشتبه بهم وإجراء تقييمات آلية للمخاطر. يقوم بإبلاغ تدخلات الشرطة بما في ذلك الإيقاف والتفتيش والاعتقال. وقد أثير عدد من المخاوف بشأن تأثيرها التمييزي المحتمل ، وإدراج الضحايا المحتملين لعنف العصابات ، وفشلها في الامتثال لقانون حماية البيانات.
تستخدم العديد من المجالس في إنجلترا الخوارزميات للتحقق من استحقاقات المزايا واكتشاف الاحتيال في الرعاية الاجتماعية. وجدت الدكتورة جوانا ريدن من مختبر عدالة البيانات بجامعة كارديف أن عددًا من السلطات أوقفت استخدام الخوارزمية بعد مواجهة مشكلات تتعلق بالأخطاء والتحيز. ولكن أيضًا ، بشكل ملحوظ ، أخبرت صحيفة الغارديان أنه كان هناك “فشل في التشاور مع الجمهور وخاصة مع أولئك الذين سيكونون الأكثر تضررًا من استخدام هذه الأنظمة الآلية والتنبؤية قبل تنفيذها”.
يأتي هذا بعد تحذير هام من فيليب ألستون ، المقرر الخاص للأمم المتحدة المعني بالفقر المدقع ، من أن المملكة المتحدة تخاطر “بالتعثر مثل الزومبي في ديستوبيا الرفاهية الرقمية”. وجادل بأنه في كثير من الأحيان يتم استخدام التكنولوجيا لتقليل منافع الناس ، وإنشاء مراقبة تدخلية وتوليد أرباح للشركات الخاصة.
اقترحت حكومة المملكة المتحدة أيضًا خوارزمية جديدة لتقييم عدد المنازل الجديدة التي يجب أن تخطط مناطق السلطة المحلية الإنجليزية لبنائها. يبقى تأثير هذا النظام غير واضح ، على الرغم من أن النموذج يبدو أنه يقترح بناء المزيد من المنازل في المناطق الريفية الجنوبية ، بدلاً من المناطق الحضرية الأكثر توقعًا ، ولا سيما المدن الشمالية. وهذا يثير تساؤلات جدية حول التوزيع العادل للموارد.
لماذا هذا مهم؟
يشير استخدام الأنظمة الخوارزمية من قبل السلطات العامة لاتخاذ قرارات لها تأثير كبير على حياتنا إلى عدد من الاتجاهات الحاسمة في الحكومة. بالإضافة إلى زيادة السرعة والنطاق الذي يمكن من خلاله اتخاذ القرارات ، فإن الأنظمة الخوارزمية تغير أيضًا طريقة اتخاذ تلك القرارات وأشكال التدقيق العام الممكنة.
يشير هذا إلى تحول في منظور الحكومة للمساءلة وتوقعاتها. الأنظمة الخوارزمية عبارة عن “صناديق سوداء” غامضة ومعقدة تتيح اتخاذ قرارات سياسية قوية بناءً على حسابات رياضية ، بطرق لا ترتبط دائمًا بشكل واضح بالمتطلبات القانونية.
في هذا الصيف وحده ، كان هناك ما لا يقل عن ثلاثة تحديات قانونية بارزة لاستخدام السلطات العامة للأنظمة الخوارزمية ، فيما يتعلق بأنظمة المستوى A وتدفق التأشيرات ، بالإضافة إلى أداة اختبار وتتبع COVID-19 الحكومية. وبالمثل ، أعلنت محكمة الاستئناف أن استخدام شرطة جنوب ويلز لبرامج التعرف على الوجه غير قانوني.
في حين أن الغرض من كل من هذه الأنظمة وطبيعته مختلفان ، إلا أنهما يشتركان في ميزات مشتركة. تم تنفيذ كل نظام دون رقابة كافية ولا وضوح فيما يتعلق بقانونيته.
إن فشل السلطات العامة في ضمان مساءلة الأنظمة الخوارزمية هو في أسوأ الأحوال محاولة متعمدة لعرقلة العمليات الديمقراطية من خلال حماية الأنظمة الخوارزمية من التدقيق العام. وفي أحسن الأحوال ، يمثل موقفًا شديد الإهمال تجاه مسؤولية الحكومة في الالتزام بسيادة القانون ، وتوفير الشفافية ، وضمان الإنصاف وحماية حقوق الإنسان.
مع وضع هذا في الاعتبار ، من المهم أن نطالب بالمساءلة من الحكومة لأنها تزيد من استخدامها للخوارزميات ، حتى نحتفظ بالسيطرة الديمقراطية على اتجاه مجتمعنا وأنفسنا.
