เทคนิคการปรับปรุงทั้งความเป็นธรรมและความแม่นยำในปัญญาประดิษฐ์

สำหรับผู้ปฏิบัติงานที่ใช้โมเดลแมชชีนเลิร์นนิงเพื่อช่วยในการตัดสินใจ การรู้ว่าเมื่อใดควรเชื่อถือการคาดการณ์ของแบบจำลองนั้นไม่ใช่เรื่องง่ายเสมอไป โดยเฉพาะอย่างยิ่งเนื่องจากโมเดลเหล่านี้มักจะซับซ้อนมากจนการทำงานภายในของพวกเขายังคงเป็นปริศนา

บางครั้งผู้ใช้ใช้เทคนิคที่เรียกว่าการถดถอยแบบเลือกเฟ้น ซึ่งตัวแบบจะประเมินระดับความเชื่อมั่นในการทำนายแต่ละครั้ง และจะปฏิเสธการคาดคะเนเมื่อความเชื่อมั่นต่ำเกินไป จากนั้นมนุษย์จะสามารถตรวจสอบกรณีเหล่านี้ รวบรวมข้อมูลเพิ่มเติม และตัดสินใจเกี่ยวกับแต่ละกรณีด้วยตนเอง

นักวิจัยจาก MIT และ MIT-IBM Watson AI Lab ได้ค้นพบว่าเทคนิคนี้อาจส่งผลตรงกันข้ามกับกลุ่มคนที่มีบทบาทต่ำต้อยในชุดข้อมูล เมื่อความเชื่อมั่นของตัวแบบเพิ่มขึ้นตามการถดถอยแบบเลือก โอกาสในการทำนายที่ถูกต้องก็เพิ่มขึ้นเช่นกัน แต่สิ่งนี้ไม่ได้เกิดขึ้นกับทุกกลุ่มย่อยเสมอไป

ตัวอย่างเช่น แบบจำลองที่เสนอแนะการอนุมัติเงินกู้อาจสร้างข้อผิดพลาดโดยเฉลี่ยน้อยลง แต่จริง ๆ แล้วอาจคาดการณ์ผิดมากกว่าสำหรับผู้สมัครผิวดำหรือผู้หญิง สาเหตุหนึ่งที่สิ่งนี้อาจเกิดขึ้นได้ก็เนื่องมาจากข้อเท็จจริงที่ว่าการวัดความเชื่อมั่นของแบบจำลองได้รับการฝึกอบรมโดยใช้กลุ่มที่มีตัวแทนมากเกินไป และอาจไม่ถูกต้องสำหรับกลุ่มที่มีบทบาทน้อยเหล่านี้

เมื่อพวกเขาระบุปัญหานี้แล้ว นักวิจัยของ MIT ได้พัฒนาอัลกอริธึมสองชุดที่สามารถแก้ไขปัญหาได้ การใช้ชุดข้อมูลในโลกแห่งความเป็นจริง แสดงให้เห็นว่าอัลกอริธึมลดความเหลื่อมล้ำของประสิทธิภาพที่ส่งผลต่อกลุ่มย่อยที่ถูกลดทอนลง

“สุดท้ายนี้เป็นเรื่องของการฉลาดมากขึ้นเกี่ยวกับตัวอย่างที่คุณส่งต่อให้มนุษย์จัดการ แทนที่จะลดอัตราความผิดพลาดแบบกว้างๆ ให้น้อยที่สุดสำหรับโมเดล เราต้องการให้แน่ใจว่าอัตราข้อผิดพลาดข้ามกลุ่มได้รับการพิจารณาอย่างชาญฉลาด” Greg Wornell ผู้เขียนอาวุโสของ MIT กล่าว ศาสตราจารย์ด้านวิศวกรรมของ Sumitomo ในภาควิชาวิศวกรรมไฟฟ้า กล่าว และวิทยาการคอมพิวเตอร์ (EECS) ซึ่งเป็นผู้นำห้องปฏิบัติการสัญญาณ ข้อมูล และอัลกอริทึมในห้องปฏิบัติการวิจัยด้านอิเล็กทรอนิกส์ (RLE) และเป็นสมาชิกของ MIT-IBM Watson AI Lab

การ เข้าร่วม Wornell ในบทความนี้คือผู้เขียนนำร่วม Abhin Shah นักศึกษาระดับบัณฑิตศึกษาของ EECS และ Yuheng Bu ซึ่งเป็น postdoc ใน RLE; เช่นเดียวกับ Joshua Ka-Wing Lee SM ’17, ScD ’21 และ Subhro Das, Rameswar Panda และ Prasanna Sattigeri เจ้าหน้าที่วิจัยของ MIT-IBM Watson AI Lab เอกสารนี้จะถูกนำเสนอในเดือนนี้ที่งาน International Conference on Machine Learning

จะทำนายหรือไม่ทำนาย

การถดถอยเป็นเทคนิคที่ประเมินความสัมพันธ์ระหว่างตัวแปรตามและตัวแปรอิสระ ในแมชชีนเลิร์นนิง การวิเคราะห์การถดถอยมักใช้สำหรับงานคาดการณ์ เช่น การคาดคะเนราคาของบ้านโดยพิจารณาจากคุณสมบัติของบ้าน (จำนวนห้องนอน พื้นที่เป็นตารางฟุต เป็นต้น) ด้วยการถดถอยแบบเลือกสรร โมเดลแมชชีนเลิร์นนิงสามารถเลือกหนึ่งในสองทางเลือก สำหรับแต่ละข้อมูลป้อนเข้า — สามารถคาดการณ์หรืองดเว้นจากการคาดคะเนได้หากไม่มีความมั่นใจเพียงพอในการตัดสินใจ

เมื่อแบบจำลองละเว้น แบบจำลองจะลดสัดส่วนของตัวอย่างที่คาดการณ์ไว้ ซึ่งเรียกว่าความครอบคลุม โดยการคาดการณ์เฉพาะอินพุตที่มีความมั่นใจสูงเท่านั้น ประสิทธิภาพโดยรวมของโมเดลควรปรับปรุง แต่สิ่งนี้ยังสามารถขยายอคติที่มีอยู่ในชุดข้อมูล ซึ่งเกิดขึ้นเมื่อแบบจำลองมีข้อมูลไม่เพียงพอจากกลุ่มย่อยบางกลุ่ม สิ่งนี้สามารถนำไปสู่ข้อผิดพลาดหรือการคาดคะเนที่ไม่ดีสำหรับบุคคลที่มีบทบาทต่ำต้อย

นักวิจัยของ MIT ตั้งเป้าที่จะทำให้แน่ใจว่า ขณะที่อัตราความผิดพลาดโดยรวมของแบบจำลองดีขึ้นด้วยการถดถอยแบบเลือก ประสิทธิภาพของทุกกลุ่มย่อยก็ดีขึ้นด้วย พวกเขาเรียกความเสี่ยงในการคัดเลือกแบบโมโนโทนิก

“เป็นการท้าทายที่จะคิดหาแนวความคิดที่ถูกต้องเกี่ยวกับความเป็นธรรมสำหรับปัญหานี้โดยเฉพาะ แต่ด้วยการบังคับใช้เกณฑ์นี้ ซึ่งเป็นความเสี่ยงในการเลือกแบบโมโนโทนิก เราจึงมั่นใจได้ว่าประสิทธิภาพของแบบจำลองจะดีขึ้นจริง ๆ ในทุกกลุ่มย่อยเมื่อคุณลดความครอบคลุมลง” ชาห์กล่าว

เน้นความเป็นธรรม

ทีมงานได้พัฒนาอัลกอริธึมโครงข่ายประสาทเทียมสองแบบที่กำหนดเกณฑ์ความเป็นธรรมนี้เพื่อแก้ปัญหา

อัลกอริธึมหนึ่งรับประกันว่าคุณลักษณะที่โมเดลใช้ในการคาดคะเนมีข้อมูลทั้งหมดเกี่ยวกับคุณลักษณะที่ละเอียดอ่อนในชุดข้อมูล เช่น เชื้อชาติและเพศ ที่เกี่ยวข้องกับตัวแปรเป้าหมายที่สนใจ คุณลักษณะที่ละเอียดอ่อนเป็นคุณลักษณะที่อาจไม่สามารถใช้ในการตัดสินใจได้ ซึ่งมักเกิดจากกฎหมายหรือนโยบายขององค์กร อัลกอริธึมที่สองใช้เทคนิคการสอบเทียบเพื่อให้แน่ใจว่าแบบจำลองคาดการณ์แบบเดียวกันสำหรับอินพุต ไม่ว่าจะเพิ่มแอตทริบิวต์ที่ละเอียดอ่อนลงในอินพุตนั้นหรือไม่

นักวิจัยได้ทดสอบอัลกอริธึมเหล่านี้โดยนำไปใช้กับชุดข้อมูลจริงที่สามารถนำมาใช้ในการตัดสินใจที่มีความเสี่ยงสูง ชุดข้อมูลประกันหนึ่งชุดใช้เพื่อคาดการณ์ค่ารักษาพยาบาลประจำปีทั้งหมดที่เรียกเก็บจากผู้ป่วยโดยใช้สถิติทางประชากร อีกชุดข้อมูลอาชญากรรมใช้เพื่อทำนายจำนวนอาชญากรรมรุนแรงในชุมชนโดยใช้ข้อมูลทางเศรษฐกิจและสังคม ชุดข้อมูลทั้งสองมีแอตทริบิวต์ที่ละเอียดอ่อนสำหรับบุคคล

เมื่อพวกเขาใช้อัลกอริธึมบนวิธีการเรียนรู้ด้วยเครื่องมาตรฐานสำหรับการถดถอยแบบเลือก พวกเขาสามารถลดความเหลื่อมล้ำได้โดยบรรลุอัตราความผิดพลาดที่ต่ำกว่าสำหรับกลุ่มย่อยของชนกลุ่มน้อยในแต่ละชุดข้อมูล ยิ่งไปกว่านั้น สิ่งนี้ทำได้สำเร็จโดยไม่ส่งผลกระทบอย่างมีนัยสำคัญต่ออัตราความผิดพลาดโดยรวม

“เราเห็นว่าถ้าเราไม่กำหนดข้อจำกัดบางอย่าง ในกรณีที่โมเดลมีความมั่นใจจริงๆ ก็อาจทำให้เกิดข้อผิดพลาดมากขึ้น ซึ่งอาจมีค่าใช้จ่ายสูงในบางแอปพลิเคชัน เช่น การดูแลสุขภาพ ดังนั้น หากเราย้อนกลับแนวโน้มและทำให้เข้าใจง่ายขึ้น เราจะจับข้อผิดพลาดเหล่านี้ได้มากมาย เป้าหมายหลักของงานนี้คือการหลีกเลี่ยงข้อผิดพลาดที่จะตรวจไม่พบอย่างเงียบๆ” Sattigeri กล่าว

นักวิจัยวางแผนที่จะใช้โซลูชันของตนกับแอปพลิเคชันอื่นๆ เช่น การทำนายราคาบ้าน เกรดเฉลี่ยของนักเรียน หรืออัตราดอกเบี้ยเงินกู้ เพื่อดูว่าอัลกอริทึมจำเป็นต้องได้รับการปรับเทียบสำหรับงานเหล่านั้นหรือไม่ Shah กล่าว พวกเขายังต้องการสำรวจเทคนิคที่ใช้ข้อมูลที่ละเอียดอ่อนน้อยกว่าในระหว่างกระบวนการฝึกอบรมแบบจำลองเพื่อหลีกเลี่ยงปัญหาความเป็นส่วนตัว

และพวกเขาหวังว่าจะปรับปรุงค่าประมาณความเชื่อมั่นในการถดถอยแบบคัดเลือกเพื่อป้องกันสถานการณ์ที่ความเชื่อมั่นของแบบจำลองต่ำ แต่การคาดการณ์นั้นถูกต้อง สิ่งนี้สามารถลดภาระงานของมนุษย์และทำให้กระบวนการตัดสินใจคล่องตัวยิ่งขึ้น Sattigeri กล่าว

งานวิจัยชิ้นนี้ได้รับทุนสนับสนุนบางส่วนจาก MIT-IBM Watson AI Lab และบริษัทสมาชิก Boston Scientific, Samsung และ Wells Fargo และโดย National Science Foundation

หน้าแรก