FTC กล่าวว่าบริษัท AI Evolv 'หลอกลวง' เครื่องสแกนความปลอดภัยของตน

เครื่องสแกนของ Evolv ใช้งานไม่ได้และทำให้โรงเรียนเชื่อเช่นนั้น ต่อไปนี้คือสิ่งที่มีความหมายต่อความปลอดภัยของเด็กๆ

บริษัทปัญญาประดิษฐ์ (AI) ไม่ใช่คนแปลกหน้าในการเพิ่มขีดความสามารถของผลิตภัณฑ์ของตน และเมื่อพูดถึงเรื่องความปลอดภัยสาธารณะ ผลที่ตามมาก็อาจถึงแก่ชีวิตได้

Evolv Technologies อ้างว่าเครื่องสแกนความปลอดภัยที่ขับเคลื่อนด้วย AI จะปรับปรุงความปลอดภัยสาธารณะด้วยการตรวจจับอาวุธในสถานที่ต่างๆ รวมถึงในโรงเรียน แต่คณะกรรมาธิการการค้าของรัฐบาลกลาง (FTC) พบว่าเป็นอย่างอื่น

เมื่อสัปดาห์ที่แล้ว FTC ได้เสนอคำสั่งยุติข้อตกลงกับ Evolv Technologies เกี่ยวกับวิธีที่บริษัทขายเกินความสามารถของระบบรักษาความปลอดภัยที่ขับเคลื่อนด้วย AI ในการตรวจจับอาวุธและ "เพิกเฉยต่อสิ่งของส่วนตัวที่ไม่เป็นอันตราย" โดยเฉพาะในโรงเรียน ระบบไร้สัมผัสของ Evolv จะสแกนผู้คนเมื่อพวกเขาเข้าไปในพื้นที่โดยไม่ต้องค้นหากระเป๋าหรือกระเป๋าเสื้อด้วยตนเอง

ในโพสต์ X ประธาน FTC Lina Khan กล่าวว่า Evolv ได้ "หลอก" ระบบตรวจจับอาวุธ AI ไปยังเขตการศึกษาที่จ่ายเงินให้บริษัท "ล้าน" เพื่อใช้เทคโนโลยีในโรงเรียน เธอตั้งข้อสังเกตว่าเครื่องสแกนส่งสัญญาณเตือนสำหรับสิ่งของที่ไม่เป็นอันตราย เช่น ขวดน้ำและแฟ้ม โดยไม่สามารถระบุอาวุธได้

1. Evolv falsely hyped its AI-powered security screening systems to school districts that then paid it millions of dollars.
In reality, Evolv's scanners sometimes failed to detect weapons in schools while setting off alarms for binders and water bottles. pic.twitter.com/JFonOYEoyA

— Lina Khan (@linakhanFTC) November 26, 2024

ตามรายงานของ The Intercept ในเดือนมิถุนายน ปี 2022 ปีเตอร์ จอร์จ อดีตผู้บริหารระดับสูงของ Evolv ถูกถามในการประชุมนักลงทุนว่า "บริษัทจะหยุดเหตุกราดยิงในโรงเรียนอันน่าสลดใจในเมืองอูวัลเด รัฐเท็กซัส ที่ซึ่งมีนักเรียน 19 คนและครูสองคนเสียชีวิตหรือไม่"

จอร์จตอบว่า "เมื่อใครสักคนเข้าไปในระบบของเรา และพวกเขามีอาวุธปกปิดหรืออาวุธพกพา เราจะพบมันในช่วงเวลานั้น"

แม้จะมีการประกาศของ Georges เขตการศึกษาหลายสิบแห่งที่ทุ่มเงินหลายล้านไปกับเทคโนโลยีการตรวจจับปืนก็ประสบกับกรณีที่ระบบของ Evolvs ไม่ตรวจจับอาวุธ ตามรายงานของ Intercept ซึ่งส่งผลให้เกิดการตรวจสอบทางกฎหมายและกฎระเบียบ ในปี 2023 บริษัทกฎหมาย 5 แห่งได้ประกาศการสอบสวนเทคโนโลยี Evolv เนื่องจากมีการละเมิดกฎหมายหลักทรัพย์ โดยอ้างว่า "Evolv ทำให้นักลงทุนเข้าใจผิดเกี่ยวกับความสามารถของเครื่องตรวจจับอาวุธ"

นอกจากนี้ ผู้ถือหุ้นของ Evolv ได้ยื่นฟ้องบริษัทโดยอ้างว่าการกล่าวอ้างทางการตลาดของบริษัทเกินจริงถึงประสิทธิภาพของเทคโนโลยี

ปัญหาไม่ได้หยุดเพียงแค่นั้น แม้จะมีความวุ่นวายทางกฎหมาย กฎระเบียบ และภายใน แต่ Eric Adams นายกเทศมนตรีนครนิวยอร์กได้เปิดตัวโครงการนำร่องระยะเวลาสามเดือนที่จะติดตั้งเครื่องสแกน AI ในรถไฟใต้ดินของ NYC เครื่องสแกนแบบเดียวกันนี้เคยถูกนำไปใช้ก่อนหน้านี้ในศูนย์การแพทย์ Jacobi ซึ่งมีรายงานว่ากระตุ้นให้เกิดผลบวกลวงจำนวนมาก ตามรายงานของ Hell Gate สำนักข่าวในนิวยอร์ค

เป็นเรื่องปกติที่ระบบ AI จะดีขึ้นเมื่อเวลาผ่านไป เนื่องจากแบบจำลองจะมีความแม่นยำมากขึ้นเมื่อมีข้อมูลสะสมมากขึ้น สำหรับ Evolv นั่นไม่ใช่กรณีดังกล่าว ในขณะที่โครงการนำร่องดำเนินไป เครื่องสแกน AI "ไม่ได้แม่นยำไปกว่านี้อีกแล้ว ไม่มีเดือนใดที่อัตราการเตือนต่อผู้เยี่ยมชมลดลงต่ำกว่า 25 เปอร์เซ็นต์" Hell Gate รายงาน

รายงานเพิ่มเติมพบว่าเครื่องสแกนมี "อัตราผลบวกลวง 95 เปอร์เซ็นต์" และมีเพียง 0.45 เปอร์เซ็นต์ของการแจ้งเตือนเท่านั้นที่ถูกกระตุ้นโดยผู้ที่ถืออาวุธซึ่งไม่ใช่หน่วยงานบังคับใช้กฎหมาย

สิ่งนี้หมายความว่าอย่างไรสำหรับความปลอดภัยของโรงเรียน

เมื่อวันพุธที่ผ่านมา Evolv Technologies บรรลุข้อตกลงกับ FTC เพื่อแก้ไขปัญหาการสอบสวนข้อเรียกร้องทางการตลาดก่อนหน้านี้ ตามโพสต์ของ FTCblog คำสั่งยุติที่เสนอจะป้องกันไม่ให้ Evolv "อ้างสิทธิ์ที่ไม่ได้รับการสนับสนุนเกี่ยวกับความสามารถของผลิตภัณฑ์ในการตรวจจับอาวุธโดยใช้ปัญญาประดิษฐ์" นอกจากนี้ยังกำหนดให้ Evolv “แจ้งให้ลูกค้าโรงเรียนระดับอนุบาลถึงมัธยมศึกษา (K-12) บางรายทราบว่าพวกเขาสามารถยกเลิกสัญญาที่ลงนามระหว่างวันที่ 1 เมษายน 2022 ถึง 30 มิถุนายน 2023” ซึ่งอาจใช้เวลาหลายปี

ซามูเอล เลวีน ผู้อำนวยการสำนักคุ้มครองผู้บริโภค กล่าวในบล็อกว่า "FTC มีความชัดเจนว่าการกล่าวอ้างเกี่ยวกับเทคโนโลยี รวมถึงปัญญาประดิษฐ์ จำเป็นต้องได้รับการสำรองข้อมูล และนั่นเป็นสิ่งสำคัญอย่างยิ่งเมื่อการกล่าวอ้างเหล่านี้เกี่ยวข้องกับความปลอดภัย ของเด็ก"

ไมค์ เอลเลนโบเกน รักษาการประธานและซีอีโอของ Evolv Technology กล่าวในข่าวประชาสัมพันธ์ของบริษัทว่า "การสอบถามของ FTC เกี่ยวข้องกับภาษาทางการตลาดในอดีต ไม่ใช่ความสามารถของระบบของเราในการเพิ่มมูลค่าให้กับการดำเนินการด้านความปลอดภัย" บริษัทยังชี้ให้เห็นว่า "หน่วยงานไม่ได้ท้าทายประสิทธิภาพพื้นฐานของเทคโนโลยีของบริษัท หรือต้องการความช่วยเหลือทางการเงินใดๆ"

ข้อตกลงที่เสนอยังห้ามมิให้ Evolv ทำการกล่าวอ้างอันเป็นเท็จหรือการบิดเบือนความจริงเกี่ยวกับ:

• "ความสามารถของผลิตภัณฑ์ในการตรวจจับอาวุธ เพิกเฉยต่อสิ่งของส่วนตัวที่ไม่เป็นอันตราย และเพิกเฉยต่อสิ่งของส่วนตัวที่ไม่เป็นอันตราย โดยไม่จำเป็นต้องให้ผู้เยี่ยมชมนำสิ่งของดังกล่าวออกจากกระเป๋าหรือกระเป๋า"
• "ความแม่นยำของผลิตภัณฑ์ในการตรวจจับอาวุธและอัตราการเตือนที่ผิดพลาด รวมถึงการเปรียบเทียบกับการใช้เครื่องตรวจจับโลหะแบบเดิมๆ"
• "ความเร็วในการคัดกรองผู้เยี่ยมชมเมื่อเทียบกับการใช้เครื่องตรวจจับโลหะ"
• "ต้นทุนแรงงาน ซึ่งรวมถึงการเปรียบเทียบกับการใช้เครื่องตรวจจับโลหะ การทดสอบ หรือผลการทดสอบใดๆ และแง่มุมที่สำคัญใดๆ ของประสิทธิภาพ รวมถึงการใช้อัลกอริธึม ปัญญาประดิษฐ์ หรือระบบหรือเครื่องมืออัตโนมัติอื่นๆ"

FTC ได้ตั้งข้อสังเกตไว้ในอดีตว่าผลิตภัณฑ์ AI สามารถเสนอตัวเองมากเกินไปว่าเป็นวิธีแก้ปัญหาเชิงระบบ ซึ่งเป็นผลมาจากการโฆษณาเกินจริงของ AI สิ่งนี้อาจมีความเสี่ยงเป็นพิเศษต่อความปลอดภัยสาธารณะ หากเมือง สถาบัน และโรงเรียนจำนวนมากขึ้นพึ่งพาเทคโนโลยี เช่น เครื่องสแกนของ Evolv เป็นระบบปลอดภัยเมื่อเกิดเหตุขัดข้อง