MedPerf มีเป้าหมายเพื่อเพิ่มความเร็วให้กับ AI ทางการแพทย์ในขณะเดียวกันก็รักษาข้อมูลให้เป็นส่วนตัว

MedPerf รวบรวมโดยกลุ่ม MLCommons ที่ทำการวัดประสิทธิภาพชิป AI โดยช่วยให้แพทย์สามารถเก็บข้อมูลคนไข้ไว้เป็นส่วนตัว ในขณะเดียวกันก็ให้นักพัฒนาอัลกอริทึมทดสอบโปรแกรมของตนกับข้อมูลในโลกแห่งความเป็นจริงได้

การใช้ปัญญาประดิษฐ์ในรูปแบบแมชชีนเลิร์นนิงกับการแพทย์ถูกขัดขวางโดยความละเอียดอ่อนของข้อมูลที่จะใช้ในการฝึกโมเดล

ความพยายามใหม่ที่เรียกว่าการฝึกอบรม AI แบบ "รวมศูนย์" มีเป้าหมายเพื่อรักษาข้อมูลให้เป็นส่วนตัว แต่ยังช่วยให้นักพัฒนาอัลกอริทึมและแพทย์ได้รับประโยชน์จากการโต้ตอบของชุดข้อมูลจริงและโมเดล ML ใหม่

MedPerf ซึ่งเป็นกลุ่มที่ก่อตั้งโดยสมาคม MLCommons Association ที่ไม่แสวงหากำไร ซึ่งเป็นกลุ่มอุตสาหกรรมที่ทำการเปรียบเทียบชิปคอมพิวเตอร์สำหรับประสิทธิภาพในงาน AI มีจุดมุ่งหมายเพื่อแก้ปัญหาทางตันของข้อมูล ดังที่อธิบายไว้ในรายงานจุดยืนครั้งแรกที่เผยแพร่เมื่อวันจันทร์โดยวารสารวิทยาศาสตร์อันทรงเกียรติ Nature .

เกณฑ์มาตรฐาน MedPerf ใช้โมเดล AI และส่งไปยังแพทย์ที่มีข้อมูล จากนั้นแพทย์จะรายงานกลับไปว่าแบบจำลองดังกล่าวเทียบกับข้อมูลอย่างไร นั่นหมายความว่านักพัฒนาโปรแกรม AI สามารถเข้าถึงชุดข้อมูลส่วนตัวที่พวกเขาไม่มีทางเข้าถึงได้ ในขณะที่แพทย์จะได้รู้ว่า AI สามารถให้คำตอบเกี่ยวกับสุขภาพของผู้ป่วยได้หรือไม่โดยการคาดการณ์ข้อมูล เนื่องจากการแลกเปลี่ยน ข้อมูลจึงไม่ออกจากสถานที่ที่ปลอดภัยของแพทย์

"แนวทางนี้มีจุดมุ่งหมายเพื่อกระตุ้นการนำ AI ทางการแพทย์ไปใช้ในวงกว้าง ซึ่งนำไปสู่การปฏิบัติทางคลินิกที่มีประสิทธิภาพ ทำซ้ำได้ และคุ้มค่ามากขึ้น พร้อมปรับปรุงผลลัพธ์ของผู้ป่วยในท้ายที่สุด" กลุ่มวิจัยตั้งข้อสังเกตในรายงาน "การเปรียบเทียบแบบรวมศูนย์ของปัญญาประดิษฐ์ทางการแพทย์กับ MedPerf" ตีพิมพ์ในสำนักพิมพ์ Nature Machine Intelligence แห่ง Nature

บทความนี้เขียนโดยผู้เขียนนำ Alexandros Karargyris แห่งมหาวิทยาลัย Strasbourg ประเทศฝรั่งเศส และผู้ร่วมให้ข้อมูลอีก 76 ราย ซึ่งเป็นตัวแทนของบริษัทมากกว่า 20 แห่ง รวมถึง Nvidia และ Microsoft และสถาบันการศึกษา 20 แห่ง และโรงพยาบาล 9 แห่ง ใน 13 ประเทศและ 5 ทวีป

การใช้ MedPerf ครั้งแรกในการทดสอบเกณฑ์มาตรฐานตัวอย่างเป็นการใช้ในด้านรังสีวิทยาและการผ่าตัด คาราไจริสและทีมงานกล่าว แต่พวกเขาเขียนว่า แพลตฟอร์มดังกล่าว "สามารถนำไปใช้ในงานชีวการแพทย์อื่นๆ ได้อย่างง่ายดาย เช่น พยาธิวิทยาทางคอมพิวเตอร์ จีโนมิกส์ การประมวลผลภาษาธรรมชาติ (NLP) หรือการใช้ข้อมูลที่มีโครงสร้างจากเวชระเบียนของผู้ป่วย"

แนวคิดหลักของแนวทางนี้จะถูกนำเสนอในแผนผังสรุปบนเว็บไซต์ MLCommons และในบล็อกโพสต์ที่แนบมาด้วย

David Kanter กรรมการบริหารของ MLCommons กล่าวในแถลงการณ์ทางอีเมลว่า "AI ทางการแพทย์มีความสำคัญต่อผลกระทบที่อาจเกิดขึ้นกับทุกคนทั่วโลก และผมรู้สึกภาคภูมิใจเป็นพิเศษกับการมีส่วนร่วมของชุมชนในวงกว้างที่เราได้เห็นกับ MedPerf -- นักวิจัย โรงพยาบาล นักเทคโนโลยี และอื่นๆ

"MedPerf เป็นความพยายามครั้งใหญ่ของชุมชน และเรารู้สึกตื่นเต้นที่ได้เห็น MedPerf เติบโตและเจริญก้าวหน้าต่อไป ซึ่งท้ายที่สุดแล้วจะเป็นการปรับปรุงการรักษาพยาบาลสำหรับทุกคน" Kanter กล่าว

แพลตฟอร์มของ MedPerf ประกอบด้วย MLCubs ซึ่งเป็นวิธีการสร้างคอนเทนเนอร์แอปพลิเคชันที่ปลอดภัยซึ่งคล้ายกับ Docker แพลตฟอร์มดังกล่าวมี MLCubes ที่แตกต่างกันสามแบบ หนึ่งอันสำหรับเตรียมข้อมูล หนึ่งอันสำหรับโฮสต์โมเดล และอีกหนึ่งอันสำหรับประเมินผลลัพธ์เพื่อประเมินประสิทธิภาพของโมเดลในการทดสอบเกณฑ์มาตรฐาน

ตามที่อธิบายโดย Karargyris และทีมงานในบทความ

โมเดล MLCube มีโมเดล AI ที่ได้รับการฝึกล่วงหน้าเพื่อประเมินเป็นส่วนหนึ่งของการวัดประสิทธิภาพ โดยมีฟังก์ชันเดียวคืออนุมาน ซึ่งคำนวณการคาดการณ์เกี่ยวกับเอาต์พุตข้อมูลที่เตรียมไว้โดย MLCube การเตรียมข้อมูล ในกรณีในอนาคตของโมเดลเฉพาะ API นี่จะเป็นคอนเทนเนอร์ที่โฮสต์ API Wrapper เพื่อเข้าถึงโมเดลส่วนตัว

MedPerf ยังร่วมมือกับ Hugging Face ซึ่งเป็นแหล่งเก็บข้อมูลโมเดล AI ยอดนิยม "Hugging Face Hub ยังอำนวยความสะดวกในการประเมินโมเดลโดยอัตโนมัติ และจัดทำบอร์ดผู้นำของโมเดลที่ดีที่สุดตามข้อกำหนดเกณฑ์มาตรฐาน" พวกเขาเขียน

พันธมิตรอีกรายหนึ่งคือ Sage Bionetworks ซึ่งพัฒนาแพลตฟอร์ม Synapse สำหรับการแบ่งปันข้อมูลที่ถูกนำมาใช้ในความท้าทายด้านข้อมูลที่มาจากฝูงชน “ส่วนประกอบเฉพาะกิจหลายอย่างที่จำเป็นสำหรับการรวม MedPerf-FeTS นั้นถูกสร้างขึ้นบนแพลตฟอร์ม Synapse” ผู้เขียนตั้งข้อสังเกต "Synapse สนับสนุนการแบ่งปันข้อมูลการวิจัย และสามารถใช้เพื่อสนับสนุนการดำเนินการตามความท้าทายของชุมชน"

วิธีการ MedPerf ได้รับการทดสอบแล้วกับความท้าทายที่จัดโดยสถาบันการศึกษาหลายแห่งที่เรียกว่า Federated Tumor Segmentation Challenge โดยตาข่ายประสาทจะถูกท้าทายเพื่อระบุเนื้องอกในสมอง โดยเฉพาะเนื้องอกไกลโอมา ในภาพ MRI การแข่งขัน FeTS 2022 ที่ MedPerf เข้าร่วมนั้น เกิดขึ้นในไซต์ที่เข้าร่วม 32 แห่งใน 6 ทวีป

“นอกจากนี้ MedPerf ยังได้รับการตรวจสอบผ่านชุดการศึกษานำร่องกับกลุ่มนักวิชาการที่เกี่ยวข้องกับความร่วมมือจากหลายสถาบัน เพื่อวัตถุประสงค์ในการวิจัยและพัฒนาแบบจำลอง AI ทางการแพทย์” ผู้เขียนกล่าว

MedPerf คาดว่าจะขยายแพลตฟอร์มไปยังผู้เข้าร่วมจำนวนมากขึ้น โดยประกาศว่า "ขณะนี้เรากำลังดำเนินการประเมินวัตถุประสงค์ทั่วไปของ AI ด้านการดูแลสุขภาพผ่านความร่วมมือที่ใหญ่ขึ้น"

บทความนี้อธิบายว่า MedPerf ขณะนี้ได้ผ่านขั้นตอน "การพิสูจน์แนวคิด" ในระยะเริ่มแรก และอยู่ท่ามกลางการเปลี่ยนแปลงจากขั้นอัลฟ่าไปเป็นเบต้า ขั้นตอนต่อไป ได้แก่ การเปิดงานการเปรียบเทียบโดยทั่วไปแก่ผู้เข้าร่วมภายนอก

ส่วนหนึ่งของรายงานคือการเรียกร้องให้ฝ่ายต่างๆ ในวงการการแพทย์ก้าวขึ้นมาและมีส่วนร่วม รวมถึง "ผู้มีส่วนได้ส่วนเสียด้านการดูแลสุขภาพให้จัดตั้งคณะกรรมการมาตรฐานที่กำหนดข้อกำหนดและดูแลการวิเคราะห์" และ "เจ้าของข้อมูล (เช่น องค์กรด้านการดูแลสุขภาพ แพทย์) ให้ลงทะเบียนข้อมูลของตน ในแพลตฟอร์ม (ไม่จำเป็นต้องแชร์ข้อมูล)"

รหัสสำหรับ MedPerf ถูกโพสต์บน GitHub