การทดสอบเกณฑ์มาตรฐานของประสิทธิภาพของ AI, MLPerf ยังคงได้รับผู้ติดตาม

ผู้ผลิตคอมพิวเตอร์ Asus และ H3C เข้าร่วมกับ Nvidia และ Qualcomm ในอุตสาหกรรม AI เพื่อความเร็วและประสิทธิภาพของคอมพิวเตอร์

เมื่อวันพุธ MLCommons ซึ่งเป็นกลุ่มอุตสาหกรรมที่ดูแลการทดสอบประสิทธิภาพของแมชชีนเลิร์นนิงยอดนิยม MLPerf ได้ เผยแพร่รายงานการทดสอบเกณฑ์มาตรฐานล่าสุด ซึ่งแสดงให้เห็นถึงผู้ติดตามรายใหม่ ได้แก่ ผู้ผลิตคอมพิวเตอร์ ASUS, H3C และ ZhejiangLab ซึ่งเป็นสถาบันวิจัยที่ก่อตั้งโดยรัฐบาลมณฑลเจ้อเจียงในประเทศจีน

ฝ่ายเหล่านั้นเข้าร่วมกับผู้ส่งบ่อย Nvidia, Qualcomm, Dell และ Microsoft

David Kanter ผู้อํานวยการบริหารของ MLCommons ชื่นชมจํานวนการส่งผลงานมากกว่า 3,900 รายการ ผลลัพธ์เหล่านั้นครอบคลุมการประมวลผลที่หลากหลาย ตั้งแต่ศูนย์ข้อมูลไปจนถึงสิ่งที่เรียกว่า "TinyML" ที่ทํางานบนอุปกรณ์ต่างๆ เช่น ไมโครชิปแบบฝังตัวที่จิบพลังงานเพียงเศษเสี้ยวของวัตต์ 

"นี่เป็นช่วงไดนามิกขนาดใหญ่" Kanter กล่าว ประสิทธิภาพที่เร็วที่สุดบนเกณฑ์มาตรฐาน ResNet-50 นั้นเร็วกว่าระบบที่ช้าที่สุดเป็นล้านเท่า "มันยากที่จะใช้งานในช่วงประสิทธิภาพที่กว้าง แต่นั่นเป็นสิ่งที่เราทําได้ดีมาก"

ตัวอย่างเช่น การทดสอบการอนุมานในศูนย์ข้อมูลระบบคลาวด์ ซึ่งมีการส่งข้อมูลจํานวนมาก คราวนี้รายงานผลการทดสอบที่แตกต่างกัน 926 รายการ ใน 84 ระบบ โดย 14 ฝ่าย เพิ่มขึ้นจากผลการทดสอบที่รายงาน 754 รายการจาก 67 ระบบที่ส่งโดยผู้ส่ง 13 รายในเวอร์ชันเดือนกันยายนของเกณฑ์มาตรฐาน

บริษัทต่างๆ ที่เข้าร่วมในความพยายามที่มีอายุสี่ปีอาจไม่ปรากฏจากรายงานหนึ่งไปยังอีกรายงานหนึ่ง ตัวอย่างเช่น Intel และ Hewlett Packard Enterprise ซึ่งทั้งคู่มีการส่งหลายรายการเพื่อรายงานในเดือนกันยายนขาดหายไปจากรายงานล่าสุด 

MLCommons กล่าวว่าผลการวิจัยแสดงให้เห็นว่าคอมพิวเตอร์ที่ทํางานโครงข่ายประสาทเทียมทํางาน เช่น การประมวลผลภาษาธรรมชาติ การรับรู้ภาพ และการจดจําเสียง 

ไฮไลท์ของรายงานในครั้งนี้คือผู้ขายจํานวนมากส่งผลลัพธ์มากขึ้นเพื่อวัดการใช้พลังงานของระบบคอมพิวเตอร์ของตนในงาน AI ตามที่ ZDNet รายงานในเดือนกันยายนจํานวนการส่งสําหรับการใช้พลังงานลดลงเหลือเพียง 350 รายการจาก 864 รายการในรายงานเดือน เมษายน

คราวนี้มีรายงานผลการใช้พลังงาน 576 รายการสําหรับการอนุมานในศูนย์ข้อมูลระบบคลาวด์และอุปกรณ์ "เอดจ์" บนคลาวด์ในระบบต่างๆ 30 ระบบ มีการวัดพลังงานอีก 3,948 ครั้งที่รายงานโดย Krai ซึ่งเป็นสตาร์ทอัพ AI ในโหมดซ่อนตัวที่ส่งผลการทดสอบจํานวนมากในหมวดหมู่ "Open Edge" ซึ่งผู้ส่งมีอิสระที่จะใช้แนวทางโครงข่ายประสาทเทียมที่ไม่ได้มาตรฐาน

Krai รายงานการผสมผสานชิปเพิ่มเติมในครั้งนี้ซึ่งก่อนหน้านี้ได้รายงานเฉพาะตัวเร่งความเร็ว Jetson AGX Xavier ของ Nvidia เท่านั้น คราวนี้ Krai รายงานผลลัพธ์สําหรับอุปกรณ์ คอมพิวเตอร์แบบฝังตัว Raspberry Pi หลายสิบเครื่อง

"คราวนี้ เปอร์เซ็นต์ของการส่งแบบปิดพร้อมการวัดกําลังเพิ่มขึ้นจาก 15.7% เป็น 17.6% ดังนั้นจึงเพิ่มขึ้น แต่เรายังมีงานที่ต้องทํา" Kanter กล่าว "ปิด" หมายถึงการส่งที่เป็นไปตามการกําหนดค่าโครงข่ายประสาทเทียมมาตรฐานของ MLCommon อย่างเคร่งครัด

ในวิสัยทัศน์ "เปิด" ซึ่งผู้ส่งสามารถใช้เสรีภาพในการสร้างโครงข่ายประสาทเทียม ซึ่งถูกครอบงําโดย Krai จํานวนการส่งที่มีการวัดกําลังเพิ่มขึ้นเป็น 86% จาก 32% Kanter กล่าว

"เรามีผู้ส่งบางคนที่ไม่สามารถรับมิเตอร์ไฟฟ้าในครั้งที่แล้วเนื่องจากปัญหาห่วงโซ่อุปทาน" Kanter กล่าว

Kanter ตั้งข้อสังเกตว่าการขยายการส่งได้รับความช่วยเหลือจากแนวทางใหม่บางอย่างที่ MLCommons นํามาใช้ ตัวอย่างเช่น คราวนี้ ผู้ส่งได้รับอนุญาตให้ใช้สิ่งที่เรียกว่า "การหยุดก่อนกําหนด" ซึ่งผู้ส่งสามารถหยุดทําการทดสอบได้ก่อนที่ "ยุค" ของการฝึกอบรมจะผ่านไปตามจํานวนหนึ่ง แทนที่จะฝึกฝนให้นานที่สุด 

การทําเช่นนั้นหมายความว่าระบบที่ช้ากว่าซึ่งจะถูกท้าทายให้ทําการทดสอบเกณฑ์มาตรฐานให้เสร็จสมบูรณ์โดยเฉพาะอุปกรณ์ที่ใช้พลังงานต่ําเช่น Raspberry Pi จะไม่เสียเปรียบ อย่างมากอีกต่อไป

"การหยุดแต่เนิ่นๆ มีประโยชน์มาก" Kanter กล่าว "หากคุณสามารถลดรันไทม์ลงได้ถึงสิบเท่า คุณก็สามารถเปรียบเทียบได้มากถึงสิบเท่า" 

ในส่วน MLPerf TinyML ซึ่งงานเปรียบเทียบรวมถึงสิ่งต่างๆ เช่น เวลาแฝงในการตรวจจับ "คําปลุก" ซึ่งเป็นสิ่งที่เปิดใช้งานลําโพงอัจฉริยะหรือผู้ช่วย AI รายอื่น ผู้จําหน่ายแปดรายแข่งขันกับโปรเซสเซอร์ใหม่ รวมถึง Andes Technology ผู้ออกแบบชิปคอมพิวเตอร์ ชิป "AndesCore" ของ Andes ใช้ประโยชน์จากชุดคําสั่งคอมพิวเตอร์ RISC-V แบบโอเพ่นซอร์ส ซึ่งแข่งขันกับ ARM และ Intel เพื่อเป็นชุดคําสั่งที่สามารถปรับเปลี่ยนได้อย่างอิสระสําหรับอุปกรณ์คอมพิวเตอร์ทุกประเภท

ในงานทั่วไปอย่างหนึ่งคือ "คําปลุกด้วยภาพ" ซึ่งใช้ชุดข้อมูลที่เรียกว่า COCO 14 "วัตถุทั่วไปในบริบท" เพื่อทดสอบการจดจําวัตถุในภาพ คะแนนสูงสุดในแง่ของเวลาแฝงถูกนํามาโดยสตาร์ทอัพ Plumerai ซึ่งสร้างซอฟต์แวร์ของตัวเองเพื่อฝึกอบรมและปรับใช้โมเดล AI บนไมโครโปรเซสเซอร์มาตรฐาน

การใช้ชิป STMicroelectronics ที่มีแกนโปรเซสเซอร์ ARM Cortex M7 ทําให้ Plumerai ส่งมอบผลลัพธ์ COCO 14 ในเวลาแฝง 59.4 มิลลิวินาที

หมวดหมู่เดียวที่เห็นผลลัพธ์ที่รายงานลดลงคือหมวดหมู่ ML บนมือถือ ซึ่งประกอบด้วยผลลัพธ์สําหรับโทรศัพท์มือถือและแล็ปท็อป Qualcomm และ Samsung ต่างส่งระบบหนึ่งเครื่อง สมาร์ทโฟน แต่หมวดหมู่สําหรับแล็ปท็อปว่างเปล่าโดยสิ้นเชิง ในขณะที่ในเดือนตุลาคมมีการส่งหนึ่งระบบจาก Intel 

เมื่อถูกถามเกี่ยวกับการขาดแคลนรายงานสําหรับมือถือ Kanter จาก MLCommons ตั้งข้อสังเกตว่ามือถือเป็นหมวดหมู่ที่ยากเพราะโทรศัพท์มือถือเป็นสายผลิตภัณฑ์ที่ไม่มีใครอยากพูดถึงก่อนที่จะมีการประกาศโทรศัพท์ ซึ่งแตกต่างจากคลาวด์และเซิร์ฟเวอร์เอดจ์ที่มีวงจร ชีวิตของผลิตภัณฑ์ที่ยาวนาน

"สมาชิกมือถือหลายคน [ของ MLCommons] เป็นผู้ผลิตระบบบนชิป และพวกเขาอาจไม่ต้องการใช้โทรศัพท์ของพันธมิตรในรูปแบบก่อนวางจําหน่าย" Kanter กล่าว ในทางกลับกันมีแรงจูงใจน้อยลงในการส่งผลการเปรียบเทียบบนโทรศัพท์ที่มีอายุสามหรือสี่เดือน

Kanter กล่าวว่า MLCommons กําลังหาวิธีในอนาคตเพื่อพยายามลดช่องว่างโดยทําให้ผู้ผลิตสมาร์ทโฟนสามารถส่งได้ง่ายขึ้นโดยไม่ต้องเปิดเผยผลิตภัณฑ์ของตน

"ในระยะยาว สิ่งที่เราต้องการทําคือทําให้มีวิธี หากคุณกําลังจะเปิดตัวสมาร์ทโฟนในวันที่ 23 เมษายน สมมติว่าคุณสามารถปรากฏตัวบนเวทีพร้อมหมายเลข MLPerf ในวันนั้น เพื่อให้เราช่วยให้พันธมิตรและสมาชิกของเราสามารถเปิดตัวด้วย MLPerf ได้ " Kanter กล่าว

การส่งโทรศัพท์ของ Qualcomm และ Samsung ประกอบด้วยโทรศัพท์ Xiaomi MI12 ในกรณีของ Qualcomm และ Samsung Galaxy S22+ 5G ซึ่งแสดงโปรเซสเซอร์ที่เกี่ยวข้อง Snapdragon 8 Gen1 และ Exynos 2200 ในงานต่างๆ เช่น การจดจําภาพและการประมวลผลภาษาธรรมชาติ ผลลัพธ์ของ Xiaomi ของ Qualcomm มีเวลาแฝงต่ํากว่าประสิทธิภาพของ Samsung Galaxy ในการทดสอบ ส่วนใหญ่

รายละเอียดทางเทคนิคเพิ่มเติมเกี่ยวกับแนวทางเกณฑ์มาตรฐาน MLPerf มีอยู่ในเอกสารการวิจัยต้นฉบับที่โพสต์ในปี 2019 โดยกลุ่ม