Nvidia, Dell และ Qualcomm เร่งผลลัพธ์ AI ในการทดสอบเกณฑ์มาตรฐานล่าสุด

สิ่งนี้จะช่วยยับยั้งกระแสต้นทุนการประมวลผลที่เพิ่มขึ้นสำหรับการรันโปรแกรม AI

การแสดงกราฟิกของงาน AI ของ Nvidia

ในการทดสอบเกณฑ์มาตรฐานล่าสุดสำหรับปัญญาประดิษฐ์ Nvidia, Dell, Qualcomm และบริษัทสตาร์ทอัพจำนวนมากได้นำเทคนิคใหม่ๆ มาใช้ในการลดงบประมาณการคำนวณในการตอบคำถามไปพร้อมๆ กับการประหยัดพลังงานในกระบวนการ

ซึ่งสามารถช่วยยับยั้งกระแสความต้องการประมวลผลที่เพิ่มขึ้นสำหรับการรันโปรแกรม AI ที่กำลังเติบโต เช่น ChatGPT และ GPT-4 ของ OpenAI

เมื่อวันอังคารที่ผ่านมา MLCommons ซึ่งเป็นสมาคมที่ดำเนินการทดสอบ MLPerf ได้นำเสนอการทดสอบเกณฑ์มาตรฐานล่าสุดว่าเครือข่ายประสาทเทียมสามารถเรียกใช้การคาดการณ์ได้เร็วแค่ไหน ผู้จำหน่ายชั้นนำ เช่น Nvidia, Dell, Qualcomm และ Supermicro ได้ส่งระบบคอมพิวเตอร์ที่มีการกำหนดค่าชิปต่างๆ เพื่อดูว่าระบบใดมีคะแนนสูงสุด

พวกเขาแข่งขันกันเพื่อตอบคำถามจำนวนมากที่สุดที่สามารถตอบได้ต่อวินาที ระยะเวลาในการตอบน้อยที่สุด หรือที่เรียกว่าเวลาแฝง หรือปริมาณการใช้พลังงานน้อยที่สุด ซึ่งก็คือ ประสิทธิภาพการใช้พลังงาน

นอกจากนี้ ยังมีบริษัทสตาร์ทอัพที่น่าสนใจมากมายเข้าร่วมด้วย เช่น Neural Magic, xFusion, cTuning, Nettrix, Neuchips, Moffett และ Krai

ผลการทดสอบที่เรียกว่า "MLPerf Inference 3.0" จะจำลองการดำเนินการด้านคอมพิวเตอร์ที่เกิดขึ้นเมื่อโครงข่ายประสาทเทียมที่ได้รับการฝึกอบรมได้รับการป้อนข้อมูลใหม่และต้องสร้างข้อสรุปเป็นเอาต์พุต

เกณฑ์มาตรฐานจะวัดว่าคอมพิวเตอร์สามารถสร้างคำตอบได้เร็วแค่ไหนสำหรับงานต่างๆ ซึ่งรวมถึง ImageNet ด้วย โดยที่ความท้าทายอยู่ที่โครงข่ายประสาทเทียมจะต้องติดป้ายกำกับใดป้ายหนึ่งกับภาพถ่ายที่อธิบายวัตถุในภาพถ่าย เช่น แมวหรือสุนัข

ผลการทดสอบเป็นไปตามการอนุมาน MPerf 2.1 ที่รายงานในเดือนกันยายน

ในการแถลงข่าว MLCommons ระบุว่าผลลัพธ์ที่ส่งมาโดยผู้จำหน่ายหลายรายแสดงให้เห็นว่า "ประสิทธิภาพเพิ่มขึ้นอย่างมีนัยสำคัญมากกว่า 60% ในการทดสอบเกณฑ์มาตรฐานบางรายการ"

สำหรับการวัดประสิทธิภาพ ผู้ผลิตชิปและระบบจะแข่งขันกันเพื่อดูว่าพวกเขาสามารถดำเนินการวัดต่างๆ เช่น จำนวนรูปภาพที่ประมวลผลในหนึ่งวินาทีได้ดีเพียงใด หรือเวลาแฝงที่สามารถรับได้ต่ำเพียงใด รวมถึงเวลาไปกลับรวมสำหรับคำขอที่ส่ง ไปยังคอมพิวเตอร์และคำทำนายที่จะส่งคืน

ผลลัพธ์ที่รายงานเกี่ยวข้องกับระบบคอมพิวเตอร์ที่ทำงานในศูนย์ข้อมูลและ "ขอบ" ซึ่งเป็นคำที่รวมระบบคอมพิวเตอร์หลากหลายประเภท นอกเหนือจากเครื่องศูนย์ข้อมูลแบบเดิม สเปรดชีตแสดงรายการผลลัพธ์สำหรับส่วนต่างๆ ทั้งหมดของศูนย์ข้อมูลและ Edge

ผลการวิจัยพบว่ามีองค์กรต่างๆ จำนวนมากขึ้นที่ซื้อการทดสอบเกณฑ์มาตรฐาน MLCommons กล่าวว่า "องค์กรที่ส่งผลงานทำลายสถิติ 25 องค์กร" ส่ง "ผลการดำเนินงานมากกว่า 6,700 รายการ และผลการวัดประสิทธิภาพและประสิทธิภาพพลังงานมากกว่า 2,400 รายการ" ซึ่งเพิ่มขึ้นจากการวัดประสิทธิภาพ 5,300 ครั้งและการวัดกำลัง 2,400 ครั้งในเดือนกันยายน

การส่งจะถูกแบ่งออกเป็นสองประเภท: "ปิด" และ "เปิด" ในหมวดหมู่เดิม ผู้ส่งหลายรายจะปฏิบัติตามกฎที่เข้มงวดเกี่ยวกับวิธีการใช้งานซอฟต์แวร์ AI เพื่อให้สามารถเปรียบเทียบระบบได้โดยตรงที่สุดในระดับที่เท่าเทียมกัน

ในกรณีหลัง ผู้ส่งผลงานจะได้รับอนุญาตให้ใช้วิธีการซอฟต์แวร์เฉพาะที่ไม่สอดคล้องกับกฎมาตรฐานสำหรับการวัดประสิทธิภาพ และทำให้เกิดนวัตกรรมใหม่ๆ บางอย่าง

ตามปกติแล้ว Nvidia ซึ่งเป็นซัพพลายเออร์รายใหญ่ของ GPU ที่ใช้ในการรัน AI ได้รับรางวัลมากมายจากประสิทธิภาพของการทดสอบส่วนใหญ่ ระบบของ Nvidia ที่ทำงานบนโปรเซสเซอร์ Intel Xeon สองตัวและชิป GPU "Hopper" แปดตัวของ Nvidia ครองตำแหน่งสูงสุดในห้างานจากหกงานวัดประสิทธิภาพที่แตกต่างกัน รวมถึงการรันโมเดลภาษา Google BERT ซึ่งเป็นบรรพบุรุษของ ChatGPT หนึ่งในหกงานคือระบบของ Dell ที่ใช้การกำหนดค่าชิป Intel และ Nvidia ที่เกือบจะเหมือนกันซึ่งเกิดขึ้นสูงสุด

สามารถดูข้อมูลเพิ่มเติมเกี่ยวกับผลลัพธ์ของ Nvidia ได้ในบล็อกโพสต์ของบริษัท

Qualcomm สามารถเพิ่มปริมาณการสืบค้นสำหรับโปรแกรมภาษา BERT ได้สามเท่าจากผลลัพธ์ในรอบ 2.1 ก่อนหน้า บริษัทกล่าว ระบบที่ส่งโดย Qualcomm โดยใช้ชิปเซิร์ฟเวอร์ AMD EPYC สองตัว และชิปเร่ง AI "AI100" ของ Qualcomm 18 ตัว ได้คะแนนสูงสุดสำหรับแผนกเปิดของคอมพิวเตอร์ศูนย์ข้อมูลในงาน BERT ความสำเร็จของมันคืออัตราการสืบค้น 53,024 รายการไปยังเครือข่าย BERT ต่อวินาที ซึ่งตามหลังคะแนนสูงสุดโดย Nvidia ในกลุ่มปิดเพียงเล็กน้อยเท่านั้น

ผู้เข้าร่วมใหม่ ได้แก่ cTuning ในปารีส ซึ่งเป็นองค์กรไม่แสวงผลกำไรที่กำลังพัฒนาเครื่องมือโอเพ่นซอร์สสำหรับโปรแกรมเมอร์ AI เพื่อสร้างผลการทดสอบเกณฑ์มาตรฐานบนแพลตฟอร์มฮาร์ดแวร์ต่างๆ

CTuning ครองตำแหน่งสูงสุดในด้านเวลาแฝงที่ต่ำที่สุด ซึ่งเป็นเวลาที่สั้นที่สุดตั้งแต่การส่งคำถามไปจนถึงเวลาที่คำตอบกลับมา สำหรับสี่ในห้างานบนเกณฑ์มาตรฐานสำหรับ Edge Computing ภายในหมวดหมู่ปิด

การกลับมาของคู่แข่งในการอนุมาน Neural Magic ซึ่งเป็นสตาร์ทอัพที่ได้รับการสนับสนุนจากร่วมก่อตั้งโดย Nir Shavit นักวิชาการจาก MIT ได้นำซอฟต์แวร์พิเศษมาอีกครั้งซึ่งสามารถค้นหา "น้ำหนักประสาท" ของโครงข่ายประสาทเทียมที่สามารถปล่อยทิ้งไว้โดยไม่ได้ใช้งาน ไม่ได้รับการประมวลผลโดยชิปคอมพิวเตอร์ จึงช่วยประหยัดความต้องการในการประมวลผล

ซอฟต์แวร์ DeepSparse ของบริษัทสามารถใช้ได้เฉพาะโปรเซสเซอร์โฮสต์ ชิป x86 จาก Intel, AMD หรือชิปที่ใช้ ARM ในอนาคต โดยไม่ได้รับความช่วยเหลือจาก Nvidia GPU

ในการทดสอบภาษา BERT ในส่วนเปิดสำหรับการประมวลผลแบบเอดจ์ ซอฟต์แวร์ DeepSparse ของ Neural Magic ใช้โปรเซสเซอร์เซิร์ฟเวอร์ AMD EPYC สองตัวเพื่อให้การตอบสนอง 5,578 ต่อวินาทีจากเครือข่ายประสาทเทียมของ Google BERT นั่นเป็นเพียงเล็กน้อยตามหลังอันดับสองที่แสดงโดยคอมพิวเตอร์ของ Supermicro ในแผนกปิดซึ่งประกอบด้วยโปรเซสเซอร์ Xeon สองตัวและ Nvidia Hopper GPU หนึ่งตัว

บริษัทให้เหตุผลว่าการใช้ชิป x86 ทั่วไปแทน GPU ที่มีราคาแพงกว่า จะช่วยกระจาย AI ไปยังบริษัทและสถาบันต่างๆ ได้มากขึ้น โดยการลดต้นทุนโดยรวมในการรันโปรแกรม

Michael Goin หัวหน้าฝ่ายวิศวกรรมผลิตภัณฑ์ของ Neural Magic กล่าวในการให้สัมภาษณ์กับ ZDNET ว่า "คุณสามารถได้รับประโยชน์มากขึ้นจากฮาร์ดแวร์ระดับผู้บริโภคนี้" "เหล่านี้เป็นชิป AMD แบบเดียวกับที่บริษัทต่างๆ ใช้ในร้านค้าหรือร้านค้าปลีกของตนเพื่อดำเนินการขาย ดำเนินการสินค้าคงคลัง และดำเนินการด้านลอจิสติกส์"

สามารถดูข้อมูลเพิ่มเติมเกี่ยวกับแนวทางของ Neural Magic ได้ในบล็อกโพสต์ของบริษัท