พิมพ์เขียวของ IBM สําหรับการเปลี่ยนแปลงอุตสาหกรรมใช้ประโยชน์จาก AI, 5G และการทํางานร่วมกันอย่างไร

OctoML กําลังประกาศเปิดตัวแพลตฟอร์มล่าสุดเพื่อทําให้การปรับใช้โมเดลที่พร้อมใช้งานจริงโดยอัตโนมัติในระบบคลาวด์อุปกรณ์ฮาร์ดแวร์และเอ็นจิ้นการเร่งความเร็วการเรียนรู้ของเครื่อง

เปรียบเทียบและปรับใช้โมเดลแมชชีนเลิร์นนิงของคุณบน AWS, Azure และ Google Cloud หรือที่เอดจ์บนฮาร์ดแวร์ AMD, Arm, Intel และ Nvidia ปรับปรุงประสิทธิภาพและใช้เฟรมเวิร์กโอเพ่นซอร์ส เช่น ONNX Runtime, TensorFlow และ TensorFlow Lite และ TVM

นั่นคือข้อเสนอของ OctoML โดยสังเขป เราคิดว่ามันวาดภาพที่เป็นตัวแทนของภูมิทัศน์ในปัจจุบันในการปรับใช้แอปพลิเคชัน AI ซึ่งเป็นโดเมนที่เรียกว่า MLOps เราได้ระบุว่า MLOps เป็นส่วนสําคัญของการเปลี่ยนแปลงอย่างต่อเนื่องไปสู่แอปพลิเคชันที่ขับเคลื่อนด้วยแมชชีนเลิร์นนิ่ง และเปิดตัว OctoML ในเดือนมีนาคม 2021 ในโอกาสของการระดมทุนรอบ Series B

เปิดตัวในวันนี้ที่ TVMcon 2021 ซึ่งเป็นการประชุมเกี่ยวกับเฟรมเวิร์ก Apache TVM แบบโอเพ่นซอร์ส สําหรับการเร่งความเร็วการเรียนรู้ของเครื่อง OctoML รุ่นใหม่นําเสนอคุณสมบัติใหม่มากมาย เราได้พูดคุยกับ Luis Ceze ซีอีโอและผู้ร่วมก่อตั้ง OctoML เพื่อหารือเกี่ยวกับความคืบหน้าของ OctoML โดยเป็นตัวแทนสําหรับความคืบหน้าของ MLOps โดยรวม

เกินความคาดหมาย

สิ่งแรกที่ควรทราบในรายงานความคืบหน้านี้คือ OctoML ได้เกินเป้าหมายที่กําหนดโดย Ceze ในเดือนมีนาคม 2021 Ceze ตั้งข้อสังเกตในตอนนั้นว่าเป้าหมายของบริษัทคือการเพิ่มจํานวนพนักงาน ขยายไปสู่ขอบ และก้าวหน้าในการเพิ่มการสนับสนุนสําหรับการฝึกอบรมโมเดลแมชชีนเลิร์นนิง นอกเหนือจากการอนุมานที่ได้รับการสนับสนุนอยู่แล้ว

เป้าหมายทั้งหมดเหล่านั้นได้รับการบรรลุในระดับหนึ่ง โดยการสนับสนุน สําหรับการฝึกอบรมโมเดลแมชชีนเลิร์นนิงที่ครอบคลุมในเชิงลึกโดย Tiernan Ray ของ ZDNet เมื่อเร็ว ๆ นี้ Ceze กล่าวว่า OctoML มีความคืบหน้าที่ดีในด้านนั้น โดยมีแผนงานที่จะเผยแพร่สิ่งนี้บนแพลตฟอร์ม OctoML ในบางจุดในปี 2022

สิ่งที่ไม่เคยระบุไว้เป็นเป้าหมาย แต่เกิดขึ้นอยู่ดี ก็เป็นรอบการระดมทุนอีกรอบหนึ่ง สิ่งนี้เกิดขึ้นในเดือนพฤศจิกายน พ.ศ. 2021 และ OctoML ได้รับเงิน 85 ล้านดอลลาร์ในรอบ Series C ดังที่ Ceze ตั้งข้อสังเกต มันเป็นสัญญาณของเวลา เมื่อเร็ว ๆ นี้เราสูญเสียการนับรอบการระดมทุนที่ดูเหมือนจะไม่มีวันสิ้นสุดในพื้นที่ AI อย่างแท้จริง Ceze กล่าวว่าแม้ว่า OctoML จะไม่ได้ต้องการระดมทุนเพิ่มเติม แต่พวกเขาก็ตัดสินใจว่ามันจะช่วยให้พวกเขาเติบโตเร็วขึ้น

และเติบโตขึ้นพวกเขาก็ทํา OctoML เกินเป้าหมายในแง่ของการสรรหาบุคลากร ปัจจุบันมีพนักงานมากกว่า 100 คน และเติบโตอย่างต่อเนื่อง นี่เป็นสิ่งที่น่าสังเกตเนื่องจากยากที่จะหาการผสมผสานระหว่างความเชี่ยวชาญด้านแมชชีนเลิร์นนิงและฮาร์ดแวร์ที่ OctoML กําลังมองหา มาดูกันว่า OctoML ประสบความสําเร็จอะไรอีกบ้าง และฟีเจอร์ใหม่ใดที่ประกาศในวันนี้

ประการแรก ได้ขยายตัวเลือกของเป้าหมายการปรับใช้เพื่อรวมการสนับสนุนเป้าหมาย Microsoft Azure ตอนนี้ OctoML มีตัวเลือกในระบบคลาวด์หลักทั้งสามแห่ง รวมถึง AWS และ Google Cloud Platform โดยมีซีพียู AMD และ Intel และ Nvidia GPU เป็นตัวเลือกเป้าหมายในแต่ละคลาวด์

การเติบโตของการเปลี่ยนแปลงของ OctoML สามารถมองได้ว่าเป็นตัวแทนสําหรับ MLOps โดยรวม

ที่น่าสนใจคือ OctoML เพิ่งเผยแพร่การทดลองบางอย่างกับโปรเซสเซอร์ M1 ของ Apple เช่นกัน เราถาม Ceze ว่าการสนับสนุนกําลังจะมาหรือไม่ และการสนับสนุนสําหรับผู้ จําหน่ายฮาร์ดแวร์ที่กําลังมาแรง เช่น Blaize, Graphcore หรือ Samba Nova ก็อยู่ในแผนงานด้วยหรือไม่

Ceze ตอบว่าเป้าหมายของแบบฝึกหัด M1 คือการแสดงให้เห็นว่า OctoML สามารถออนบอร์ดเป้าหมายฮาร์ดแวร์ใด ๆ ได้อย่างง่ายดายไม่ว่าจะทําร่วมกับผู้ขายหรือโดยอิสระ การรองรับ M1 หรือเป้าหมายฮาร์ดแวร์อื่น ๆ จะถูกเพิ่มเข้ามาบนพื้นฐานที่ขับเคลื่อนด้วยตลาด ผู้ขายที่กําลังมาแรงส่วนใหญ่รู้จัก OctoML และหลายคน ping บริษัทเพื่อทํางานร่วมกับพวกเขาหรือทําด้วยตัวเอง

อีกด้านหนึ่งที่ OctoML กําลังขยายการสนับสนุนคือความได้เปรียบ ตอนนี้ OctoML รองรับ Nvidia Jetson AGX Xavier และ Jetson Xavier NX เพื่อไปพร้อมกับซีพียู Arm A-72 โดยใช้ระบบปฏิบัติการ 32 และ 64 บิต Ceze ยืนยันสิ่งที่เราสังเกตเห็นเช่นกัน - มีความต้องการเพิ่มขึ้นอย่างมาก สําหรับแอปพลิเคชันแมชชีนเลิร์นนิง Edge

เครื่องยนต์เร่งความเร็วมากขึ้น ทางเลือกมากขึ้น

ในด้านซอฟต์แวร์ OctoML กําลังประกาศการรองรับรูปแบบโมเดลที่ขยายออกไปซึ่งรวมถึง ONNX, TensorFlow Lite และรูปแบบบรรจุภัณฑ์โมเดล TensorFlow หลายรูปแบบ เพื่อให้ผู้ใช้สามารถอัปโหลดโมเดลที่ผ่านการฝึกอบรมโดยไม่ต้องแปลง แต่นั่นไม่ใช่ทั้งหมดที่มี

นอกจากนี้ เอ็นจิ้นการเร่งความเร็วใหม่ตามลําดับ - ONNX Runtime, TensorFlow และ TensorFlow Lite - ได้รับการสนับสนุนนอกเหนือจากการรองรับ TVM "เนทีฟ" ของ OctoML ด้วยวิธีนี้ Ceze กล่าวว่าผู้ใช้สามารถเปรียบเทียบและเปรียบเทียบและเลือกได้ว่าต้องการใช้อันไหน

นี่เป็นการออกจากสิ่งที่ก่อนหน้านี้เป็นการเชื่อมต่อที่แน่นแฟ้นระหว่างโครงการ Apache TVM แบบโอเพ่นซอร์สและข้อเสนอของ OctoML โดยพื้นฐานแล้ว OctoML นําเสนอ TVM เวอร์ชันซอฟต์แวร์เป็นบริการ ตอนนี้ OctoML ยังมีตัวเลือกเพิ่มเติมในแง่ของเครื่องยนต์เร่งความเร็ว Ceze ตั้งข้อสังเกตว่าตอนนี้ผู้ใช้สามารถทําการเปรียบเทียบเวิร์กโฟลว์ของตนได้อย่างครอบคลุมมาก:

"คุณอัปโหลดโมเดล จากนั้นคุณสามารถเลือกเป้าหมายฮาร์ดแวร์ที่คุณต้องการในเวิร์กโฟลว์เดียว ซึ่งสามารถต่อต้านระบบคลาวด์ทั้งหมดหรือเป้าหมาย Edge เฉพาะได้ จากนั้นเราทําการเพิ่มประสิทธิภาพหรือเกณฑ์มาตรฐานการบรรจุในการปรับแต่ง และให้ข้อมูลที่ครอบคลุมนี้เพื่อช่วยคุณตัดสินใจว่าจะปรับใช้ในระบบคลาวด์หรืออุปกรณ์ Edge ของคุณอย่างไร" Ceze กล่าว

นอกจากนี้ OctoML ยังมาพร้อมกับสิ่งที่พวกเขาขนานนามว่า "Model Zoo ที่เร่งความเร็วล่วงหน้า" กล่าวอีกนัยหนึ่งคือคอลเลกชันของโมเดลแมชชีนเลิร์นนิงซึ่งรวมถึงชุดคอมพิวเตอร์วิทัศน์ (การจําแนกประเภทวัตถุและการตรวจจับภาพ) ซึ่งรวมถึง Resnet, YOLO, Mobilenet, Inception และอื่น ๆ รวมถึงชุดการประมวลผลภาษาธรรมชาติ (NLP) ที่มี BERT, GPT-2 และอื่น ๆ

เท่าที่ชุมชน Apache TVM ดําเนินไป Ceze ตั้งข้อสังเกตว่ามีการเติบโต 50% เมื่อเทียบกับปีที่แล้ว และโมเมนตัมก็ไม่ได้ชะลอตัวลง Ceze ยังกล่าวถึงกรณีการใช้งานที่น่าสนใจของการนํา OctoML มาใช้ รวมถึง Microsoft Watch For และ Woven Planet Holdings

โดยรวมแล้ว เมื่อพิจารณาว่าเพิ่งผ่านไป 6 เดือนนับตั้งแต่ Series B ของ OctoML การเติบโตนั้นน่าทึ่ง เรามองว่ามันเป็นตัวอย่างของการเติบโตของ MLOps โดยรวม และเราคาดว่าสิ่งนี้จะยังคงดําเนินต่อไปในอนาคตอันใกล้