ความก้าวหน้าทางควอนตัมของ Google นั้น 'น่าทึ่งอย่างแท้จริง' - แต่ยังมีอีกมากที่ต้องทํา

ในงาน GTC ของ Nvidia ในวันนี้ Jensen Huang ซีอีโอได้ประกาศว่าบริษัทอ้างว่ามีศักยภาพในการเปลี่ยนแปลงอุตสาหกรรมมูลค่าหลายล้านล้านดอลลาร์ เราเลือกเชอร์รี่จากการประกาศโดยมุ่งเน้นไปที่โครงสร้างพื้นฐานฮาร์ดแวร์และซอฟต์แวร์ที่ขับเคลื่อนแอปพลิเคชันที่พาดหัวข่าว

GTC ซึ่งเป็นงานเรือธงของ Nvidia เป็นแหล่งที่มาของการประกาศเกี่ยวกับทุกสิ่งเกี่ยวกับ AI เสมอ ฉบับฤดูใบไม้ร่วงปี 2021 ก็ไม่มีข้อยกเว้น ประเด็นสําคัญของ Huang เน้นย้ําถึงสิ่งที่ Nvidia เรียกว่า Omniverse Omniverse เป็นแพลตฟอร์มการจําลองโลกเสมือนจริงและการทํางานร่วมกันของ Nvidia สําหรับเวิร์กโฟลว์ 3 มิติ โดยนําเทคโนโลยีมารวมกัน

จากสิ่งที่เราเห็น เราจะอธิบาย Omniverse ว่าเป็น Nvidia ที่มีต่อ Metaverse คุณจะสามารถอ่านเพิ่มเติมเกี่ยวกับ Omniverse ได้ใน Stephanie Condon และ Larry Dignan รายงานข่าวที่นี่บน ZDNet สิ่งที่เราสามารถพูดได้ก็คือแท้จริงแล้วเพื่อให้สิ่งนี้ทํางานได้จําเป็นต้องมีการบรรจบกันของเทคโนโลยี

เรามาดูการอัปเดตบางส่วนในสแต็กเทคโนโลยีของ Nvidia โดยมุ่งเน้นไปที่ส่วนประกอบต่างๆ เช่น โมเดลภาษาขนาดใหญ่ (LLM) และการอนุมาน

ดูเพิ่มเติม: ทุกอย่างประกาศในงาน GTC ฤดูใบไม้ร่วง 2021 ของ Nvidia

NeMo Megatron แพลตฟอร์มโมเดลภาษาขนาดใหญ่โอเพ่นซอร์สของ Nvidia

Nvidia เปิดตัวสิ่งที่เรียกว่าเฟรม เวิร์ก Nvidia NeMo Megatron สําหรับโมเดลภาษาการฝึกอบรม นอกจากนี้ Nvidia ยังให้บริการ Megatron LLM ซึ่งเป็นโมเดลที่มี 530 พันล้านที่สามารถฝึกฝนสําหรับโดเมนและภาษาใหม่ได้

Bryan Catanzaro รองประธานฝ่ายวิจัยการเรียนรู้เชิงลึกประยุกต์ของ Nvidia กล่าวว่า "การสร้างโมเดลภาษาขนาดใหญ่สําหรับภาษาและโดเมนใหม่น่าจะเป็นแอปพลิเคชั่นซูเปอร์คอมพิวเตอร์ที่ใหญ่ที่สุด และตอนนี้ความสามารถเหล่านี้อยู่ใกล้แค่เอื้อมสําหรับองค์กรของโลก"

แม้ว่า LLM จะเห็นแรงฉุดมากมาย และแอปพลิเคชันที่เพิ่มขึ้นอย่างแน่นอน แต่ยูทิลิตี้ของข้อเสนอนี้รับประกันการตรวจสอบอย่างละเอียด ประการแรก การฝึกอบรม LLM ไม่เหมาะสําหรับคนใจเสาะและต้องใช้กระเป๋าลึก มีการประมาณการว่า การฝึกอบรมโมเดลเช่น GPT-3 ของ OpenAI มีค่าใช้จ่ายประมาณ 12 ล้านดอลลาร์

OpenAI ได้ร่วมมือกับ Microsoft และทําให้ API เกี่ยวกับ GPT-3 พร้อมใช้งานเพื่อนําไปใช้ในเชิงพาณิชย์ และมีคําถามหลายข้อที่จะถามเกี่ยวกับความเป็นไปได้ในการฝึกอบรม LLM ของตนเอง สิ่งที่ชัดเจนคือคุณสามารถจ่ายได้หรือไม่ดังนั้นสมมติว่า Megatron ไม่ได้มุ่งเป้าไปที่องค์กรโดยทั่วไป แต่เป็นส่วนย่อยขององค์กรเฉพาะ ณ จุดนี้

คําถามที่สองคือ -- เพื่ออะไร? คุณต้องการ LLM ของคุณเองจริงหรือ? Catanzaro ตั้งข้อสังเกตว่า LLMS "ได้รับการพิสูจน์แล้วว่ามีความยืดหยุ่นและมีความสามารถ สามารถตอบคําถามโดเมนที่ลึกซึ้ง แปลภาษา ทําความเข้าใจและสรุปเอกสาร เขียนเรื่องราว และโปรแกรมคํานวณ" 

การขับเคลื่อนความสําเร็จของ AI ที่น่าประทับใจนั้นขึ้นอยู่กับความก้าวหน้าของซอฟต์แวร์และฮาร์ดแวร์มากมาย และ Nvidia กําลังจัดการกับทั้งสองอย่าง 

เราจะไม่ไปไกลถึงขั้นบอกว่า LLM "เข้าใจ" เอกสาร เป็นต้น แต่ขอรับทราบว่า LLM มีประโยชน์เพียงพอและจะดีขึ้นเรื่อยๆ Huang อ้างว่า LLM "จะเป็นแอปพลิเคชัน HPC กระแสหลักที่ใหญ่ที่สุดเท่าที่เคยมีมา"

คําถามที่แท้จริงคือ -- ทําไมต้องสร้าง LLM ของคุณเอง? ทําไมไม่ใช้ API ของ GPT-3 เป็นต้น ความแตกต่างในการแข่งขันอาจเป็นคําตอบที่ถูกต้องสําหรับคําถามนี้ ฟังก์ชันต้นทุนต่อมูลค่าอาจเป็นอีกหนึ่งฟังก์ชันในอีกรูปแบบหนึ่งของคําถาม "ซื้อเทียบกับการสร้าง" ที่เก่าแก่

กล่าวอีกนัยหนึ่งหากคุณเชื่อว่าคุณต้องการ LLM เพื่อขับเคลื่อนแอปพลิเคชันของคุณและคุณกําลังวางแผนที่จะใช้ GPT-3 หรือ LLM อื่น ๆ ที่มีเงื่อนไขการใช้งานที่คล้ายคลึงกันบ่อยครั้งที่การฝึกอบรมของคุณเองอาจประหยัดกว่า Nvidia กล่าวถึงกรณีการใช้งาน เช่น การสร้างแชทบอทเฉพาะโดเมน ผู้ช่วยส่วนตัว และแอปพลิเคชัน AI อื่นๆ

ในการทําเช่นนั้น ควรเริ่มต้นจาก LLM ที่ผ่านการฝึกอบรมล่วงหน้าและปรับแต่งให้ตรงกับความต้องการของคุณผ่านการเรียนรู้การถ่ายโอน แทนที่จะฝึกอบรมตั้งแต่เริ่มต้น Nvidia ตั้งข้อสังเกตว่า NeMo Megatron สร้างขึ้นจากความก้าวหน้าจาก Megatron ซึ่งเป็นโครงการโอเพ่นซอร์สที่นําโดยนักวิจัยของ Nvidia ที่ศึกษาการฝึกอบรมโมเดลภาษาหม้อแปลงขนาดใหญ่อย่างมีประสิทธิภาพในวงกว้าง

บริษัทเสริมว่าเฟรมเวิร์ก NeMo Megatron ช่วยให้องค์กรสามารถเอาชนะความท้าทายในการฝึกอบรมโมเดลการประมวลผลภาษาธรรมชาติที่ซับซ้อนได้ ดังนั้น ข้อเสนอด้านคุณค่าดูเหมือนจะเป็น -- หากคุณตัดสินใจลงทุนใน LLM ทําไมไม่ใช้ Megatron ล่ะ? แม้ว่านั่นจะฟังดูเหมือนเป็นข้อเสนอที่สมเหตุสมผล แต่เราควรทราบว่า Megatron ไม่ใช่เกมเดียวในเมือง

เมื่อเร็ว ๆ นี้ EleutherAI ซึ่งเป็นกลุ่มนักวิจัย AI อิสระได้โอเพ่นซอร์สโมเดล GPT-j พารามิเตอร์ 6 พันล้านตัว นอกจากนี้ หากคุณสนใจภาษานอกเหนือจากภาษาอังกฤษ ตอนนี้เรามีโมเดลภาษายุโรปขนาดใหญ่ที่พูดภาษาอังกฤษ เยอรมัน ฝรั่งเศส สเปน และอิตาลีได้อย่างคล่องแคล่วโดย Aleph Alpha Wudao เป็น LLM ของจีนซึ่งเป็น LLM ที่ใหญ่ที่สุดด้วยพารามิเตอร์ 1.75 ล้านล้านรายการ และ HyperCLOVA เป็น LLM ของเกาหลีที่มีพารามิเตอร์ 204 พันล้านรายการ นอกจากนี้ยังมี LLM โอเพ่นซอร์สอื่นๆ ที่เก่ากว่าเล็กน้อย/เล็กกว่า เช่น GPT2 หรือ BERT และรูปแบบต่างๆ มากมาย

การมุ่งเป้าไปที่การอนุมานแบบจําลอง AI จัดการกับต้นทุนรวมของการเป็นเจ้าของและการดําเนินงาน

ข้อแม้ประการหนึ่งคือ เมื่อพูดถึง LLM การมีขนาดใหญ่ขึ้น (เช่น การมีพารามิเตอร์มากขึ้น) ไม่จําเป็นต้องหมายความว่าดีกว่าเสมอไป อีกประการหนึ่งคือแม้จะมีพื้นฐานเช่น Megatron ในการสร้าง แต่ LLM ก็เป็นสัตว์ร้ายที่มีราคาแพงในการฝึกอบรมและดําเนินการ ข้อเสนอของ Nvidia ถูกกําหนดให้จัดการกับทั้งสองด้านนี้โดยกําหนดเป้าหมายการอนุมานโดยเฉพาะด้วย

Nvidia ตั้งข้อสังเกตว่า Megatron ได้รับการปรับให้เหมาะสมเพื่อปรับขนาดทั่วทั้งโครงสร้างพื้นฐานการประมวลผลแบบเร่งความเร็วสูงขนาดใหญ่ของ Nvidia DGX SuperPOD™ NeMo Megatron ทําให้ความซับซ้อนของการฝึกอบรม LLM เป็นไปโดยอัตโนมัติด้วยไลบรารีการประมวลผลข้อมูลที่นําเข้า ดูแลจัดการ จัดระเบียบ และล้างข้อมูล การใช้เทคโนโลยีขั้นสูงสําหรับข้อมูล เทนเซอร์ และไปป์ไลน์แบบขนาน ทําให้สามารถกระจายการฝึกอบรมโมเดลภาษาขนาดใหญ่ได้อย่างมีประสิทธิภาพใน GPU หลายพันตัว

แต่แล้วการอนุมานล่ะ? ท้ายที่สุดแล้ว ในทางทฤษฎี อย่างน้อยคุณก็ฝึก LLM เพียงครั้งเดียว แต่โมเดลนี้ถูกใช้หลายครั้งเพื่ออนุมาน -- ให้ผลลัพธ์ ขั้นตอนการอนุมานของการดําเนินงาน คิดเป็นประมาณ 90% ของต้นทุนพลังงานทั้งหมดของการดําเนินงานสําหรับโมเดล AI ดังนั้นการอนุมานที่ทั้งรวดเร็วและประหยัดจึงมีความสําคัญยิ่ง และนั่นใช้ได้นอกเหนือจาก LLM

Nvidia กําลังแก้ไขปัญหานี้ด้วยการประกาศการอัปเดตครั้งใหญ่ สําหรับเซิร์ฟเวอร์การอนุมาน Triton เนื่องจากบริษัทกว่า 25,000+ แห่งทั่วโลกปรับใช้การอนุมาน Nvidia AI การอัปเดตรวมถึงความสามารถใหม่ในซอฟต์แวร์ Nvidia Triton Inference Server™ แบบโอเพ่นซอร์ส ซึ่งให้การอนุมานข้ามแพลตฟอร์มในโมเดลและเฟรมเวิร์ก AI ทั้งหมด และ Nvidia TensorRT™ ซึ่งปรับโมเดล AI ให้เหมาะสมและให้รันไทม์สําหรับการอนุมานประสิทธิภาพสูงบน Nvidia GPU

Nvidia แนะนําการปรับปรุงหลายอย่างสําหรับ เซิร์ฟเวอร์การอนุมาน Triton ความสัมพันธ์ที่ชัดเจนที่สุดกับ LLM คือตอนนี้ Triton มีฟังก์ชันมัลติโหนดหลาย GPU ซึ่งหมายความว่า LLM ที่ใช้ Transformer ที่ไม่พอดีกับ GPU ตัวเดียวอีกต่อไปสามารถอนุมานผ่าน GPU และโหนดเซิร์ฟเวอร์หลายตัว ซึ่ง Nvidia กล่าวว่าให้ประสิทธิภาพการอนุมานแบบเรียลไทม์

90% ของพลังงานทั้งหมดที่จําเป็นสําหรับโมเดล AI มาจากการอนุมาน

Triton Model Analyzer เป็นเครื่องมือที่ทําให้งานเพิ่มประสิทธิภาพที่สําคัญเป็นไปโดยอัตโนมัติโดยช่วยเลือกการกําหนดค่าที่ดีที่สุดสําหรับโมเดล AI จากความเป็นไปได้หลายร้อยรายการ จากข้อมูลของ Nvidia มันบรรลุประสิทธิภาพสูงสุดในขณะที่รับประกันคุณภาพของบริการที่จําเป็นสําหรับแอปพลิเคชัน

RAPIDS FIL เป็นแบ็คเอนด์ใหม่สําหรับการอนุมาน GPU หรือ CPU ของป่าแบบสุ่มและโมเดลแผนผังการตัดสินใจที่เพิ่มการไล่ระดับสี ซึ่งช่วยให้นักพัฒนามีเอ็นจิ้นการปรับใช้แบบครบวงจรสําหรับทั้งการเรียนรู้เชิงลึกและการเรียนรู้ของเครื่องแบบดั้งเดิมด้วย Triton

สุดท้ายแต่ไม่ท้ายสุด ในด้านซอฟต์แวร์ Triton มาพร้อมกับการผสานรวม Amazon SageMaker ซึ่งช่วยให้ผู้ใช้สามารถปรับใช้โมเดลหลายเฟรมเวิร์กได้อย่างง่ายดายโดยใช้ Triton ภายใน SageMaker ซึ่งเป็นบริการ AI ที่มีการจัดการเต็มรูปแบบของ AWS

ในด้านฮาร์ดแวร์ Triton ยังรองรับซีพียู Arm และ Nvidia GPU และซีพียู x86 บริษัทยังเปิดตัว Nvidia A2 Tensor Core GPU ซึ่งเป็นตัวเร่งความเร็วขนาดเล็กที่ใช้พลังงานต่ําสําหรับการอนุมาน AI ที่ขอบที่ Nvidia อ้างว่าให้ประสิทธิภาพการอนุมานมากกว่า CPU ถึง 20 เท่า

Triton ให้การอนุมาน AI บน GPU และ CPU ในระบบคลาวด์ ศูนย์ข้อมูล ขอบองค์กร และแบบฝัง รวมอยู่ใน AWS, Google Cloud, Microsoft Azure และ Alibaba Cloud และรวมอยู่ใน Nvidia AI Enterprise เพื่อช่วยส่งมอบบริการตามเทคโนโลยี AI ของ Nvidia ไปยัง Edge Huang ได้ประกาศ Nvidia Launchpad

Nvidia เคลื่อนไหวเชิงรุกเพื่อรักษาความเป็นผู้นําด้วยระบบนิเวศฮาร์ดแวร์และซอฟต์แวร์

และนั่นยังห่างไกลจากทุกสิ่งที่ Nvidia เปิดเผยในวันนี้ Nvidia Modulus สร้างและฝึกโมเดลแมชชีนเลิร์นนิงที่มีข้อมูลทางฟิสิกส์ซึ่งสามารถเรียนรู้และปฏิบัติตามกฎของฟิสิกส์ได้ กราฟ ซึ่งเป็นโครงสร้างข้อมูลสําคัญในวิทยาศาสตร์ข้อมูลสมัยใหม่ สามารถ ฉายลงในเฟรมเวิร์กโครงข่ายประสาทเทียมเชิงลึกด้วย Deep Graph Library หรือ DGL ซึ่งเป็นแพ็คเกจ Python ใหม่

Huang ยังแนะนําห้องสมุดใหม่สามแห่ง: ReOpt สําหรับอุตสาหกรรมโลจิสติกส์มูลค่า 10 ล้านล้านดอลลาร์ cuQuantum เพื่อเร่งการวิจัยคอมพิวเตอร์ควอนตัม และ cuNumeric เพื่อเร่งความเร็ว NumPy สําหรับนักวิทยาศาสตร์ นักวิทยาศาสตร์ข้อมูล และนักวิจัยแมชชีนเลิร์นนิงและ AI ในชุมชน Python และ Nvidia กําลังแนะนํา SDK ใหม่และอัปเดต 65 ตัวที่ GTC

แล้วจะทําอย่างไรกับสิ่งเหล่านั้น? แม้ว่าเราจะเลือกเชอร์รี่ แต่แต่ละรายการเหล่านี้อาจรับประกันการวิเคราะห์ของตัวเอง ภาพรวมก็คือ Nvidia กําลังดําเนินการเชิงรุกเพื่อรักษาความเป็นผู้นําในความพยายามร่วมกันเพื่อเชื่อมโยงฮาร์ดแวร์เข้ากับซอฟต์แวร์

LLM อาจดูแปลกใหม่สําหรับองค์กรส่วนใหญ่ ณ จุดนี้ ถึงกระนั้น Nvidia ก็เดิมพันว่าพวกเขาจะได้เห็นความสนใจและการใช้งานจริงมากขึ้น และวางตําแหน่งตัวเองเป็นแพลตฟอร์ม LLM สําหรับผู้อื่นในการสร้าง แม้ว่าจะมีทางเลือกอื่น แต่การได้รับการดูแล สนับสนุน และรวมเข้ากับระบบนิเวศและแบรนด์ซอฟต์แวร์และฮาร์ดแวร์ของ Nvidia อาจดูเหมือนเป็นข้อเสนอที่น่าสนใจสําหรับหลายองค์กร

เช่นเดียวกับการมุ่งเน้นไปที่การอนุมาน เมื่อเผชิญกับการแข่งขันที่เพิ่มขึ้นจากผู้ จําหน่ายฮาร์ดแวร์จํานวนมากที่สร้างขึ้นจากสถาปัตยกรรมที่ออกแบบมาโดยเฉพาะสําหรับปริมาณงาน AI Nvidia กําลังเพิ่มการอนุมานเป็นสองเท่า นี่เป็นส่วนหนึ่งของการทํางานของโมเดล AI ที่มีส่วนสําคัญที่สุดในต้นทุนรวมในการเป็นเจ้าของและการดําเนินงาน และ Nvidia ก็ทําอีกครั้งในรูปแบบที่เป็นเอกลักษณ์ - ใช้ประโยชน์จากฮาร์ดแวร์และซอฟต์แวร์ในระบบนิเวศ