Cisco, LangChain และ Galileo ตั้งเป้าที่จะควบคุม 'การระเบิดของตัวแทน AI' ในยุคแคมเบรียนอย่างไร

นักวิชาการ Andrew G. Barto และ Richard S. Sutton เป็นผู้บุกเบิกการเรียนรู้แบบเสริมแรงมานานก่อนที่มันจะกลายเป็นเครื่องมือหลักใน AI

ความสําเร็จที่ฉูดฉาดที่สุดในปัญญาประดิษฐ์ในช่วงทศวรรษที่ผ่านมามาจากเทคนิคที่คอมพิวเตอร์ทําหน้าที่แบบสุ่มจากชุดตัวเลือกและได้รับรางวัลหรือลงโทษสําหรับการเคลื่อนไหวที่ถูกต้องหรือผิดแต่ละครั้ง

เป็นเทคนิคที่มีชื่อเสียงที่สุดใน AlphaZero ซึ่งเป็นโปรแกรมปี 2016 ของ Google DeepMind ที่ประสบความสําเร็จในเกมหมากรุก โชกิ และโกะในปี 2018 แนวทางเดียวกันนี้ช่วยให้โปรแกรม AlphaStar ประสบความสําเร็จในการเล่น "ปรมาจารย์" ในวิดีโอเกม Starcraft II 

เมื่อวันพุธ นักวิชาการด้าน AI สองคนได้รับรางวัลสําหรับความก้าวหน้าที่เรียกว่าการเรียนรู้แบบเสริมแรง ซึ่งเป็นแนวทางที่กว้างมากเกี่ยวกับวิธีการทํางานของคอมพิวเตอร์ในสภาพแวดล้อมที่ไม่รู้จัก

Andrew G. Barto ศาสตราจารย์กิตติมศักดิ์ในภาควิชาสารสนเทศและวิทยาการคอมพิวเตอร์ที่มหาวิทยาลัยแมสซาชูเซตส์ แอมเฮิร์สต์ และ Richard S. Sutton ศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์ที่มหาวิทยาลัยอัลเบอร์ตา ประเทศแคนาดา ได้รับรางวัลทัวริงปี 2025 ร่วมกันจากสมาคมเครื่องจักรคอมพิวเตอร์ 

รางวัล ACM ระบุว่า "Barto และ Sutton แนะนําแนวคิดหลัก สร้างรากฐานทางคณิตศาสตร์ และพัฒนาอัลกอริทึมที่สําคัญสําหรับการเรียนรู้แบบเสริมแรง ซึ่งเป็นหนึ่งในแนวทางที่สําคัญที่สุดสําหรับการสร้างระบบอัจฉริยะ"

เกียรติยศของ ACM มาพร้อมกับรางวัล 1 ล้านดอลลาร์และถูกมองอย่างกว้างขวางว่าเทียบเท่ากับรางวัลโนเบลของอุตสาหกรรมคอมพิวเตอร์

การเรียนรู้แบบเสริมกําลังสามารถคิดได้เปรียบกับเมาส์ในเขาวงกต: เมาส์ต้องหาทางผ่านสภาพแวดล้อมที่ไม่รู้จักเพื่อรางวัลสูงสุดนั่นคือชีส ในการทําเช่นนั้น เมาส์ต้องเรียนรู้ว่าการเคลื่อนไหวใดที่ดูเหมือนจะนําไปสู่ความก้าวหน้าและการเคลื่อนไหวใดที่นําไปสู่ทางตัน 

นักประสาทวิทยาและคนอื่นๆ ได้ตั้งสมมติฐานว่าหน่วยงานที่ชาญฉลาด เช่น หนูมี "แบบจําลองภายในของโลก" ซึ่งช่วยให้พวกเขาเก็บบทเรียนจากการสํารวจเขาวงกตและความท้าทายอื่นๆ และกําหนดแผน 

ซัตตันและบาร์โต้ตั้งสมมติฐานว่าคอมพิวเตอร์สามารถสร้างแบบจําลองภายในของสถานะของโลกได้ในทํานองเดียวกัน

โปรแกรมการเรียนรู้แบบเสริมกําลังจะดูดซับข้อมูลเกี่ยวกับสิ่งแวดล้อม ไม่ว่าจะเป็นเขาวงกตหรือกระดานหมากรุก เป็นข้อมูลเข้า โปรแกรมทําหน้าที่ค่อนข้างสุ่มในตอนแรก โดยลองเคลื่อนไหวต่างๆ ในสภาพแวดล้อมนั้น การเคลื่อนไหวอาจพบกับรางวัลหรือขาดรางวัล 

ข้อเสนอแนะนั้น ทั้งในเชิงบวกและเชิงลบ เริ่มสร้างการคํานวณโดยโปรแกรม ซึ่งเป็นการประมาณการว่ารางวัลใดที่สามารถรับได้จากการเคลื่อนไหวที่แตกต่างกัน จากการประมาณการดังกล่าวโปรแกรมจะกําหนด "นโยบาย" เพื่อเป็นแนวทางในการดําเนินการในอนาคตสู่ความสําเร็จ

ในระดับสูง โปรแกรมดังกล่าวต้องสร้างสมดุลระหว่างกลยุทธ์ในการสํารวจทางเลือกใหม่ๆ ของการกระทํา ในแง่หนึ่ง และใช้ประโยชน์จากตัวเลือกที่ดีที่รู้จักในอีกด้านหนึ่ง เพราะเพียงอย่างเดียวจะไม่นําไปสู่ความสําเร็จ

ผู้ที่ต้องการเจาะลึกลงไปสามารถรับสําเนาตําราเรียนเกี่ยวกับเรื่องที่ Sutton และ Barto เขียนในหัวข้อนี้ในปี 2018

การเรียนรู้แบบเสริมกําลังในแง่ที่ Sutton และ Barto ใช้มันไม่เหมือนกับการเรียนรู้แบบเสริมกําลังที่อ้างอิงโดย OpenAI และผู้จัดหา AI โมเดลภาษาขนาดใหญ่อื่นๆ OpenAI และอื่นๆ ใช้ "การเรียนรู้แบบเสริมแรงจากข้อเสนอแนะของมนุษย์" RLHF เพื่อกําหนดรูปแบบผลลัพธ์ของ GPT และโมเดลภาษาขนาดใหญ่อื่นๆ ให้ไม่น่ารังเกียจและเป็นประโยชน์ แต่นั่นเป็นเทคนิค AI ที่แตกต่างออกไป มีเพียงชื่อเท่านั้นที่ยืมมา 

ซัตตันซึ่งเป็นนักวิทยาศาสตร์การวิจัยดีเด่นที่ DeepMind ตั้งแต่ปี 2017 ถึง 2023 ได้เน้นย้ําในช่วงไม่กี่ปีที่ผ่านมาว่าการเรียนรู้แบบเสริมแรงเป็นทฤษฎีความคิด 

ในระหว่าง การประชุมสัมมนาเกี่ยวกับ AI ในปี 2020 ซัตตันคร่ําครวญว่า "มีทฤษฎีการคํานวณน้อยมาก" ใน AI ในปัจจุบัน 

"การเรียนรู้แบบเสริมกําลังเป็นทฤษฎีการคํานวณด้านสติปัญญาครั้งแรก" ซัตตันประกาศ "AI ต้องการทฤษฎีการคํานวณด้านสติปัญญาที่ตกลงกันไว้" เขากล่าวเสริม และ "RL เป็นตัวเลือกที่โดดเด่นสําหรับสิ่งนั้น" 

การเรียนรู้แบบเสริมกําลังอาจมีนัยยะว่าความคิดสร้างสรรค์และการเล่นอย่างอิสระสามารถเกิดขึ้นได้อย่างไรในฐานะการแสดงออกของสติปัญญา รวมถึงในปัญญาประดิษฐ์

Barto และ Sutton ได้เน้นย้ําถึงความสําคัญของการเล่นในการเรียนรู้ ในระหว่างการประชุมสัมมนาปี 2020 ซัตตันตั้งข้อสังเกตว่าในการเรียนรู้แบบเสริมกําลัง ความอยากรู้อยากเห็นมี "บทบาทระดับต่ํา" เพื่อขับเคลื่อนการสํารวจ 

"ในช่วงไม่กี่ปีที่ผ่านมา ผู้คนเริ่มมองไปที่บทบาทที่ใหญ่ขึ้นสําหรับสิ่งที่เราอ้างถึง ซึ่งฉันชอบเรียกว่า 'การเล่น'" ซัตตันกล่าว "เราตั้งเป้าหมายที่ไม่มีประโยชน์เสมอไป แต่อาจเป็นประโยชน์ในภายหลัง ฉันตั้งงานและพูดว่า เฮ้ ฉันจะทําอะไรได้บ้าง อะไรก็ได้" 

ซัตตันกล่าวว่าการเล่นอาจเป็นหนึ่งใน "สิ่งที่ยิ่งใหญ่" ที่ผู้คนทํา "การเล่นเป็นสิ่งที่ยิ่งใหญ่"