ChatGPT สามารถเขียนโค้ดได้ ตอนนี้นักวิจัยบอกว่ามันดีในการแก้ไขข้อบกพร่องเช่นกัน

เพื่อนสนิทคนใหม่ของนักพัฒนา? ChatGPT นั้นดีที่สุดเมื่อพูดถึงการดีบักโค้ดโดยอัตโนมัติ แต่ไม่ว่าจะช่วยประหยัดเวลาของนักพัฒนาหรือสร้างงานเพิ่มเติมก็ยังต้องรอดูกันต่อไป

แชทบอท ChatGPT ของ OpenAI สามารถแก้ไขข้อบกพร่องของซอฟต์แวร์ได้เป็นอย่างดี แต่ข้อได้เปรียบที่สําคัญเหนือวิธีการอื่นๆ และโมเดล AI คือความสามารถเฉพาะตัวในการสนทนากับมนุษย์ที่ช่วยให้สามารถปรับปรุงความถูกต้องของคําตอบ ได้

นักวิจัยจาก Johannes Gutenberg University Mainz และ University College London แข่งขันกับ ChatGPT ของ OpenAI กับ "เทคนิคการซ่อมแซมโปรแกรมอัตโนมัติมาตรฐาน" และแนวทางการเรียนรู้เชิงลึกสองวิธีในการซ่อมแซมโปรแกรม: CoCoNut จากนักวิจัยจากมหาวิทยาลัยวอเตอร์ลู แคนาดา และ Codex ซึ่งเป็นโมเดลที่ใช้ GPT-3 ของ OpenAI ที่สนับสนุนบริการกรอก โค้ดอัตโนมัติแบบจับคู่ Copilot ของ GitHub

"เราพบว่าประสิทธิภาพการแก้ไขข้อบกพร่องของ ChatGPT นั้นสามารถแข่งขันกับแนวทางการเรียนรู้เชิงลึกทั่วไป CoCoNut และ Codex และดีกว่าผลลัพธ์ที่รายงานสําหรับแนวทางการซ่อมแซมโปรแกรมมาตรฐานอย่างเห็นได้ชัด"

การที่ ChatGPT สามารถใช้แก้ปัญหาการเขียนโค้ดได้ไม่ใช่เรื่องใหม่ แต่นักวิจัยเน้นย้ําว่าความสามารถเฉพาะตัวในการสนทนากับมนุษย์ทําให้มีความได้เปรียบเหนือแนวทางและโมเดล อื่นๆ

นักวิจัยทดสอบประสิทธิภาพของ ChatGPT โดยใช้เกณฑ์มาตรฐานการแก้ไขข้อบกพร่องของ QuixBugs ระบบซ่อมแซมโปรแกรมอัตโนมัติ (APR) ดูเหมือนจะเสียเปรียบเนื่องจากได้รับการพัฒนาก่อนปี 2018 

ChatGPT ใช้สถาปัตยกรรมหม้อแปลง ซึ่ง Yann LeCunn หัวหน้า AI ของ Meta เน้นย้ําในสัปดาห์ นี้ได้รับการพัฒนาโดย Google Codex, CodeBERT จาก Microsoft Research และ BERT รุ่นก่อนจาก Google ล้วนใช้วิธีหม้อแปลงของ Google

OpenAI เน้นความสามารถในการสนทนาของ ChatGPT ในตัวอย่างสําหรับการดีบักโค้ดที่สามารถขอคําชี้แจงและรับคําใบ้จากบุคคลเพื่อให้ได้คําตอบที่ดีกว่า ฝึกโมเดลภาษาขนาดใหญ่ที่อยู่เบื้องหลัง ChatGPT (GPT-3 และ GPT 3.5) โดยใช้การเรียนรู้แบบเสริมแรงจากข้อเสนอแนะของมนุษย์ (RLHF)   

แม้ว่าความสามารถในการอภิปรายของ ChatGPT จะช่วยให้ได้คําตอบที่ถูกต้องมากขึ้น แต่คุณภาพของคําแนะนํายังคงไม่ชัดเจน นั่นเป็นเหตุผลที่พวกเขาต้องการประเมินประสิทธิภาพการแก้ไข ข้อบกพร่องของ ChatGPT

นักวิจัยทดสอบ ChatGPT กับปัญหาเฉพาะ Python ของ QuixBugs 40 จากนั้นตรวจสอบด้วยตนเองว่าวิธีแก้ปัญหาที่แนะนํานั้นถูกต้องหรือไม่ พวกเขาทําซ้ําคําถามสี่ครั้งเนื่องจากมีความน่าเชื่อถือของคําตอบของ ChatGPT แบบสุ่ม ตามที่ศาสตราจารย์ของ Wharton พบหลังจากนําแชทบอทผ่านการสอบแบบ MBA  

ChatGPT แก้ไขข้อบกพร่อง Python 19 จาก 40 รายการ โดยเทียบเท่ากับ CoCoNut (19) และ Codex (21) แต่วิธี APR มาตรฐานช่วยแก้ปัญหาได้เพียงเจ็ดประเด็นเท่านั้น   

นักวิจัยพบว่าอัตราความสําเร็จของ ChatGPT กับการโต้ตอบติดตามผลสูงถึง 77.5% 

ความหมายสําหรับนักพัฒนาในแง่ของความพยายามและผลผลิตนั้นคลุมเครือ Stack Overflow เพิ่งแบนคําตอบที่สร้างโดย ChatGPT เนื่องจากมีคุณภาพต่ําแต่ฟังดูน่าเชื่อถือ ศาสตราจารย์ Wharton พบว่า ChatGPT อาจเป็นเพื่อนที่ดีสําหรับนักศึกษา MBA เนื่องจากสามารถเล่นเป็น "ที่ปรึกษาที่ชาญฉลาด" ซึ่งเป็นผู้ที่ให้คําตอบที่สง่างาม แต่มักจะผิด และส่งเสริมการคิดเชิงวิพากษ์

"นี่แสดงให้เห็นว่าข้อมูลของมนุษย์สามารถช่วยได้มากต่อระบบ APR อัตโนมัติ โดย ChatGPT มีวิธีการทําเช่นนั้น" นักวิจัยเขียน

"แม้จะมีประสิทธิภาพที่ยอดเยี่ยม แต่คําถามก็เกิดขึ้นว่าต้นทุนทางจิตใจที่จําเป็นในการตรวจสอบคําตอบของ ChatGPT มีมากกว่าข้อดีที่ ChatGPT นํามาหรือไม่"