ค้นหาเว็บไซต์

โค้ด Meta AI ได้ไหม ฉันทดสอบมันกับ Llama, Gemini และ ChatGPT - มันไม่ได้ใกล้เคียงเลยด้วยซ้ำ

ฉันโยนชุดการทดสอบการเข้ารหัสอย่างง่ายกับ Meta AI ผลลัพธ์ที่ได้พิสูจน์แล้วว่ามีแชทบอท AI เพียงตัวเดียวที่คุ้มค่ากับเวลาของคุณในการเขียนโปรแกรม

เครื่องมือ AI เขียนโค้ดได้ดีแค่ไหน? ในปีที่ผ่านมา ฉันได้ใส่โมเดลภาษาขนาดใหญ่ผ่านการทดสอบต่างๆ เพื่อดูว่าโมเดลเหล่านี้จัดการกับความท้าทายในการเขียนโปรแกรมขั้นพื้นฐานได้ดีเพียงใด

แนวคิดนั้นเรียบง่าย: หากพวกเขาไม่สามารถรับมือกับความท้าทายพื้นฐานเหล่านี้ได้ ก็อาจไม่คุ้มที่จะขอให้พวกเขาทำอะไรที่ซับซ้อนกว่านี้ ในทางกลับกัน หากพวกเขาสามารถจัดการกับความท้าทายพื้นฐานเหล่านี้ได้ พวกเขาอาจกลายเป็นผู้ช่วยที่เป็นประโยชน์สำหรับโปรแกรมเมอร์ที่ต้องการประหยัดเวลา

เพื่อกำหนดเกณฑ์มาตรฐานนี้ ฉันใช้การทดสอบสามครั้ง (และเพิ่งเพิ่มการทดสอบครั้งที่สี่) พวกเขาคือ:

  1. การเขียนปลั๊กอิน WordPress:เป็นการทดสอบการพัฒนาเว็บขั้นพื้นฐานโดยใช้ภาษาการเขียนโปรแกรม PHP ภายใน WordPress นอกจากนี้ยังต้องมีการสร้างส่วนต่อประสานกับผู้ใช้เล็กน้อย หากแชทบอท AI ผ่านการทดสอบนี้จะช่วยสร้างโค้ดพื้นฐานในฐานะผู้ช่วยนักพัฒนาเว็บได้ เดิมทีฉันได้บันทึกการทดสอบนี้ไว้ใน "ฉันขอให้ ChatGPT เขียนปลั๊กอิน WordPress ที่ฉันต้องการ มันทำได้ภายในเวลาไม่ถึง 5 นาที"
  2. การเขียนฟังก์ชันสตริงใหม่: การทดสอบนี้จะประเมินว่าแชทบอท AI อัปเดตฟังก์ชันยูทิลิตี้ให้มีฟังก์ชันการทำงานที่ดีขึ้นได้อย่างไร หากแชทบอท AI ผ่านการทดสอบนี้อาจช่วยสร้างเครื่องมือสำหรับโปรแกรมเมอร์ได้ หากล้มเหลว นักศึกษาเขียนโปรแกรมปีแรกอาจจะทำงานได้ดีขึ้น เดิมทีฉันบันทึกการทดสอบนี้ไว้ใน "ตกลง ดังนั้น ChatGPT จึงแก้ไขโค้ดของฉันได้จริง"
  3. การค้นหาจุดบกพร่องที่น่ารำคาญ: การทดสอบนี้ต้องใช้ความรู้อย่างใกล้ชิดเกี่ยวกับวิธีการทำงานของ WordPress เนื่องจากคำตอบที่ชัดเจนนั้นผิด หากแชทบอท AI สามารถตอบคำถามนี้ได้อย่างถูกต้อง แสดงว่าฐานความรู้ของมันก็ค่อนข้างสมบูรณ์ แม้ว่าจะมีเฟรมเวิร์กอย่าง WordPress ก็ตาม เดิมทีฉันบันทึกการทดสอบนี้ไว้ใน "ตกลง ดังนั้น ChatGPT จึงแก้ไขโค้ดของฉันได้จริง"
  4. การเขียนสคริปต์: การทดสอบนี้ขอให้แชทบอท AI เขียนโปรแกรมโดยใช้เครื่องมือการเขียนโปรแกรมพิเศษสองตัวที่ผู้ใช้ไม่ค่อยรู้จัก โดยพื้นฐานแล้วจะเป็นการทดสอบความรู้ของแชทบอท AI นอกเหนือจากภาษาใหญ่ ๆ เดิมทีฉันได้บันทึกการทดสอบนี้ไว้ใน "Google เปิดตัว Gemini Code Assist และฉันก็มองในแง่ดีด้วยความระมัดระวังว่ามันจะช่วยโปรแกรมเมอร์ได้"

ฉันจะนำคุณไปสู่การทดสอบแต่ละครั้งและเปรียบเทียบผลลัพธ์กับแชทบอท AI อื่นๆ ที่ฉันทดสอบ ด้วยวิธีนี้ คุณจะสามารถประเมินได้ดีขึ้นว่าแชทบอท AI แตกต่างกันอย่างไรในเรื่องประสิทธิภาพการเขียนโค้ด

คราวนี้ ฉันกำลังทดสอบ Meta AI ใหม่ของ Meta มาเริ่มกันเลย

1. การเขียนปลั๊กอิน WordPress

นี่คืออินเทอร์เฟซที่สร้างโดย Meta AI ทางด้านซ้าย เทียบกับอินเทอร์เฟซที่สร้างโดย ChatGPT ทางด้านขวา:

แชทบอท AI ทั้งสองสร้างช่องที่ต้องกรอก แต่การนำเสนอของ ChatGPT ดูสะอาดตากว่า และรวมส่วนหัวของแต่ละช่องไว้ด้วย ChatGPT ยังวางปุ่มสุ่มในตำแหน่งที่เหมาะสมยิ่งขึ้นตามฟังก์ชันการทำงาน

ในแง่ของการดำเนินการ ChatGPT ใช้ชื่อชุดหนึ่งและสร้างผลลัพธ์แบบสุ่มตามที่คาดไว้ น่าเสียดายที่ Meta AI ใช้ชื่อชุดหนึ่ง ฉายแสงบางอย่าง จากนั้นจึงแสดงหน้าจอสีขาว สิ่งนี้มักอธิบายไว้ในโลกของ WordPress ว่า "The White Screen of Death"

นี่คือผลรวมของการทดสอบนี้และการทดสอบก่อนหน้า:

  • Meta AI: อินเทอร์เฟซ: เพียงพอ ฟังก์ชันการทำงาน: ล้มเหลว
  • เมตาโค้ดลามะ: ล้มเหลวโดยสมบูรณ์
  • Google Gemini ขั้นสูง: อินเทอร์เฟซ: ดี ฟังก์ชันการทำงาน: ล้มเหลว
  • ChatGPT: อินเทอร์เฟซ: ดี ฟังก์ชั่น: ดี

2. การเขียนฟังก์ชันสตริงใหม่

การทดสอบนี้ออกแบบมาเพื่อทดสอบการแปลงดอลลาร์และเซนต์ Meta AI มีปัญหาหลักสี่ประการ: ทำการเปลี่ยนแปลงค่าที่ถูกต้องเมื่อไม่ควรมี ไม่ได้ทดสอบตัวเลขที่มีจุดทศนิยมหลายจุดอย่างเหมาะสม ล้มเหลวโดยสิ้นเชิงหากจำนวนเงินดอลลาร์มีทศนิยมน้อยกว่าสองตำแหน่ง (หรืออีกนัยหนึ่งก็คือ ล้มเหลวโดยป้อน $5 หรือ $5.2) และปฏิเสธตัวเลขที่ถูกต้องเมื่อการประมวลผลเสร็จสิ้นเนื่องจากจัดรูปแบบตัวเลขเหล่านั้นไม่ถูกต้อง

นี่เป็นงานที่ค่อนข้างง่ายและเป็นงานที่นักศึกษาวิทยาการคอมพิวเตอร์ปีแรกส่วนใหญ่ควรจะทำได้ เป็นเรื่องน่าผิดหวังที่ Meta AI ล้มเหลว โดยเฉพาะอย่างยิ่งเมื่อ Code Llama ของ Meta ประสบความสำเร็จในการทดสอบเดียวกัน

นี่คือผลรวมของการทดสอบนี้และการทดสอบก่อนหน้า:

  • เมตา AI: ล้มเหลว
  • เมตาโค้ดลามะ: สำเร็จแล้ว
  • Google Gemini ขั้นสูง: ล้มเหลว
  • ChatGPT: สำเร็จ

3. ค้นหาจุดบกพร่องที่น่ารำคาญ

นี่ไม่ใช่งานเขียนโปรแกรม การทดสอบนี้ใช้โค้ดบางส่วนที่มีอยู่แล้ว พร้อมด้วยข้อมูลข้อผิดพลาดและคำอธิบายปัญหา จากนั้นจะขอให้แชทบอท AI ค้นหาว่ามีอะไรผิดปกติกับโค้ดและแนะนำวิธีแก้ไข

ความท้าทายที่นี่คือคำตอบที่ชัดเจนซึ่งผิด ปัญหานี้ต้องอาศัยความรู้เชิงลึกเกี่ยวกับวิธีการทำงานของ WordPress API รวมถึงความเข้าใจถึงการทำงานร่วมกันระหว่างส่วนประกอบต่างๆ ของโปรแกรมที่กำลังเขียนอยู่

Meta AI ผ่านอันนี้ไปอย่างมีสีสัน ไม่เพียงแต่ระบุข้อผิดพลาดได้อย่างถูกต้อง แต่ยังให้คำแนะนำว่าปรับปรุงประสิทธิภาพของโค้ดแม้จะไม่จำเป็นก็ตาม

หลังจากที่ล้มเหลวในการเขียนฟังก์ชันสตริงอย่างง่ายใหม่อย่างน่าสังเวช ฉันไม่ได้คาดหวังว่า Meta AI จะประสบความสำเร็จในปัญหาที่ท้าทายกว่านี้มาก สิ่งนี้แสดงให้เห็นว่าแชทบอท AI ไม่จำเป็นต้องสอดคล้องกันในการตอบกลับ

นี่คือผลรวมของการทดสอบนี้และการทดสอบก่อนหน้า:

  • เมตา AI: สำเร็จ
  • เมตาโค้ดลามะ: ล้มเหลว
  • Google Gemini ขั้นสูง: ล้มเหลว
  • ChatGPT: สำเร็จ

4. การเขียนสคริปต์

การทดสอบนี้ต้องใช้ความรู้การเขียนโค้ดของ Keyboard Maestro ของเครื่องมือเขียนสคริปต์ MacOS, ภาษาสคริปต์ของ Apple AppleScript และพฤติกรรมการเขียนสคริปต์ของ Chrome

Keyboard Maestro เป็นเครื่องมือที่ทรงพลังอย่างน่าอัศจรรย์ (เป็นหนึ่งในเหตุผลที่ฉันใช้ Mac เป็นเครื่องจักรหลักของฉัน) แต่มันก็เป็นผลิตภัณฑ์ที่ค่อนข้างคลุมเครือซึ่งเขียนโดยโปรแกรมเมอร์คนเดียวในออสเตรเลีย หากแชทบอท AI สามารถเขียนโค้ดโดยใช้เครื่องมือนี้ได้ ก็มีแนวโน้มว่าจะมีความรู้ด้านการเขียนโค้ดในภาษาต่างๆ เป็นอย่างดี AppleScript เป็นภาษาสคริปต์ MacOS ของ Apple แต่ก็ค่อนข้างคลุมเครือเช่นกัน

ทั้ง Meta AI และ Code Llama ของ Meta ล้มเหลวในลักษณะเดียวกันทุกประการ: พวกเขาไม่ได้ดึงข้อมูลจาก Keyboard Maestro ตามคำแนะนำ ดูเหมือนจะไม่มีใครรู้เกี่ยวกับเครื่องมือนี้เลย ในทางตรงกันข้าม ทั้ง Gemini และ ChatGPT รู้ว่าเป็นเครื่องมือที่แยกจากกัน และดึงข้อมูลได้อย่างถูกต้อง

นี่คือผลรวมของการทดสอบนี้และการทดสอบก่อนหน้า:

  • Meta AI: ล้มเหลว
  • เมตาโค้ดลามะ: ล้มเหลว
  • Google Gemini ขั้นสูง: ประสบความสำเร็จ
  • ChatGPT: สำเร็จ

ผลลัพธ์โดยรวม

นี่คือผลลัพธ์โดยรวมของการทดสอบทั้งสี่:

  • Meta AI: 1 ใน 4 สำเร็จ
  • Meta Code Llama: 1 ใน 4 สำเร็จ
  • Google Gemini Advanced: 1 จาก 4 สำเร็จ
  • ChatGPT: 4 จาก 4 สำเร็จ

ฉันใช้ ChatGPT เพื่อช่วยในโครงการเขียนโค้ดมาประมาณหกเดือนแล้ว ไม่มีอะไรในผลลัพธ์ที่สามารถโน้มน้าวใจให้ฉันเปลี่ยนไปใช้แชทบอท AI อื่นได้ ในความเป็นจริง หากฉันใช้แชทบอท AI เหล่านี้ ฉันคงกังวลว่าฉันอาจใช้เวลาในการตรวจสอบและค้นหาข้อผิดพลาดมากกว่าการทำงานให้เสร็จสิ้น

ฉันผิดหวังกับรุ่นภาษาขนาดใหญ่อื่น ๆ การทดสอบของฉันแสดงให้เห็นว่า ChatGPT ยังคงเป็นแชมป์ด้านการเขียนโค้ดอย่างไม่มีปัญหา อย่างน้อยก็ในตอนนี้

คุณได้ลองเขียนโค้ดด้วย Meta AI, Gemini หรือ ChatGPT แล้วหรือยัง? ประสบการณ์ของคุณเป็นอย่างไร? แจ้งให้เราทราบในความคิดเห็นด้านล่าง

คุณสามารถติดตามการอัปเดตโครงการในแต่ละวันของฉันได้บนโซเชียลมีเดีย อย่าลืมสมัครรับจดหมายข่าวอัปเดตรายสัปดาห์ของฉัน และติดตามฉันบน Twitter/X ที่ @DavidGewirtz บน Facebook ที่ Facebook.com/DavidGewirtz บน Instagram ที่ Instagram.com/DavidGewirtz และบน YouTube ที่ YouTube.com/DavidGewirtzTV

บทความที่เกี่ยวข้อง