ฉันตรวจสอบ ChatGPT กับ Bard, Claude และ Copilot แล้ว - และ AI นี้ไม่ถูกต้องอย่างมั่นใจที่สุด

ความผิดพลาดคือมนุษย์และเห็นได้ชัดว่าเป็น AI เช่นกัน

ปัญญาประดิษฐ์เจเนอเรชั่น (AI) มีแนวโน้มที่จะเกิดข้อผิดพลาดด้านข้อเท็จจริงอย่างฉาวโฉ่ แล้วคุณจะทำอย่างไรเมื่อขอให้ ChatGPT สร้างข้อเท็จจริงที่สันนิษฐานไว้ 150 รายการ และคุณไม่ต้องการใช้เวลาทั้งวันทั้งสัปดาห์เพื่อยืนยันข้อมูลด้วยตนเอง

ในกรณีของฉัน ฉันหันไปหา AI อื่นๆ ในบทความนี้ ฉันจะอธิบายโปรเจ็กต์ พิจารณาว่า AI แต่ละตัวทำงานอย่างไรในการตรวจสอบข้อเท็จจริง และให้ความคิดและข้อควรระวังขั้นสุดท้าย หากคุณต้องการผจญภัยไปตามเขาวงกตที่มีข้อความเล็ก ๆ ที่คดเคี้ยวและเหมือนกันทั้งหมด

โครงการ

สัปดาห์ที่แล้ว เราได้เผยแพร่โปรเจ็กต์ที่สนุกมาก โดยที่เรามี DALL-E 3 ซึ่งทำงานอยู่ใน ChatGPT และสร้างภาพที่งดงามราวภาพวาด 50 ภาพ ซึ่งคิดว่าเป็นตัวแทนแต่ละรัฐของสหรัฐอเมริกา ฉันยังมีรายการ ChatGPT "ข้อเท็จจริงที่น่าสนใจที่สุดสามประการที่คุณรู้เกี่ยวกับรัฐ" ตามที่บรรณาธิการของฉันระบุในชื่อบทความว่า "แปลกอย่างน่ายินดี" ผลลัพธ์ก็คือ

ChatGPT วางสะพาน Golden Gate ไว้ที่ไหนสักแห่งในแคนาดา เครื่องมือนี้ทำให้ Lady Liberty ทั้งในแถบมิดเวสต์ของสหรัฐอเมริกาและที่ไหนสักแห่งบนเกาะแมนฮัตตัน และสร้างตึกเอ็มไพร์สเตตสองแห่ง กล่าวโดยสรุป ChatGPT ได้รับความนิยมในการแสดงออกทางนามธรรม แต่ผลลัพธ์ก็ค่อนข้างดี

ส่วนข้อเท็จจริงส่วนบุคคลส่วนใหญ่เป็นไปตามเป้าหมาย ฉันค่อนข้างเก่งเรื่องภูมิศาสตร์และประวัติศาสตร์ของสหรัฐอเมริกา และคิดว่าข้อเท็จจริงที่สร้างขึ้นโดย ChatGPT บางส่วนถือว่าผิดอย่างมาก แต่ฉันไม่ได้ทำการตรวจสอบข้อเท็จจริงโดยอิสระ ฉันเพิ่งอ่านผลลัพธ์และออกเสียงได้ดีพอ

แต่ถ้าเราต้องการทราบความถูกต้องของกระสุนข้อเท็จจริง 150 นัดจริงๆ ล่ะ? คำถามประเภทนี้ดูเหมือนเป็นโครงการในอุดมคติสำหรับ AI

ระเบียบวิธี

นี่คือสิ่งที่ หาก GPT-4 ซึ่งเป็นโมเดลภาษาขนาดใหญ่ของ OpenAI (LLM) ที่ใช้โดย ChatGPT Plus ได้สร้างข้อความข้อเท็จจริง ฉันก็ไม่แน่ใจนักว่าควรตรวจสอบข้อความเหล่านั้น นั่นก็เหมือนกับการขอให้นักเรียนมัธยมปลายเขียนรายงานประวัติศาสตร์โดยไม่ใช้การอ้างอิงใดๆ แล้วแก้ไขงานของตนเอง พวกเขาเริ่มต้นด้วยข้อมูลที่น่าสงสัยแล้ว -- แล้วคุณปล่อยให้พวกเขาแก้ไขตัวเองเหรอ? ไม่ นั่นฟังดูไม่เหมาะกับฉัน

แต่จะเป็นอย่างไรถ้าเรานำข้อเท็จจริงเหล่านั้นไปให้กับ LLM อื่นๆ ที่อยู่ภายใน AI อื่นๆ ล่ะ? ทั้ง Bard ของ Google และ Claude ของ Anthropic มี LLM เป็นของตัวเอง Bing ใช้ GPT-4 แต่ฉันคิดว่าจะทดสอบการตอบสนองของมันเพื่อให้สมบูรณ์แบบ

อย่างที่คุณเห็น ฉันได้รับผลตอบรับที่ดีที่สุดจาก Bard ดังนั้นฉันจึงป้อนการตอบกลับนั้นกลับเข้าไปใน ChatGPT ในรูปแบบที่บิดเบือนไปจากระเบียบธรรมชาติของจักรวาล มันเป็นโครงการที่ยอดเยี่ยม

คลอดด์มานุษยวิทยา

Claude ใช้ Claude 2 LLM ซึ่งใช้ภายในการนำ AI ของ Notion มาใช้ด้วย Claude อนุญาตให้ฉันป้อน PDF ที่มีข้อเท็จจริงครบถ้วน (ไม่มีรูปภาพ) นี่คือสิ่งที่ฉันได้รับกลับมา:

โดยรวมแล้ว โคลด์พบว่ารายการข้อเท็จจริงมีความถูกต้องเป็นส่วนใหญ่ แต่ก็มีการชี้แจงบางประการสำหรับสามรายการ ฉันจำกัดระยะเวลาที่ข้อเท็จจริงของ ChatGPT จะอยู่ได้ และการจำกัดนั้นขัดขวางความแตกต่างเล็กน้อยในคำอธิบายข้อเท็จจริง การตรวจสอบข้อเท็จจริงของคลอดด์มีปัญหาเนื่องจากขาดความแตกต่างเล็กน้อย

โดยรวมแล้วเป็นการตอบรับที่น่าให้กำลังใจ

นักบิน… หรือ นักบิน?

จากนั้นเราก็ไปที่ Copilot ของ Microsoft ซึ่งเปลี่ยนชื่อเป็น Bing Chat AI Copilot ไม่อนุญาตให้อัปโหลด PDF ดังนั้นฉันจึงลองวางข้อความจากข้อเท็จจริงทั้ง 50 สถานะ วิธีการนี้ล้มเหลวทันที เนื่องจาก Copilot ยอมรับพร้อมท์ไม่เกิน 2,000 อักขระเท่านั้น:

ฉันถาม Copilot ดังนี้:

ข้อความต่อไปนี้ประกอบด้วยชื่อรัฐตามด้วยข้อเท็จจริงสามประการสำหรับแต่ละรัฐ โปรดตรวจสอบข้อเท็จจริงและระบุข้อผิดพลาดของรัฐนั้น ๆ

นี่คือสิ่งที่ฉันได้รับกลับมา:

มันค่อนข้างซ้ำกับข้อมูลข้อเท็จจริงที่ฉันขอให้ตรวจสอบ ดังนั้นฉันจึงพยายามแนะนำด้วยพรอมต์ที่มีพลังมากขึ้น:

มันให้ข้อมูลที่ฉันขอให้ตรวจสอบกลับมาอีกครั้ง ฉันพบว่าผลลัพธ์นี้แปลกมากเนื่องจาก Copilot ใช้ LLM เดียวกันกับ ChatGPT เห็นได้ชัดว่า Microsoft ได้ปรับแต่งให้แตกต่างจาก ChatGPT

ฉันยอมแพ้และย้ายไปที่บาร์ด

กวี

Google เพิ่งประกาศ Gemini LLM ใหม่ ฉันยังไม่สามารถเข้าถึง Gemini ได้ ดังนั้นฉันจึงทำการทดสอบเหล่านี้กับรุ่น PaLM 2 ของ Google

เมื่อเปรียบเทียบกับคลอดด์และโคไพลอต บาร์ดสามารถเอาชนะมันออกจากสวนสาธารณะได้ หรือที่ยิ่งกว่านั้นคือเป็นเชกสเปียร์อาเรียน มัน "เอาชนะโลกแคบๆ เหมือนยักษ์ใหญ่"

ตรวจสอบผลลัพธ์ด้านล่าง:

สิ่งสำคัญคือต้องทราบว่าข้อเท็จจริงของรัฐหลายประการไม่ได้รับการยินยอมจากรัฐด้วยซ้ำ หรือมีความแตกต่างกันเล็กน้อย ดังที่ฉันจะแสดงให้คุณเห็นในส่วนถัดไป ฉันป้อนรายการนี้กลับไปที่ ChatGPT และพบความคลาดเคลื่อนสองประการในคำตอบของอลาสก้าและโอไฮโอ

แต่มีข้อผิดพลาดอื่น ๆ ที่นี่ ในบางแง่ บาร์ดชดเชยงานที่ได้รับมอบหมายมากเกินไป ตัวอย่างเช่น Bard ระบุอย่างถูกต้องว่ารัฐอื่นนอกเหนือจากรัฐเมนผลิตกุ้งมังกร แต่รัฐเมนทุ่มสุดตัวกับการผลิตกุ้งล็อบสเตอร์ ฉันไม่เคยไปรัฐอื่นที่มีกับดักกุ้งมังกรจิ๋วเป็นหนึ่งในเครื่องประดับเล็ก ๆ กับดักนักท่องเที่ยวที่ได้รับความนิยมมากที่สุด

หรือเลือกเนวาดาและแอเรีย 51 กัน ChatGPT กล่าวว่า "ฐานทัพลับสุดยอด มีข่าวลือว่าพบเห็นยูเอฟโอ" บาร์ดพยายามแก้ไขโดยกล่าวว่า "แอเรีย 51 ไม่ใช่แค่ลือกันว่ามีการพบเห็นยูเอฟโอ มันเป็นสถานที่ทางทหารที่เป็นความลับสุดยอดจริงๆ และไม่ทราบจุดประสงค์ของมัน" พวกเขากำลังพูดสิ่งเดียวกันค่อนข้างมาก บาร์ดเพิ่งพลาดความแตกต่างเล็กๆ น้อยๆ ที่มาจากการจำกัดคำที่จำกัด

อีกที่ที่ Bard เลือกบน ChatGPT โดยไม่เข้าใจบริบทคือมินนิโซตา ใช่ วิสคอนซินก็มีทะเลสาบมากมายเช่นกัน แต่บาร์ดไม่ได้อ้างว่ามินนิโซตามีทะเลสาบมากที่สุด เพิ่งอธิบายว่ามินนิโซตาเป็น "ดินแดนแห่งทะเลสาบ 10,000 แห่ง" ซึ่งเป็นหนึ่งในสโลแกนที่ใช้บ่อยที่สุดของรัฐมินนิโซตา

บาร์ดก็ถูกแขวนคอที่แคนซัสเช่นกัน ChatGPT กล่าวว่าแคนซัสคือ "บ้านที่เป็นศูนย์กลางทางภูมิศาสตร์ของสหรัฐอเมริกาที่อยู่ติดกัน" บาร์ดอ้างว่าเป็นเซาท์ดาโคตา และนั่นจะเป็นจริงถ้าคุณคำนึงถึงอลาสกาและฮาวาย แต่ ChatGPT บอกว่า "ต่อเนื่องกัน" และเกียรติยศนั้นก็ไปถึงจุดที่อยู่ใกล้เลบานอน รัฐแคนซัส

ฉันสามารถดำเนินการต่อได้ และฉันจะดำเนินการต่อในส่วนถัดไป แต่คุณเข้าใจประเด็นแล้ว การตรวจสอบข้อเท็จจริงของ Bard ดูเหมือนจะน่าประทับใจ แต่มักจะพลาดประเด็นและทำให้มีสิ่งผิดปกติเหมือนกับ AI อื่นๆ

ก่อนที่เราจะไปยังการตรวจสอบข้อเท็จจริงแบบจำกัดของ ChatGPT เกี่ยวกับการตรวจสอบข้อเท็จจริงของ Bard ฉันขอชี้ให้เห็นว่าผลงานส่วนใหญ่ของ Bard มีความคิดผิดหรือคิดผิด ถึงกระนั้น Google ก็วางคำตอบ AI ไว้หน้าผลการค้นหาส่วนใหญ่ นั่นเกี่ยวข้องกับคุณหรือเปล่า? มันคงทำให้ฉันกังวล

เจ้านายและสุภาพสตรีของข้าพเจ้า ความอัศจรรย์เช่นนี้ไม่น่าพูดถึงเลย

ChatGPT

จากด้านบน ฉันบอกได้เลยว่า Bard มีข้อเท็จจริงข้อหนึ่งผิดไป อลาสกามีขนาดใหญ่กว่าเท็กซัสมาก ฉันก็เลยคิดว่ามาดูกันว่า ChatGPT จะตรวจสอบข้อเท็จจริงของ Bard ได้ไหม ชั่วขณะหนึ่ง ฉันคิดว่าการไล่หางด้วย AI เล็กน้อยนี้อาจทำให้ดวงจันทร์หลุดออกจากวงโคจรของโลก แต่แล้วฉันก็ตัดสินใจว่าจะเสี่ยงต่อโครงสร้างทั้งหมดของจักรวาลของเรา เพราะฉันรู้ว่าคุณคงอยากรู้ว่าเกิดอะไรขึ้น:

นี่คือสิ่งที่ฉันป้อน ChatGPT:

และนี่คือสิ่งที่ ChatGPT พูด (และเพื่อความชัดเจน ดวงจันทร์ยังคงอยู่ในวงโคจร):

อย่างที่คุณเห็น ChatGPT มีปัญหากับการกล่าวอ้างที่ผิดพลาดของ Bard ที่ว่าเท็กซัสเป็นรัฐที่ใหญ่ที่สุด นอกจากนี้ยังมีอาการวิงเวียนศีรษะเล็กน้อยเกี่ยวกับโอไฮโอกับแคนซัสซึ่งเป็นแหล่งกำเนิดของการบิน ซึ่งเป็นข้อขัดแย้งมากกว่าโรงเรียนส่วนใหญ่สอน

เป็นที่ยอมรับกันโดยทั่วไปว่าวิลเบอร์และออร์วิลล์ ไรท์ บินเครื่องบินลำแรก (จริง ๆ แล้วอยู่ที่คิตตีฮอว์ก รัฐนอร์ทแคโรไลนา) แม้ว่าพวกเขาจะสร้างเครื่องบินไรท์ฟลายเออร์ในเมืองเดย์ตัน รัฐโอไฮโอก็ตาม ที่กล่าวไว้คือ Sir George Cayley (1804), Henri Giffard (1852), Félix du Temple (1874), Clément Ader (1890), Otto Lilienthal (1891), Samuel Langley (1896), Gustave Whitehead (1901) และ Richard Pearse (พ.ศ. 2445) -- จากนิวซีแลนด์ สหราชอาณาจักร ฝรั่งเศส เยอรมนี และส่วนอื่นๆ ของสหรัฐอเมริกา ต่างอ้างสิทธิ์โดยชอบด้วยกฎหมายว่าเป็นเครื่องแรกในการบิน

แต่เราจะยกประเด็นไปที่ ChatGPT เนื่องจากมีเพียง 10 คำในการอ้างสิทธิ์ และโอไฮโอคือสถานที่ที่ Wright Brothers มีร้านจักรยานของพวกเขา

ข้อสรุปและคำเตือน

เรามาทำความเข้าใจกันก่อน: หากคุณกำลังส่งรายงานหรือเอกสารที่คุณต้องการให้ข้อเท็จจริงถูกต้อง ให้ตรวจสอบข้อเท็จจริงด้วยตนเอง มิฉะนั้น ความทะเยอทะยานที่มีขนาดเท่าเท็กซัสของคุณอาจถูกฝังอยู่ใต้ปัญหาขนาดเท่าอลาสก้า

ดังที่เราเห็นในการทดสอบ ผลลัพธ์ (เช่นเดียวกับ Bard) อาจดูค่อนข้างน่าประทับใจ แต่จะผิดทั้งหมดหรือบางส่วนก็ได้ โดยรวมแล้ว เป็นเรื่องที่น่าสนใจที่จะขอให้ AI ต่างๆ ตรวจสอบซึ่งกันและกัน และนี่คือกระบวนการที่ฉันอาจจะสำรวจเพิ่มเติม แต่ผลลัพธ์ที่ได้ก็เป็นเพียงข้อสรุปว่าไม่สามารถสรุปได้เท่านั้น

Copilot ยอมแพ้อย่างสมบูรณ์ และเพียงขอให้กลับไปงีบหลับต่อไป Claude มีปัญหากับคำตอบสองสามข้อที่แตกต่างกันเล็กน้อย Bard ตอบโต้อย่างหนักหน่วงกับคำตอบมากมาย แต่เห็นได้ชัดว่าการทำผิดนั้นไม่ใช่แค่มนุษย์เท่านั้น แต่ยังรวมถึง AI ด้วยเช่นกัน

โดยสรุป ฉันต้องอ้างอิงถึงกวีตัวจริงและพูดว่า "ความสับสนได้ทำให้เกิดผลงานชิ้นเอกของเขาแล้ว!"

คุณคิดอย่างไร? คุณเห็นข้อผิดพลาดร้ายแรงประเภทใดจาก AI ที่คุณชื่นชอบ คุณพอใจที่จะไว้วางใจให้ AI ตรวจสอบข้อเท็จจริงหรือไม่ หรือตอนนี้คุณจะดำเนินการตรวจสอบข้อเท็จจริงของคุณเองแล้ว? แจ้งให้เราทราบในความคิดเห็นด้านล่าง

คุณสามารถติดตามการอัปเดตโครงการในแต่ละวันของฉันได้บนโซเชียลมีเดีย อย่าลืมสมัครรับจดหมายข่าวอัปเดตรายสัปดาห์ของฉันบน Substack และติดตามฉันบน Twitter ที่ @DavidGewirtz บน Facebook ที่ Facebook.com/DavidGewirtz บน Instagram ที่ Instagram.com/DavidGewirtz และบน YouTube ที่ YouTube.com/DavidGewirtzTV