ฉันทดสอบตัวตรวจจับเนื้อหา AI 10 ตัว และ 3 ตัวนี้ระบุข้อความ AI ได้อย่างถูกต้องทุกครั้ง

เครื่องตรวจจับบางตัวสามารถตรวจจับข้อความที่เขียนโดย AI ได้ดีกว่าเครื่องอื่นๆ นี่คือเหตุผลที่ผลลัพธ์ที่หลากหลายเหล่านี้มีความสําคัญ

เมื่อฉันตรวจสอบครั้งแรกว่าเป็นไปได้หรือไม่ที่จะต่อสู้กับการลอกเลียนแบบที่สร้างโดย AI และแนวทางนั้นจะทํางานอย่างไร นั่นคือเดือนมกราคม 2023 เพียงไม่กี่เดือนหลังจากที่โลกตระหนักถึง Generative AI ที่ระเบิด

นี่คือเวอร์ชันอัปเดตของบทความต้นฉบับในเดือนมกราคม 2023 นั้น เมื่อฉันทดสอบเครื่องตรวจจับ GPT ครั้งแรก ฉันใช้สามตัว: ตัวตรวจจับเอาต์พุต GPT-2 (นี่เป็น URL ที่แตกต่างจากที่เราเผยแพร่ก่อนหน้านี้) Writer.com AI Content Detector และ Content at Scale AI Content Detection (ซึ่งปัจจุบันเรียกว่า BrandWell) 

ผลลัพธ์ที่ดีที่สุดคือถูกต้อง 66% จากเครื่องตรวจจับเอาต์พุต GPT-2 ฉันทําการทดสอบอีกครั้งในเดือนตุลาคม 2023 และเพิ่มอีกสามรายการ: GPTZero, ZeroGPT (ใช่ ต่างกัน) และ GPT Detector ของ Writefull จากนั้นในฤดูร้อนปี 2024 ฉันได้เพิ่ม QuillBot และบริการเชิงพาณิชย์ Originality.ai เข้ามา คราวนี้ฉันจะเพิ่ม ตัวตรวจสอบ เบต้าของ Grammarly และตัวตรวจจับจาก Undetectable.ai

ในเดือนตุลาคม 2023 ฉันลบ Writer.com AI Content Detector ออกจากชุดทดสอบของเรา เนื่องจากล้มเหลวในเดือนมกราคม 2023 ล้มเหลวอีกครั้งในเดือนตุลาคม และล้มเหลวในฤดูร้อนปี 2024 อย่างไรก็ตาม ตอนนี้ดูเหมือนว่าจะใช้งานได้ ดังนั้นฉันจึงรวมไว้ในชุดทดสอบ ดูความคิดเห็นจากบริษัทด้านล่าง ซึ่งทีมงานของพวกเขาส่งมาให้ฉันหลังจากบทความต้นฉบับได้รับการตีพิมพ์ในเดือนมกราคม

ฉันได้ทําการทดสอบทั้งหมดอีกครั้งเพื่อดูว่าเครื่องตรวจจับทํางานอย่างไรในวันนี้ แม้ว่าฉันจะประสบความสําเร็จอย่างมากสองครั้ง แต่ประเด็นสําคัญก็คือผลลัพธ์ไม่สอดคล้องกันจากตัวตรวจสอบ AI ตัวหนึ่งไปยังอีกตัวหนึ่ง

สิ่งที่ฉันกําลังทดสอบและวิธีที่ฉันทํา

ก่อนที่ฉันจะไปต่อ เราควรพูดคุยเกี่ยวกับการลอกเลียนแบบและเกี่ยวข้องกับปัญหาของเราอย่างไร Merriam-Webster ให้คําจํากัดความของ "การลอกเลียนแบบ" เป็น "การขโมยและส่งต่อ (ความคิดหรือคําพูดของผู้อื่น) เป็นของตนเอง ใช้ (การผลิตของคนอื่น) โดยไม่ให้เครดิตแหล่งที่มา"

คําจํากัดความนี้เหมาะกับเนื้อหาที่สร้างโดย AI เป็นอย่างดี ในขณะที่คนที่ใช้เครื่องมือ AI เช่น Notion AI หรือ ChatGPT ไม่ได้ขโมยเนื้อหา แต่หากบุคคลนั้นไม่ให้เครดิตคํานั้นมาจาก AI และอ้างว่าเป็นของตนเอง ก็ยังคงเป็นไปตามคําจํากัดความของพจนานุกรมของการลอกเลียนแบบ

ในบทความทดลองนี้ ฉันได้ขอให้ ChatGPT ช่วย คําพูดของฉันเป็นข้อความปกติและตัวหนา คําพูดของ AI เป็นตัวเอียง หลังจากแต่ละส่วนที่สร้างโดย AI ฉันจะแสดงผลลัพธ์ของเครื่องตรวจจับ ในตอนท้ายของบทความ เราจะมาดูกันว่าเครื่องตรวจจับทํางานได้ดีเพียงใดโดยรวม

นี่คือผลการทดสอบสําหรับข้อความข้างต้นซึ่งฉันเขียนเอง:

• เครื่องตรวจจับเอาต์พุต GPT-2: จริง 99.98%
• Writer.com: เนื้อหาที่มนุษย์สร้างขึ้น 95%
• การตรวจจับเนื้อหา BrandWell AI: ผ่านเหมือนมนุษย์
• GPTZero: มนุษย์ 98%
• ZeroGPT: 22% AI GPT ข้อความของคุณน่าจะเขียนโดยมนุษย์มากที่สุด
• Writefull GPT Detector: มีแนวโน้ม 1% ที่มาจาก GPT-3, GPT-4 หรือ ChatGPT
• Originality.ai: เรามั่นใจ 99% ว่าข้อความเป็นต้นฉบับ
• QuillBot: 42% ของข้อความน่าจะสร้างโดย AI
• ไวยากรณ์: เราตรวจไม่พบรูปแบบข้อความ AI ทั่วไป เอกสารของคุณดูเหมือนจะไม่มีข้อความที่สร้างโดย AI
• ตรวจไม่พบ: มนุษย์ 100%

เนื้อหาที่เขียนโดยมนุษย์: ถูกต้อง 8 จาก 10 (80%) ครั้ง
ล่าสุด: 5 จาก 7 (71%) ถูกต้อง 

ก่อนที่เราจะไปต่อ เรามาพูดถึงสิ่งที่ฉันจะพิจารณาว่าเป็นการวิเคราะห์ที่ "ถูกต้อง" หากคะแนนเป็นตัวเลข อะไรก็ตามที่สูงกว่า 80% จะนับเป็นการวิเคราะห์ที่ถูกต้อง และนั่นคือความเอื้อเฟื้อเผื่อแผ่ ถ้าคะแนนมีบทสรุป ฉันจะดูบทสรุปและตัดสิน 

ด้วยเหตุนี้เรามาเจาะลึกลงไปอีก

อธิบายว่าเหตุใด ChatGPT จึงเป็นปัญหาที่แท้จริงสําหรับครูและบรรณาธิการเมื่อพูดถึงการลอกเลียนแบบ

ChatGPT เป็นตัวแปรของโมเดลภาษา GPT (Generative Pre-trained Transformer) ที่พัฒนาโดย OpenAI ออกแบบมาเพื่อสร้างข้อความที่เหมือนมนุษย์โดยคาดการณ์คําหรือวลีถัดไปในลําดับอินพุตที่กําหนด แม้ว่า ChatGPT จะเป็นเครื่องมือที่มีประโยชน์สําหรับการสร้างข้อความและตอบสนองต่อข้อความแจ้ง แต่ก็อาจเป็นปัญหาสําหรับครูและบรรณาธิการเมื่อพูดถึงการลอกเลียนแบบ

สาเหตุหลักประการหนึ่งที่ทําให้ ChatGPT อาจเป็นปัญหาสําหรับครูและบรรณาธิการก็คือสามารถสร้างข้อความที่คล้ายกับของนักเขียนที่เป็นมนุษย์จริงได้ ซึ่งหมายความว่านักเรียนหรือบุคคลอื่นๆ อาจใช้ ChatGPT เพื่อสร้างข้อความที่พวกเขาสามารถส่งเป็นงานของตนเองได้

สําหรับครูและบรรณาธิการ การตรวจจับว่าข้อความชิ้นหนึ่งถูกสร้างขึ้นโดย ChatGPT หรือเขียนโดยมนุษย์อาจเป็นเรื่องยากมาก เนื่องจากข้อความที่สร้างขึ้นอาจไม่มีข้อผิดพลาดหรือความคลาดเคลื่อนที่ชัดเจนที่จะเปิดเผยที่มาเทียม สิ่งนี้อาจทําให้ครูและบรรณาธิการระบุและป้องกันการลอกเลียนแบบได้ยาก เนื่องจากพวกเขาอาจไม่สามารถบอกได้ว่าข้อความชิ้นนั้นเป็นต้นฉบับหรือคัดลอกมาจากแหล่งอื่น

โดยรวมแล้ว ChatGPT และโมเดลภาษาอื่นๆ ที่คล้ายคลึงกันอาจเป็นปัญหาสําหรับครูและบรรณาธิการเมื่อพูดถึงการลอกเลียนแบบ เนื่องจากสามารถสร้างข้อความที่แยกแยะได้ยากจากข้อความที่เขียนโดยมนุษย์ ทําให้นักเรียนและบุคคลอื่นๆ สามารถลอกเลียนแบบได้ง่ายขึ้นโดยไม่ถูกตรวจพบ

• เครื่องตรวจจับเอาต์พุต GPT-2: จริง 99.69%
• Writer.com: 77% เนื้อหาที่มนุษย์สร้างขึ้น
• การตรวจจับเนื้อหา BrandWell AI: ยากที่จะบอก
• GPTZero: AI 100%
• ZeroGPT: AI 100%
• Writefull GPT Detector: มีแนวโน้ม 12% ที่มาจาก GPT-3, GPT-4 หรือ ChatGPT
• Originality.ai: AI 100%
• QuillBot: มีแนวโน้ม AI 83%
• ไวยากรณ์: เราตรวจไม่พบรูปแบบข้อความ AI ทั่วไป เอกสารของคุณดูเหมือนจะไม่มีข้อความที่
  สร้างโดย AI
• ตรวจไม่พบ: AI 100%

เนื้อหาที่เขียนโดย AI: ถูกต้อง 5 จาก 10 (50%) ครั้ง
ล่าสุด: 4 จาก 7 (57%) ถูกต้อง

โปรดจําไว้ว่าข้อความที่แสดงเป็นตัวเอียงถูกสร้างขึ้นโดย AI

แสดงให้ฉันเห็นอย่างน้อยสามวิธีที่ฉันสามารถตรวจจับ ChatGPT ถูกใช้เพื่อสร้างข้อความ

มีหลายวิธีที่คุณสามารถตรวจจับได้ว่ามีการใช้ ChatGPT หรือโมเดลภาษาอื่นเพื่อสร้างข้อความหรือไม่ ต่อไปนี้คือสามวิธีที่เป็นไปได้ที่คุณสามารถใช้ได้:

1. มองหารูปแบบที่ซ้ําซากหรือผิดปกติในข้อความ: วิธีหนึ่งในการตรวจสอบว่ามีการใช้โมเดลภาษาเพื่อสร้างข้อความหรือไม่คือการค้นหารูปแบบที่ซ้ําซากหรือผิดปกติในการเขียน ตัวอย่างเช่น โมเดลภาษาอาจทําซ้ําวลีหรือคําผสมบางคํา หรือใช้โครงสร้างประโยคที่ผิดปกติหรือไม่สอดคล้องกัน
2. ตรวจสอบการขาดความคิดริเริ่ม: อีกวิธีหนึ่งในการตรวจหาว่ามีการใช้โมเดลภาษาเพื่อสร้างข้อความหรือไม่คือการตรวจสอบว่าการเขียนขาดความคิดริเริ่มหรือไม่ หากข้อความชิ้นหนึ่งดูเหมือนจะถูกคัดลอกจากแหล่งอื่น หรือหากมีข้อมูลที่มีอยู่อย่างแพร่หลายบนอินเทอร์เน็ตหรือในแหล่งอื่น ๆ อาจเป็นสัญญาณว่าข้อความนั้นถูกสร้างขึ้นโดยแบบจําลองภาษา
3. ใช้ตัวตรวจสอบการลอกเลียนแบบ: สุดท้าย คุณสามารถใช้ตัวตรวจสอบการลอกเลียนแบบเพื่อตรวจสอบว่าข้อความชิ้นหนึ่งดูเหมือนจะถูกคัดลอกจากแหล่งอื่นหรือไม่ แม้ว่าตัวตรวจสอบการลอกเลียนแบบอาจไม่สามารถระบุได้อย่างชัดเจนว่ามีการใช้โมเดลภาษาเพื่อสร้างข้อความหรือไม่ แต่ก็สามารถช่วยคุณระบุกรณีของการคัดลอกหรือถอดความจากแหล่งอื่นได้
4. สังเกตเมื่อคําตอบผิดอย่างเห็นได้ชัด: ฉันพูดถึงเรื่องนี้ในบทวิจารณ์ Notion AI ซึ่งฉันเน้นข้อความบางข้อความที่ AI เขียนด้วยอํานาจที่ดูเหมือนมีอํานาจ แต่ผิดอย่างโจ่งแจ้ง หากนักเรียนหรือนักเขียนไม่มีการควบคุมหัวข้อที่กําลังอภิปรายอย่างเต็มที่ พวกเขาอาจไม่สังเกตเห็นความไม่ถูกต้องและปล่อยให้อยู่ในคําตอบที่สร้างโดย AI แน่นอนว่าข้อความที่ไม่ถูกต้องไม่ได้เป็นเพียงขอบเขตของเครื่องมือเขียน AI เท่านั้น ตัวอย่างเช่น บล็อกเกอร์และผู้แสดงความคิดเห็นหลายคน กล่าวซ้ําโดยบล็อกเกอร์คนอื่น ๆ สร้างห้องสะท้อนของ "ข้อเท็จจริงเท็จ" โดยสิ้นเชิง ซึ่งแสดงให้เห็นว่าแม้ว่าสติปัญญาอาจเป็นของเทียม แต่ความโง่เขลาก็เป็นลักษณะสากล

โปรดทราบว่าอาจเป็นเรื่องยากที่จะระบุอย่างชัดเจนว่ามีการใช้โมเดลภาษาเพื่อสร้างข้อความหรือไม่ และวิธีการเหล่านี้อาจไม่ได้ผลเสมอไป อย่างไรก็ตาม เครื่องมือเหล่านี้อาจเป็นเครื่องมือที่มีประโยชน์ในการช่วยคุณระบุอินสแตนซ์ที่เป็นไปได้ของข้อความที่สร้างขึ้นจากแบบจําลองภาษา

ในการทดสอบชุดนี้ เฉพาะเนื้อหาตัวเอียงด้านบนเท่านั้นที่เรียกใช้ผ่านชุดตัวตรวจสอบ

• เครื่องตรวจจับเอาต์พุต GPT-2: ปลอม 99.98%
• Writer.com: 73% เนื้อหาที่มนุษย์สร้างขึ้น
• การตรวจจับเนื้อหา BrandWell AI: ผ่านเหมือนมนุษย์
• GPTZero: AI 100%
• ZeroGPT: 96.99% สร้างโดย AI
• Writefull GPT Detector: มีแนวโน้ม 79% มาจาก GPT-3, GPT-4 หรือ ChatGPT
• Originality.ai: AI 100%
• QuillBot: AI 100%
• ไวยากรณ์: เราตรวจไม่พบรูปแบบข้อความ AI ทั่วไป เอกสารของคุณดูเหมือนจะไม่มีข้อความที่
  สร้างโดย AI
• ตรวจไม่พบ: AI 100%

เนื้อหาที่เขียนโดย AI: 6 จาก 10 (60%) ถูกต้อง ครั้ง
ล่าสุด: 5 จาก 7 (71%) ถูกต้อง

แสดงรายการตัวตรวจสอบการลอกเลียนแบบสามตัวที่สามารถตรวจจับข้อความ ChatGPT ได้

เป็นที่น่าสังเกตว่าขณะนี้ยังไม่มีตัวตรวจสอบการลอกเลียนแบบที่ออกแบบมาโดยเฉพาะเพื่อตรวจจับข้อความที่สร้างโดย ChatGPT หรือโมเดลภาษาอื่นๆ แม้ว่าตัวตรวจสอบการลอกเลียนแบบบางตัวอาจสามารถระบุลักษณะบางอย่างของข้อความที่สร้างขึ้นโดยแบบจําลองภาษาซึ่งอาจบ่งบอกถึงต้นกําเนิดเทียมได้ แต่ก็ไม่มีการรับประกันว่าพวกเขาจะสามารถระบุได้อย่างชัดเจนว่าข้อความชิ้นหนึ่งถูกสร้างขึ้นโดยแบบจําลองภาษาหรือไม่

จากที่กล่าวมาต่อไปนี้คือตัวตรวจสอบการลอกเลียนแบบสามตัวที่คุณอาจพิจารณาใช้เพื่อช่วยระบุอินสแตนซ์ที่อาจเกิดขึ้นของข้อความที่สร้างขึ้นด้วยโมเดลภาษา:

1. Turnitin: Turnitin เป็นตัวตรวจสอบการลอกเลียนแบบยอดนิยมที่ใช้กันอย่างแพร่หลายในโรงเรียนและมหาวิทยาลัย เปรียบเทียบข้อความชิ้นหนึ่งกับฐานข้อมูลของข้อความอื่นๆ เพื่อระบุกรณีของการคัดลอกหรือการถอดความ แม้ว่าอาจไม่สามารถระบุได้อย่างชัดเจนว่าข้อความชิ้นหนึ่งถูกสร้างขึ้นโดยแบบจําลองภาษาหรือไม่ แต่ก็สามารถระบุลักษณะบางอย่างของข้อความที่สร้างขึ้นโดยแบบจําลองภาษาซึ่งอาจบ่งบอกถึงต้นกําเนิดเทียมได้
2. PlagScan: PlagScan เป็นตัวตรวจสอบการลอกเลียนแบบอีกตัวหนึ่งที่เปรียบเทียบข้อความกับฐานข้อมูลของข้อความอื่นๆ เพื่อระบุกรณีของการคัดลอกหรือการถอดความ เช่นเดียวกับ Turnitin อาจสามารถระบุลักษณะบางอย่างของข้อความที่สร้างขึ้นโดยแบบจําลองภาษาซึ่งอาจบ่งบอกถึงต้นกําเนิดเทียม แต่ไม่ได้ออกแบบมาโดยเฉพาะเพื่อตรวจจับข้อความที่สร้างขึ้นโดยแบบจําลองภาษา
3. Copyleaks: Copyleaks เป็นตัวตรวจสอบการลอกเลียนแบบที่ใช้อัลกอริธึมการเรียนรู้ของเครื่องขั้นสูงเพื่อสแกนข้อความและเปรียบเทียบกับฐานข้อมูลของข้อความอื่นๆ เพื่อระบุกรณีของการคัดลอกหรือการถอดความ แม้ว่าอาจสามารถระบุลักษณะบางอย่างของข้อความที่สร้างขึ้นโดยแบบจําลองภาษาได้ แต่ก็ไม่ได้ออกแบบมาโดยเฉพาะเพื่อตรวจจับข้อความที่สร้างขึ้นจากแบบจําลองภาษา

เป็นที่น่าสังเกตว่าไม่มีตัวตรวจสอบการลอกเลียนแบบใดที่เข้าใจผิดได้อย่างสมบูรณ์ และมีความเป็นไปได้เสมอที่ข้อความที่สร้างขึ้นจากโมเดลภาษาอาจหลบหนีการตรวจจับได้ ดังนั้นจึงเป็นสิ่งสําคัญที่ต้องใช้ตัวตรวจสอบการลอกเลียนแบบเป็นเพียงส่วนหนึ่งของกลยุทธ์ที่ใหญ่ขึ้นในการตรวจจับและป้องกันการลอกเลียนแบบ

• เครื่องตรวจจับเอาต์พุต GPT-2: จริง 99.58%
• Writer.com: 74% เนื้อหาที่มนุษย์สร้างขึ้น
• การตรวจจับเนื้อหา BrandWell AI: ผ่านเหมือนมนุษย์
• GPTZero: AI 100%
• ZeroGPT: AI 100%
• Writefull GPT Detector: 87% น่าจะมาจาก GPT-3, GPT-4 หรือ ChatGPT
• Originality.ai: AI 100%
• QuillBot: สร้างโดย AI 100%
• ไวยากรณ์: ตรวจไม่พบการลอกเลียนแบบหรือข้อความ AI
• ตรวจไม่พบ: AI 100%

เนื้อหาที่เขียนโดย AI: ถูกต้อง 6 จาก 10 (55%) ครั้ง
ล่าสุด: 5 จาก 7 (71%) ถูกต้อง

ตัวตรวจสอบการลอกเลียนแบบ AI ออนไลน์

เครื่องตรวจจับการลอกเลียนแบบส่วนใหญ่ใช้เพื่อเปรียบเทียบการเขียนกับคลังข้อมูลของงานเขียนอื่น ๆ ตัวอย่างเช่น เมื่อนักเรียนส่งเรียงความ ผลิตภัณฑ์อย่าง Turnitin จะสแกนเรียงความที่ส่งมาเทียบกับไลบรารีเรียงความขนาดใหญ่ในฐานข้อมูล และเอกสารและข้อความอื่นๆ บนอินเทอร์เน็ตเพื่อตรวจสอบว่าเรียงความที่ส่งมีเนื้อหาที่เขียนไว้แล้วหรือไม่

อย่างไรก็ตาม เครื่องมือเขียน AI สร้างเนื้อหาต้นฉบับ อย่างน้อยก็ในทางทฤษฎี ใช่ พวกเขาสร้างเนื้อหาจากสิ่งที่พวกเขาได้รับการฝึกฝน แต่คําที่พวกเขาสร้างขึ้นนั้นค่อนข้างไม่เหมือนใครสําหรับแต่ละองค์ประกอบ

ด้วยเหตุนี้ ตัวตรวจสอบการลอกเลียนแบบที่กล่าวถึงข้างต้นอาจใช้ไม่ได้ เนื่องจากเนื้อหาที่สร้างโดย AI อาจไม่มีอยู่ในเอกสารของนักเรียนคนอื่น

ในบทความนี้ เราแค่ดูตัวตรวจจับ GPT เท่านั้น แต่การลอกเลียนแบบเป็นปัญหาใหญ่ และอย่างที่เราได้เห็น บางคนเลือกที่จะกําหนดการลอกเลียนแบบว่าเป็นสิ่งที่คุณอ้างว่าเป็นของคุณที่คุณไม่ได้เขียน ในขณะที่บางคนเลือกที่จะกําหนดการลอกเลียนแบบว่าเป็นสิ่งที่เขียนโดยคนอื่นที่คุณอ้างว่าเป็นของคุณ

ความแตกต่างนั้นไม่เคยเป็นปัญหาจนถึงตอนนี้ ตอนนี้เรามีนักเขียนที่ไม่ใช่มนุษย์ ความแตกต่างของการลอกเลียนแบบจึงมีความแตกต่างกันมากขึ้น ขึ้นอยู่กับครู โรงเรียน บรรณาธิการ และสถาบันทุกแห่งที่จะตัดสินใจว่าเส้นนั้นจะลากไว้ที่ใด

• เครื่องตรวจจับเอาต์พุต GPT-2: จริง 99.56%
• Writer.com: เนื้อหาที่มนุษย์สร้างขึ้น 98%
• การตรวจจับเนื้อหา BrandWell AI: ผ่านเหมือนมนุษย์
• GPTZero: มนุษย์ 98%
• ZeroGPT: 16.82% AI - ข้อความของคุณเขียนโดยมนุษย์
• Writefull GPT Detector: 7% น่าจะมาจาก GPT-3, GPT-4 หรือ ChatGPT
• Originality.ai: ต้นฉบับ 100%
• QuillBot: 0% AI
• ไวยากรณ์: ตรวจไม่พบการลอกเลียนแบบหรือข้อความ AI
• ตรวจไม่พบ: มนุษย์ 100%

เนื้อหาที่เขียนโดย AI: ถูกต้อง 10 จาก 10 (100%) ครั้ง
ล่าสุด: 7 จาก 7 (100%) ถูกต้อง

ผลลัพธ์โดยรวม

โดยรวมแล้วผลลัพธ์โดยทั่วไปยังคงเหมือนเดิมเมื่อเทียบกับการทดสอบรอบที่แล้ว ครั้งนั้นเรามีสามบริการที่มีคะแนนสมบูรณ์แบบ ZeroGPT หนึ่งในผู้เล่นที่ทําคะแนนได้สมบูรณ์แบบของเราล้มเหลวในการทดสอบที่ประสบความสําเร็จก่อนหน้านี้ เครื่องตรวจจับใหม่สองตัว Writer.com และ Grammarly ไม่ได้ปรับปรุงคะแนน ในความเป็นจริงทั้งคู่มักไม่ประสบความสําเร็จ แต่ Undectable ได้คําตอบที่ถูกต้องทุกครั้ง

แม้ว่าจะมีคะแนนที่สมบูรณ์แบบ แต่ฉันไม่แนะนําให้พึ่งพาเครื่องมือเหล่านี้เพียงอย่างเดียวเพื่อตรวจสอบเนื้อหาของนักเรียน ดังที่ได้แสดงให้เห็น การเขียนจากผู้ที่ไม่ใช่เจ้าของภาษามักจะได้รับการจัดอันดับว่าสร้างขึ้นโดย AI และแม้ว่าเนื้อหาที่ทําด้วยมือของฉันจะไม่ได้รับการจัดอันดับเป็น AI อีกต่อไป แต่ก็มีบางย่อหน้าที่ผู้ทดสอบตั้งค่าสถานะว่าอาจเป็น AI คุณยังสามารถดูว่าผลลัพธ์ไม่สอดคล้องกันอย่างมากระหว่างระบบการทดสอบ ดังนั้นฉันจึงควรระมัดระวังก่อนที่จะพึ่งพาผลลัพธ์ของเครื่องมือเหล่านี้ (หรือทั้งหมด)

มาดูผู้ทดสอบแต่ละคนและดูว่าแต่ละคนทํางานอย่างไร

เครื่องตรวจจับเอาต์พุต GPT-2 (ความแม่นยํา 60%)

เครื่องมือแรกนี้สร้างขึ้นโดยใช้ศูนย์กลางแมชชีนเลิร์นนิงที่จัดการโดย Hugging Face บริษัท AI ในนิวยอร์ก แม้ว่าบริษัทจะได้รับเงินทุน 40 ล้านดอลลาร์เพื่อพัฒนาไลบรารีภาษาธรรมชาติ แต่เครื่องตรวจจับ GPT-2 ดูเหมือนจะเป็นเครื่องมือที่ผู้ใช้สร้างขึ้นโดยใช้ไลบรารี Hugging Face Transformers จากการทดสอบห้าครั้งที่ฉันทํา เครื่องตรวจจับมีความแม่นยําในสามครั้ง

Writer.com AI Content Detector (ความแม่นยํา N/A)

Writer.com เป็นบริการที่สร้างการเขียน AI โดยมุ่งเน้นไปที่ทีมองค์กร เครื่องมือ AI Content Detector สามารถสแกนหาเนื้อหาที่สร้างขึ้นได้ ฉันพบว่าเครื่องมือนี้ไม่น่าเชื่อถือ แม้ว่าก่อนหน้านี้จะล้มเหลวในการสร้างผลลัพธ์ แต่คราวนี้ก็ทํางาน น่าเสียดายที่ความแม่นยําของมันค่อนข้างต่ํา โดยพื้นฐานแล้วมันระบุข้อความแต่ละบล็อกว่าเขียนโดยมนุษย์ โดยที่การทดสอบสามในหกรายการเขียนโดย ChatGPT

หลังจากบทความนี้ได้รับการตีพิมพ์ครั้งแรกในเดือนมกราคม ผู้คนที่ Writer.com ได้ติดต่อ ZDNET ซีอีโอ May Habib มีความคิดเห็นนี้เพื่อแบ่งปัน:

ความต้องการเครื่องตรวจจับ AI พุ่งสูงขึ้น การเข้าชมเพิ่มขึ้น 2-3 เท่าต่อสัปดาห์นับตั้งแต่เราเปิดตัวเมื่อสองสามเดือนก่อน ตอนนี้เรามีมาตราส่วนที่จําเป็นอยู่เบื้องหลังเพื่อให้แน่ใจว่าจะไม่ลดลง และเป้าหมายของเราคือการทําให้มันฟรี - และทันสมัยเพื่อจับผลลัพธ์ของรุ่นล่าสุด รวมถึงของเรา หากจะใช้เอาต์พุต AI แบบคําต่อคํา ควรระบุแหล่งที่มาอย่างแน่นอน

การตรวจจับเนื้อหา BrandWell AI (ความแม่นยํา 40%)

เครื่องมือที่สามที่ฉันพบเดิมผลิตโดยบริษัทสร้างเนื้อหา AI Content at Scale ต่อจากนั้นเครื่องมือได้ย้ายไปยัง BrandWell.ai ซึ่งดูเหมือนจะเป็นชื่อใหม่สําหรับสิ่งที่ปัจจุบันเป็นบริษัทที่ให้บริการด้านการตลาดที่เน้น AI เป็นศูนย์กลาง

น่าเสียดายที่ความแม่นยําค่อนข้างต่ํา เครื่องมือนี้ระบุเนื้อหา AI ทั้งหมดว่าเป็นมนุษย์ ดังในภาพหน้าจอนี้:

ข้อความนี้เขียนโดย ChatGPT ทั้งหมด

GPTZero (ความแม่นยํา 100%)

ยังไม่ชัดเจนว่าอะไรเป็นตัวขับเคลื่อน GPTZero บริษัทกําลังจ้างวิศวกรและพนักงานขาย และทํางานบน AWS ดังนั้นจึงมีค่าใช้จ่ายและยอดขาย อย่างไรก็ตาม ทั้งหมดที่ฉันสามารถพบเกี่ยวกับข้อเสนอบริการคือสถานที่ที่คุณสามารถลงทะเบียนสําหรับบัญชีฟรีเพื่อสแกนมากกว่า 5,000 คําที่เสนอโดยไม่ต้องเข้าสู่ระบบ หากคุณสนใจบริการนี้สําหรับการตรวจจับ GPT คุณจะต้องดูว่าพวกเขาจะตอบกลับคุณพร้อมรายละเอียดเพิ่มเติมหรือไม่ ความแม่นยําเพิ่มขึ้นตั้งแต่ครั้งแรกที่ฉันทําการทดสอบและอยู่ที่ 100% สําหรับรอบนี้

ZeroGPT (ความแม่นยํา 80%)

ดูเหมือนว่า ZeroGPT จะเติบโตเป็นบริการตั้งแต่เราดูครั้งล่าสุด เมื่อเราดูครั้งล่าสุดไม่มีชื่อ บริษัท อยู่ในรายการและไซต์นั้นเต็มไปด้วยโฆษณา Google โดยไม่มีกลยุทธ์ที่ชัดเจนในการสร้างรายได้ บริการทํางานได้ค่อนข้างดี แต่ดูคร่าวๆ

ความรู้สึกคร่าวๆ นั้นหายไปแล้ว ZeroGPT นําเสนอเป็นบริการ SaaS อื่นๆ พร้อมราคา ชื่อบริษัท ข้อมูลติดต่อ และอื่นๆ ทั้งหมด มันยังคงทํางานได้ค่อนข้างดี ดังนั้นบางทีนักพัฒนาอาจตัดสินใจเปลี่ยนโค้ดที่ใช้งานได้ให้เป็นธุรกิจที่ใช้งานได้มากขึ้น ความแม่นยําลดลง มันอ่านแบบทดสอบที่มนุษย์เขียนผิดว่าเป็น AI

เครื่องตรวจจับ GPT แบบเขียนเต็ม (ความแม่นยํา 60%)

Writefull ขายบริการสนับสนุนการเขียนและลิ้มรสเครื่องมือฟรี เครื่องตรวจจับ GPT ค่อนข้างใหม่และทํางานได้ค่อนข้างดี อย่างไรก็ตาม เครื่องมือนี้มีขึ้นและลงบ้างในการทดสอบของเรา ก่อนหน้านี้ดีขึ้นจาก 60% เป็น 80% แต่ลดลงเหลือ 60% อีกครั้งในครั้งนี้

Originality.ai (ความแม่นยํา 100%)

Originality.ai เป็นบริการเชิงพาณิชย์ที่เรียกเก็บเงินตัวเองว่าเป็น AI และตัวตรวจสอบการลอกเลียนแบบ บริษัทขายบริการตามเครดิตการใช้งาน การสแกนทั้งหมดที่ฉันทําสําหรับบทความนี้ใช้เครดิตการใช้งาน 30 เครดิต บริษัทขายเครดิต 2,000 เครดิตต่อเดือนในราคา $12.95 ต่อเดือน ฉันสูบฉีดคํา 1,400 คําผ่านระบบและใช้เพียง 1.5% ของการจัดสรรรายเดือน

ผลลัพธ์นั้นยอดเยี่ยมสําหรับตัวตรวจสอบ AI แต่เครื่องมือนี้ล้มเหลวสามในห้าครั้งเมื่อใช้บริการเป็นตัวตรวจสอบการลอกเลียนแบบ ภาพหน้าจอต่อไปนี้อ้างว่าข้อความที่วางนั้นลอกเลียนแบบ 0%:

นั่นผิดเนื่องจากข้อความทั้งหมดที่วางลงในเครื่องมือมาจากบทความนี้ซึ่งเผยแพร่ทางออนไลน์เป็นเวลาสองปี ฉันคิดว่าบางทีเครื่องสแกนการลอกเลียนแบบไม่สามารถอ่านเนื้อหา ZDNET ได้ แต่นั่นไม่ใช่กรณีดังที่ภาพหน้าจอนี้แสดงให้เห็น:

เพื่อความเป็นธรรมฉันไม่ได้ตั้งใจที่จะตรวจสอบตัวตรวจสอบการลอกเลียนแบบในบทความนี้ แต่เนื่องจากฉันใช้แหล่งข้อมูลที่ฉันรู้ว่าฉันดึงมาจากบทความที่มีอยู่ฉันคิดว่าตัวตรวจสอบการลอกเลียนแบบจะตําหนิพวกเขาทั้งหมดว่าเป็นการลอกเลียนแบบ 100% ไม่ว่าในกรณีใด Originality.ai ทําได้ดีมากในส่วนที่เราตั้งใจจะทดสอบ นั่นคือตัวตรวจสอบ AI เครื่องมือนี้ได้รับคะแนนสําหรับสิ่งนั้น  

QuillBot (ความแม่นยํา 80%-ish)

ไม่มีอะไรง่ายเลย ครั้งแรกที่ฉันทําการทดสอบครั้งแรกผ่าน QuillBot มันบอกว่า 45% ของข้อความน่าจะสร้างขึ้นโดย AI มันไม่ใช่ ฉันเขียนมัน ฉันกลับไปที่ QuillBot เพื่อคว้าภาพหน้าจอสําหรับส่วนนี้ ป้อนข้อความเดียวกับที่สร้างคะแนน 45% และดังที่คุณเห็นด้านล่าง

ดังนั้นเราควรทําอย่างไรกับผลลัพธ์นี้? น่าเศร้าที่ฉันไม่ได้จับภาพหน้าจอในครั้งแรกที่ฉันทดสอบข้อความนี้ แต่มันเน้นย้ําถึงความกังวลเกี่ยวกับการพึ่งพาเครื่องตรวจจับ AI มากเกินไป ซึ่งค่อนข้างสามารถประสาทหลอนได้เช่นกัน 

ไวยากรณ์ (ความแม่นยํา 40%)

Grammarly เป็นเครื่องมือที่รู้จักกันดีในการช่วยให้นักเขียนสร้างเนื้อหาที่ถูกต้องตามหลักไวยากรณ์ นั่นไม่ใช่สิ่งที่เรากําลังทดสอบที่นี่ Grammarly สามารถตรวจสอบทั้งการลอกเลียนแบบและเนื้อหา AI คุณสามารถวางเอกสารลงในตัวตรวจสอบไวยากรณ์ และที่มุมล่างขวา จะมีปุ่มตรวจสอบการลอกเลียนแบบและข้อความ AI:

ในการทดสอบนี้ เครื่องมือพบเอกสารออนไลน์ที่มีอยู่ซึ่งตรงกับข้อความที่ฉันวางลงใน Grammarly ผลลัพธ์นั้นสมเหตุสมผลเพราะนี่เป็นการอัปเดตบทความที่ออนไลน์มาสองสามปีแล้ว อย่างไรก็ตาม เครื่องมือยังตอบกลับว่า "เอกสารของคุณดูเหมือนจะไม่มีข้อความที่สร้างโดย Al" อย่างไรก็ตาม ChatGPT สร้างทั้งเซ็กเมนต์

Undetectable.ai (ความแม่นยํา 100%)

การอ้างสิทธิ์ครั้งใหญ่ของ Undetectable.ai ในชื่อเสียงคือ "มนุษย์" ซึ่งอ้างว่าใช้ข้อความที่สร้างโดย AI และทําให้ดูเหมือนเป็นมนุษย์มากพอที่เครื่องตรวจจับ AI จะไม่ตรวจพบว่ามันถูกสร้างขึ้นโดยหุ่นยนต์ นั่นเป็นความสามารถที่ฉันยังไม่ได้ทดสอบ และพูดตามตรง มันรบกวนฉันที่แก่นแท้ของตัวตนของฉัน ความสามารถนี้ดูเหมือนเป็นการโกงสําหรับฉันในฐานะนักเขียนและนักการศึกษามืออาชีพ

อย่างไรก็ตาม บริษัทยังมีเครื่องตรวจจับ AI ซึ่งตรงประเด็นมาก

เครื่องตรวจจับ AI ผ่านการทดสอบทั้งหมดที่เราป้อน สังเกตตัวบ่งชี้ที่แสดงค่าสถานะสําหรับตัวตรวจจับเนื้อหาอื่นๆ บริษัทกล่าวว่า: "เราพัฒนาอัลกอริธึมของเครื่องตรวจจับหลายตัวที่จําลองมาจากเครื่องตรวจจับหลักเหล่านั้นเพื่อให้แนวทางแบบรวมศูนย์และอิงตามฉันทามติ พวกเขาไม่ได้ป้อนลงในแบบจําลองที่ระบุไว้โดยตรง แต่แต่ละแบบจําลองจะได้รับการฝึกอบรมตามผลลัพธ์ที่สร้างขึ้น เมื่อบอกว่าโมเดลเหล่านั้นตั้งค่าสถานะ มันขึ้นอยู่กับอัลกอริทึมที่เราสร้างและอัปเดตสําหรับโมเดลเหล่านั้น"

อัลกอริทึมเหล่านั้นไม่สมบูรณ์แบบ เพราะเมื่อฉันเรียกใช้ข้อความเดียวกันผ่าน GPTZero มันประกาศข้อความว่าเป็นมนุษย์ 98% ซึ่งจะไม่สมควรได้รับตัวบ่งชี้คําเตือนสีแดง

ถึงกระนั้น Undetectable ตรวจพบการทดสอบทั้งห้าแบบที่เราทํา โดยได้รับคะแนน 100% ที่สมบูรณ์แบบ

แล้วเครื่องตรวจจับ ChatGPT ของ OpenAI ล่ะ?

 OpenAI ดึงมันมาเมื่อปีที่แล้วเพราะเครื่องตรวจจับไม่แม่นยําเป็นพิเศษ ณ เดือนสิงหาคม ควรจะมีความแม่นยํา 99% อย่างไรก็ตาม ยังไม่มีวี่แววว่าจะได้รับการปล่อยตัวในอีกสี่เดือนต่อมา ระดับความแม่นยําที่อ้างสิทธิ์นั้นยากที่จะเชื่อเล็กน้อยเพราะ ChatGPT นั้นยังห่างไกลจากความแม่นยํา 100%

แต่ไม่ว่าในกรณีใด ตามที่ Steven Vaughan-Nichols เพื่อน ZDNET ของฉันเขียนไว้ มันยังไม่พร้อมใช้งาน เราจะให้เครื่องมือนี้หมุนเมื่อเปิดตัวสําหรับการใช้งานสาธารณะ คอยติดตาม

ความคิดสุดท้าย

ก่อนอื่นฉันจะให้ ChatGPT พูด: การลอกเลียนแบบที่ขับเคลื่อนด้วย AI เป็นปัญหาที่เพิ่มขึ้น เนื่องจากเครื่องมือ AI เช่น Notion AI และ ChatGPT สามารถสร้างข้อความที่แยกแยะได้ยากจากข้อความที่เขียนโดยมนุษย์ มีหลายวิธีในการตรวจหาว่าข้อความนั้นถูกสร้างขึ้นโดย AI หรือไม่ เช่น การค้นหารูปแบบที่ซ้ําซากหรือผิดปกติ การตรวจสอบการขาดความคิดริเริ่ม หรือการใช้ตัวตรวจสอบการลอกเลียนแบบ ตัวตรวจสอบการลอกเลียนแบบ เช่น Turnitin, PlagScan และ Copyleaks อาจสามารถระบุลักษณะบางอย่างของข้อความที่สร้างขึ้นจากโมเดลภาษาได้ แต่ก็ไม่สามารถเข้าใจผิดได้

แม้แต่เครื่องมือพิเศษที่ฉันพบก็ไม่เหมาะกับงานนี้อย่างน่าเศร้า มีการปรับปรุงที่จํากัดจากการทดสอบของฉันในเดือนมกราคม อย่างไรก็ตาม ฉันคงไม่สบายใจที่จะคุกคามสถานะทางวิชาการของนักเรียนหรือกล่าวหาว่าพวกเขาโกงตามผลลัพธ์ของเครื่องมือเหล่านี้

ณ จุดนี้ ฉันไม่คิดว่าเราพร้อมที่จะปล่อยให้ AI ต่อสู้กับ AI เราจะต้องพึ่งพาการรับรู้ของมนุษย์ (ซึ่งหมายความว่าผู้คนต้องให้ความสนใจ) เพื่อระบุผลงานที่สร้างโดย AI แทน

อย่าคิดว่าข้อความถูกสร้างขึ้นโดยเครื่องในทันทีหากมันโง่หรือไม่ถูกต้องอย่างรุนแรง อย่างที่เราทราบกันดีว่ามนุษย์สามารถเขียนสิ่งเลวร้ายได้

แล้วคุณคิดอย่างไร? คุณบอกได้ไหมว่าชิ้นงานนั้นสร้างขึ้นโดย AI หรือไม่? คุณเคยใช้เครื่องมือเขียน AI เหล่านี้ในช่วงหลายเดือนนับตั้งแต่จู่ๆ ก็พร้อมใช้งานหรือไม่? พวกเขาเป็นตัวช่วยหรืออุปสรรคต่อการศึกษาและสื่อสารมวลชนหรือไม่? แจ้งให้เราทราบในความคิดเห็นด้านล่าง นี่คือวิธีที่ ChatGPT ตอบคําถามนี้:

ในฐานะโมเดลภาษา ฉันไม่สามารถมองเห็นหรือโต้ตอบกับงานเขียนทางกายภาพได้ ดังนั้นฉันจึงไม่สามารถบอกได้ว่าชิ้นงานนั้นสร้างขึ้นโดย AI หรือไม่ อย่างไรก็ตาม ฉันสามารถบอกคุณได้ว่ามีเครื่องมือเขียน AI หลายอย่างที่มีอยู่ และสามารถใช้เพื่อสร้างเนื้อหาที่เป็นลายลักษณ์อักษรได้หลากหลาย รวมถึงบทความข่าว นิยาย กวีนิพนธ์ และอื่นๆ

ฉันไม่มีประสบการณ์ส่วนตัวในการใช้เครื่องมือเหล่านี้ เนื่องจากฉันเป็นเพียงโปรแกรมคอมพิวเตอร์และไม่มีความสามารถในการท่องอินเทอร์เน็ตหรือใช้เครื่องมือทางกายภาพ อย่างไรก็ตาม ฉันสามารถบอกคุณได้ว่าบางคนพบว่าเครื่องมือเขียน AI มีประโยชน์ในด้านการศึกษาและวารสารศาสตร์ เนื่องจากสามารถประหยัดเวลาและความพยายามได้ด้วยการทํางานบางอย่างโดยอัตโนมัติ คนอื่น ๆ ได้แสดงความกังวลเกี่ยวกับศักยภาพของเครื่องมือเหล่านี้ที่จะใช้ในการผลิตเนื้อหาที่ทําให้เข้าใจผิดหรือมีอคติหรือเพื่อแทนที่นักเขียนที่เป็นมนุษย์ ท้ายที่สุดแล้ว เครื่องมือเขียน AI จะช่วยหรืออุปสรรคนั้นขึ้นอยู่กับวิธีการใช้งานและบริบทที่ใช้

ใช่ มีอย่างนั้น