วิธีใช้ AI เพื่อการวิจัยอย่างถูกวิธี - มีความรับผิดชอบและมีประสิทธิภาพ

เครื่องมือตรวจจับ AI สองในเจ็ดเครื่องที่ฉันทดสอบระบุเนื้อหาที่สร้างโดย AI ได้อย่างถูกต้อง 100% ซึ่งเพิ่มขึ้นจากศูนย์ในรอบแรกของฉัน แต่ลดลงจากการทดสอบรอบสุดท้าย

เมื่อฉันตรวจสอบครั้งแรกว่าเป็นไปได้หรือไม่ที่จะต่อสู้กับการลอกเลียนแบบที่สร้างโดย AI และวิธีดังกล่าวจะทำงานได้อย่างไร ในเดือนมกราคมปี 2023 เพียงไม่กี่เดือนในกระแสการรับรู้เกี่ยวกับ AI เชิงสร้างสรรค์ที่แพร่หลายไปทั่วโลก 

นี่เป็นเวอร์ชันอัปเดตของบทความต้นฉบับเดือนมกราคม 2023 เมื่อฉันทดสอบตัวตรวจจับ GPT ครั้งแรก ฉันใช้สามตัว: GPT-2 Output Detector (นี่คือ URL ที่แตกต่างจากที่เราเผยแพร่ก่อนหน้านี้), Writer.com AI Content Detector และ Content at Scale AI Content Detection (ซึ่งปัจจุบันเรียกว่า BrandWell ). 

ผลลัพธ์ที่ดีที่สุดคือถูกต้อง 66% จาก GPT-2 Output Detector ฉันทำการทดสอบอีกครั้งในเดือนตุลาคม 2023 และเพิ่มอีกสามรายการ: GPTZero, ZeroGPT (ใช่ ต่างกัน) และ GPT Detector ของ Writefull จากนั้นในฤดูร้อนปี 2024 ฉันได้เพิ่ม QuillBot และบริการเชิงพาณิชย์ Originality.ai เข้าด้วยกัน คราวนี้ ฉันจะเพิ่มตัวตรวจสอบเบต้าของ Grammarly ด้วย

ในเดือนตุลาคม 2023 ฉันลบ Writer.com AI Content Detector ออกจากชุดทดสอบของเรา เนื่องจากมันล้มเหลวในเดือนมกราคม 2023 ล้มเหลวอีกครั้งในเดือนตุลาคม และล้มเหลวในฤดูร้อนปี 2024 อย่างไรก็ตาม ตอนนี้ดูเหมือนว่าจะใช้งานได้ ดังนั้นฉันจึง รวมไปถึงชุดทดสอบด้วย ดูด้านล่างสำหรับความคิดเห็นจากบริษัท ซึ่งทีมงานของพวกเขาส่งมาให้ฉันหลังจากบทความต้นฉบับเผยแพร่ในเดือนมกราคม

ฉันทำการทดสอบทั้งหมดอีกครั้งเพื่อดูว่าเครื่องตรวจจับทำงานอย่างไรในปัจจุบัน แม้ว่าฉันจะประสบความสำเร็จอย่างมากสองครั้ง แต่ประเด็นสำคัญดูเหมือนจะอยู่ที่ว่าผลลัพธ์จากตัวตรวจสอบ AI ตัวหนึ่งไปยังอีกตัวหนึ่งนั้นไม่สอดคล้องกันเพียงใด

ฉันกำลังทดสอบอะไรและทำอย่างไร

ก่อนที่ฉันจะไปต่อ เราควรหารือเกี่ยวกับการลอกเลียนแบบและเกี่ยวข้องกับปัญหาของเราอย่างไร Merriam-Webster ให้คำจำกัดความ "การลอกเลียนแบบ" ว่า "เพื่อขโมยและส่งต่อ (ความคิดหรือคำพูดของผู้อื่น) เป็นของตนเอง; ใช้ (ผลงานของผู้อื่น) โดยไม่ให้เครดิตแหล่งที่มา"

คำจำกัดความนี้เหมาะกับเนื้อหาที่สร้างโดย AI เป็นอย่างดี แม้ว่าคนที่ใช้เครื่องมือ AI เช่น Notion AI หรือ ChatGPT จะไม่ขโมยเนื้อหา แต่หากบุคคลนั้นไม่ได้ให้เครดิตคำที่มาจาก AI และอ้างว่าเป็นของตนเอง คำนั้นก็ยังคงเป็นไปตามคำจำกัดความของพจนานุกรมของการลอกเลียนแบบ

ในบทความทดลองนี้ ฉันได้ขอให้ ChatGPT ช่วยเหลือแล้ว คำพูดของฉันเป็นข้อความปกติและตัวหนา คำพูดของ AI เป็นตัวเอียง หลังจากแต่ละส่วนที่สร้างโดย AI ฉันจะแสดงผลของเครื่องตรวจจับ ในตอนท้ายของบทความ เราจะดูว่าเครื่องตรวจจับทำงานได้ดีเพียงใดโดยรวม

นี่คือผลการทดสอบสำหรับข้อความข้างต้น ซึ่งฉันเขียนเอง:

• ตัวตรวจจับเอาต์พุต GPT-2: จริง 99.98% 
• Writer.com: เนื้อหาที่มนุษย์สร้างขึ้น 95%
• การตรวจจับเนื้อหา BrandWell AI: ผ่านไปได้เหมือนมนุษย์
• GPTZero:มนุษย์ 98%
• ZeroGPT: 22% AI GPT ข้อความของคุณน่าจะเขียนโดยมนุษย์มากที่สุด
• Writefull GPT Detector: มีโอกาส 1% ที่มาจาก GPT-3, GPT-4 หรือ ChatGPT
• Originality.ai: เรามั่นใจ 99% ว่าข้อความเป็นต้นฉบับ
• QuillBot: 42% ของข้อความมีแนวโน้มที่จะสร้างโดย AI
• ไวยากรณ์: เราตรวจไม่พบรูปแบบข้อความ AI ทั่วไป ดูเหมือนว่าเอกสารของคุณไม่มีข้อความที่สร้างโดย AI

เนื้อหาที่เขียนโดยมนุษย์: ถูกต้อง 7 จาก 9 (77%)
ครั้งสุดท้าย: ถูกต้อง 5 จาก 7 (71%) 

ก่อนที่เราจะไปต่อ เรามาพูดคุยกันว่าฉันจะพิจารณาการวิเคราะห์ที่ "ถูกต้อง" อะไรบ้าง หากคะแนนเป็นตัวเลข อะไรก็ตามที่เกินกว่า 80% จะถือเป็นการวิเคราะห์ที่ถูกต้อง และนั่นก็ถือว่าดี ถ้าคะแนนมีสรุปผมจะดูสรุปแล้วตัดสินครับ 

ด้วยเหตุนี้เรามาดูกันดีกว่า

อธิบายว่าเหตุใด ChatGPT จึงอาจเป็นปัญหาที่แท้จริงสำหรับครูและบรรณาธิการเมื่อพูดถึงเรื่องการลอกเลียนแบบ

ChatGPT is a variant of the GPT (Generative Pre-trained Transformer) language model developed by OpenAI. It is designed to generate human-like text by predicting the next word or phrase in a given input sequence. While ChatGPT can be a useful tool for generating text and responding to prompts, it can also be a problem for teachers and editors when it comes to plagiarism.

One of the main reasons why ChatGPT can be a problem for teachers and editors is that it can generate text that is very similar to that of real human writers. This means that students or other individuals could potentially use ChatGPT to generate text that they could then submit as their own work, thereby committing plagiarism.

For teachers and editors, detecting whether a given piece of text was generated by ChatGPT or written by a human can be very difficult, as the generated text may not contain any obvious errors or discrepancies that would reveal its artificial origin. This can make it difficult for teachers and editors to identify and prevent plagiarism, as they may not be able to tell whether a given piece of text is original or copied from another source.

Overall, ChatGPT and other similar language models can be a problem for teachers and editors when it comes to plagiarism because they can generate text that is difficult to distinguish from that written by humans, making it easier for students and other individuals to commit plagiarism without being detected.

• ตัวตรวจจับเอาต์พุต GPT-2: จริง 99.69%
• Writer.com: เนื้อหาที่มนุษย์สร้างขึ้น 77%
• การตรวจจับเนื้อหา BrandWell AI: ยากที่จะบอก
• GPTZero: เอไอ 100%
• ZeroGPT: AI 100%
• Writefull GPT Detector: มีโอกาส 12% ที่มาจาก GPT-3, GPT-4 หรือ ChatGPT
• Originality.ai: AI 100%
• QuillBot: มีโอกาสเป็น AI ถึง 83%
• ไวยากรณ์: เราตรวจไม่พบรูปแบบข้อความ AI ทั่วไป ดูเหมือนว่าเอกสารของคุณไม่มีข้อความที่สร้างโดย AI
  

เนื้อหาที่เขียนโดย AI: ถูกต้อง 4 จาก 7 (44%)
ครั้งสุดท้าย: ถูกต้อง 4 จาก 7 (57%)

โปรดจำไว้ว่า ข้อความที่แสดงในตัวเอียงถูกสร้างขึ้นโดย AI

แสดงให้ฉันดูอย่างน้อยสามวิธีที่ฉันสามารถตรวจพบว่ามีการใช้ ChatGPT เพื่อสร้างข้อความ

There are several ways that you can potentially detect whether ChatGPT or another language model was used to produce a piece of text. Here are three potential approaches you could use:

1. มองหารูปแบบที่ซ้ำกันหรือผิดปกติในข้อความ: วิธีหนึ่งในการตรวจสอบว่ามีการใช้แบบจำลองภาษาเพื่อสร้างข้อความหรือไม่คือการมองหารูปแบบที่ซ้ำกันหรือผิดปกติในงานเขียน ตัวอย่างเช่น โมเดลภาษาอาจใช้วลีหรือคำผสมซ้ำ หรือใช้โครงสร้างประโยคที่ผิดปกติหรือไม่สอดคล้องกัน
2. ตรวจสอบการขาดความคิดริเริ่ม: อีกวิธีในการตรวจสอบว่ามีการใช้แบบจำลองภาษาเพื่อสร้างข้อความหรือไม่ คือการตรวจสอบการขาดความคิดริเริ่มในการเขียน หากดูเหมือนว่าข้อความชิ้นหนึ่งถูกคัดลอกมาจากแหล่งอื่น หรือมีข้อมูลที่หาได้ทั่วไปบนอินเทอร์เน็ตหรือในแหล่งอื่น นั่นอาจเป็นสัญญาณว่าข้อความนั้นถูกสร้างขึ้นโดยแบบจำลองภาษา
3. ใช้เครื่องตรวจสอบการลอกเลียนแบบ: สุดท้ายนี้ คุณสามารถใช้เครื่องตรวจสอบการลอกเลียนแบบเพื่อตรวจสอบว่าชิ้นส่วนของข้อความดูเหมือนจะถูกคัดลอกมาจากแหล่งอื่นหรือไม่ แม้ว่าเครื่องมือตรวจสอบการลอกเลียนแบบอาจไม่สามารถระบุได้อย่างแน่ชัดว่ามีการใช้แบบจำลองภาษาเพื่อสร้างข้อความหรือไม่ แต่ก็สามารถช่วยให้คุณระบุกรณีของการคัดลอกหรือการถอดความจากแหล่งอื่นได้
4. โปรดสังเกตเมื่อคำตอบนั้นผิดอย่างเห็นได้ชัด: ฉันพูดถึงเรื่องนี้ในการทบทวน Notion AI โดยเน้นข้อความบางข้อความที่ AI เขียนดูเหมือนมีอำนาจแต่ผิดอย่างโจ่งแจ้ง หากนักเรียนหรือนักเขียนไม่มีความรู้ครบถ้วนในหัวข้อที่กำลังอภิปราย พวกเขาอาจตรวจไม่พบความไม่ถูกต้องและปล่อยทิ้งไว้ในการตอบสนองที่ AI สร้างขึ้น แน่นอนว่าข้อความที่ไม่ถูกต้องไม่ได้เป็นเพียงขอบเขตของเครื่องมือการเขียนของ AI เท่านั้น ตัวอย่างเช่น บล็อกเกอร์และผู้แสดงความคิดเห็นจำนวนมาก กล่าวข้อความซ้ำๆ ของบล็อกเกอร์คนอื่นๆ ทำให้เกิดห้องสะท้อนของ "ข้อเท็จจริงเท็จ" โดยสมบูรณ์ แสดงให้เห็นว่าถึงแม้ความฉลาดอาจเป็นของเทียม แต่ความโง่เขลาก็เป็นลักษณะสากล

Keep in mind that it can be difficult to definitively determine whether a language model was used to generate a piece of text, and these methods may not always be effective. However, they can be useful tools to help you identify potential instances of language model-generated text.

ในชุดการทดสอบนี้ เฉพาะเนื้อหาที่เป็นตัวเอียงด้านบนเท่านั้นที่ถูกเรียกใช้ผ่านชุดตรวจสอบ

• เครื่องตรวจจับเอาต์พุต GPT-2: ปลอม 99.98%
• Writer.com: เนื้อหาที่มนุษย์สร้างขึ้น 73%
• การตรวจจับเนื้อหา BrandWell AI: ผ่านไปได้เหมือนมนุษย์
• GPTZero: เอไอ 100%
• ZeroGPT: สร้าง AI 96.99%
• Writefull GPT Detector: มีโอกาส 79% ที่มาจาก GPT-3, GPT-4 หรือ ChatGPT
• Originality.ai: AI 100%
• QuillBot: AI 100%
• ไวยากรณ์: เราตรวจไม่พบรูปแบบข้อความ AI ทั่วไป ดูเหมือนว่าเอกสารของคุณไม่มีข้อความที่สร้างโดย AI
  

เนื้อหาที่เขียนโดย AI: ถูกต้อง 5 จาก 9 (55%)
ครั้งสุดท้าย: ถูกต้อง 5 จาก 7 (71%)

แสดงรายการเครื่องมือตรวจสอบการลอกเลียนแบบ 3 รายการที่สามารถตรวจจับข้อความ ChatGPT ได้

It is worth noting that there is currently no plagiarism checker that is specifically designed to detect text generated by ChatGPT or other language models. While some plagiarism checkers may be able to identify certain characteristics of language model-generated text that could indicate its artificial origin, there is no guarantee that they will be able to definitively determine whether a piece of text was generated by a language model.

With that said, here are three plagiarism checkers that you might consider using to help identify potential instances of language model-generated text:

1. Turnitin: Turnitin เป็นเครื่องมือตรวจสอบการลอกเลียนแบบยอดนิยมที่โรงเรียนและมหาวิทยาลัยใช้กันอย่างแพร่หลาย โดยจะเปรียบเทียบข้อความหนึ่งกับฐานข้อมูลของข้อความอื่นๆ เพื่อระบุกรณีของการคัดลอกหรือการถอดความ แม้ว่าจะไม่สามารถระบุได้อย่างแน่ชัดว่าชิ้นส่วนของข้อความถูกสร้างขึ้นโดยแบบจำลองภาษาหรือไม่ แต่ก็สามารถระบุคุณลักษณะบางอย่างของข้อความที่สร้างด้วยแบบจำลองภาษา ซึ่งสามารถระบุถึงต้นกำเนิดที่ประดิษฐ์ขึ้นได้
2. PlagScan: PlagScan เป็นอีกหนึ่งเครื่องมือตรวจสอบการลอกเลียนแบบที่เปรียบเทียบข้อความหนึ่งกับฐานข้อมูลของข้อความอื่น เพื่อระบุกรณีของการคัดลอกหรือการถอดความ เช่นเดียวกับ Turnitin มันอาจสามารถระบุคุณลักษณะบางอย่างของข้อความที่สร้างโดยโมเดลภาษา ซึ่งอาจบ่งบอกถึงต้นกำเนิดที่ประดิษฐ์ขึ้น แต่ไม่ได้ออกแบบมาโดยเฉพาะเพื่อตรวจจับข้อความที่สร้างโดยโมเดลภาษา
3. Copyleaks: Copyleaks คือเครื่องมือตรวจสอบการลอกเลียนแบบที่ใช้อัลกอริธึมการเรียนรู้ของเครื่องขั้นสูงเพื่อสแกนข้อความและเปรียบเทียบกับฐานข้อมูลของข้อความอื่นเพื่อระบุกรณีของการคัดลอกหรือการถอดความ แม้ว่าจะสามารถระบุคุณลักษณะบางอย่างของข้อความที่สร้างโดยโมเดลภาษาได้ แต่ก็ไม่ได้ออกแบบมาโดยเฉพาะเพื่อตรวจจับข้อความที่สร้างโดยโมเดลภาษา

It is worth noting that no plagiarism checker is completely foolproof, and there is always the possibility that a piece of language model-generated text could escape detection. Therefore, it is important to use plagiarism checkers as just one part of a larger strategy to detect and prevent plagiarism.

• ตัวตรวจจับเอาต์พุต GPT-2: จริง 99.58%
• Writer.com: เนื้อหาที่มนุษย์สร้างขึ้น 74%
• การตรวจจับเนื้อหา BrandWell AI: ผ่านไปได้เหมือนมนุษย์
• GPTZero: เอไอ 100%
• ZeroGPT: AI 100%
• Writefull GPT ตัวตรวจจับ: 87% มีแนวโน้มว่าจะมาจาก GPT-3, GPT-4 หรือ ChatGPT
• Originality.ai: AI 100%
• QuillBot: สร้างโดย AI 100%
• ไวยากรณ์: ไม่พบการลอกเลียนแบบหรือข้อความ AI

เนื้อหาที่เขียนโดย AI: ถูกต้อง 5 จาก 9 (55%)
ครั้งสุดท้าย: ถูกต้อง 5 จาก 7 (71%)

เครื่องตรวจสอบการลอกเลียนแบบ AI ออนไลน์

เครื่องมือตรวจจับการลอกเลียนแบบส่วนใหญ่จะใช้เพื่อเปรียบเทียบงานเขียนกับงานเขียนอื่นๆ ตัวอย่างเช่น เมื่อนักเรียนส่งเรียงความ ผลิตภัณฑ์อย่าง Turnitin จะสแกนเรียงความที่ส่งมาเทียบกับคลังเรียงความขนาดใหญ่ในฐานข้อมูล ตลอดจนเอกสารและข้อความอื่นๆ บนอินเทอร์เน็ต เพื่อพิจารณาว่าเรียงความที่ส่งมามีเนื้อหาที่เขียนไว้แล้วหรือไม่

อย่างไรก็ตาม เครื่องมือการเขียนด้วย AI จะสร้างเนื้อหาต้นฉบับ อย่างน้อยก็ในทางทฤษฎี ใช่ พวกเขาสร้างเนื้อหาจากสิ่งที่พวกเขาได้รับการฝึกฝนมา แต่คำที่พวกเขาสร้างนั้นค่อนข้างจะมีเอกลักษณ์เฉพาะตัวสำหรับแต่ละองค์ประกอบ

ด้วยเหตุนี้ เครื่องมือตรวจสอบการลอกเลียนแบบที่กล่าวถึงข้างต้นอาจไม่ทำงานเนื่องจากเนื้อหาที่สร้างโดย AI อาจไม่อยู่ในรายงานของนักเรียนคนอื่น

ในบทความนี้ เราเพียงแต่ดูที่เครื่องตรวจจับ GPT แต่การลอกเลียนแบบเป็นปัญหาใหญ่ และดังที่เราได้เห็นแล้วว่า บางคนเลือกที่จะนิยามการลอกเลียนแบบว่าเป็นสิ่งที่คุณอ้างว่าเป็นของคุณโดยที่คุณไม่ได้เขียน ในขณะที่คนอื่นๆ เลือกที่จะนิยามการลอกเลียนแบบว่าเป็นสิ่งที่เขียนโดยบุคคลอื่นที่คุณอ้างว่าเป็นของคุณ

ความแตกต่างนั้นไม่เคยเป็นปัญหาจนกระทั่งบัดนี้ ตอนนี้เรามีนักเขียนที่ไม่ใช่มนุษย์แล้ว ความแตกต่างของการลอกเลียนแบบก็เหมาะสมยิ่งขึ้น ขึ้นอยู่กับครู โรงเรียน บรรณาธิการ และสถาบันทุกคนที่จะตัดสินใจว่าจะขีดเส้นไหน

• ตัวตรวจจับเอาต์พุต GPT-2: จริง 99.56%
• Writer.com: เนื้อหาที่มนุษย์สร้างขึ้น 98%
• การตรวจจับเนื้อหา BrandWell AI: ผ่านไปได้เหมือนมนุษย์
• GPTZero: มนุษย์ 98%
• ZeroGPT: 16.82% AI - ข้อความของคุณเป็นการเขียนโดยมนุษย์
• Writefull GPT Detector: มีโอกาส 7% ที่มาจาก GPT-3, GPT-4 หรือ ChatGPT
• Originality.ai: ต้นฉบับ 100%
• ควิลล์บอท: 0% AI
• ไวยากรณ์: ไม่พบการลอกเลียนแบบหรือข้อความ AI

เนื้อหาที่เขียนโดย AI: ถูกต้อง 9 จาก 9 (100%)
ครั้งสุดท้าย: ถูกต้อง 7 จาก 7 (100%)

ผลลัพธ์โดยรวม

โดยรวมแล้วผลลัพธ์ลดลงเมื่อเทียบกับการทดสอบรอบที่แล้ว ครั้งนั้น เรามีบริการ 3 รายการที่ได้คะแนนเต็ม ตอนนี้ลดลงเหลือสองคนแล้วเพราะ ZeroGPT ซึ่งเป็นหนึ่งในผู้เล่นที่ทำคะแนนได้สมบูรณ์แบบในขณะนั้น ล้มเหลวในการทดสอบที่เคยทำได้สำเร็จ ตัวตรวจจับใหม่สองตัวที่เราเพิ่มคือ Writer.com และ Grammarly ไม่ได้ปรับปรุงคะแนน โดยทั่วไปแล้วทั้งคู่ไม่ประสบความสำเร็จ

แม้ว่าผลลัพธ์โดยรวมจะดีขึ้น แต่ฉันคงไม่สบายใจที่จะพึ่งเครื่องมือเหล่านี้เพียงอย่างเดียวในการตรวจสอบเนื้อหาของนักเรียน ตามที่แสดงไว้ การเขียนจากผู้ที่ไม่ใช่เจ้าของภาษามักจะได้รับการจัดอันดับว่าสร้างโดย AI และแม้ว่าเนื้อหาที่ประดิษฐ์ด้วยมือของฉันจะไม่ได้รับการจัดอันดับเป็น AI อีกต่อไป แต่ก็มีบางย่อหน้าที่ถูกทำเครื่องหมายโดยผู้ทดสอบว่าอาจเป็นแบบ AI . คุณยังสามารถดูได้ว่าผลลัพธ์ระหว่างระบบการทดสอบต่างๆ ไม่สอดคล้องกันอย่างมากอย่างไร ดังนั้น ฉันขอแนะนำให้ใช้ความระมัดระวังก่อนที่จะอาศัยผลลัพธ์ของเครื่องมือเหล่านี้ใดๆ (หรือทั้งหมด)

มาดูผู้ทดสอบแต่ละคนและดูว่าแต่ละคนทำงานอย่างไร

เครื่องตรวจจับเอาท์พุต GPT-2 (ความแม่นยำ 60%)

เครื่องมือแรกนี้สร้างขึ้นโดยใช้ศูนย์กลางการเรียนรู้ของเครื่องที่จัดการโดยบริษัท AI ในนิวยอร์ก Hugging Face แม้ว่าบริษัทจะได้รับเงินทุน 40 ล้านดอลลาร์เพื่อพัฒนาห้องสมุดภาษาธรรมชาติ แต่เครื่องตรวจจับ GPT-2 ดูเหมือนจะเป็นเครื่องมือที่ผู้ใช้สร้างขึ้นโดยใช้ห้องสมุด Hugging Face Transformers จากการทดสอบห้าครั้งที่ฉันทำ เครื่องตรวจจับมีความแม่นยำในสาม

Writer.com AI Content Detector (ความแม่นยำ N/A)

Writer.com เป็นบริการที่สร้างการเขียนด้วย AI โดยมุ่งเน้นที่ทีมงานองค์กร เครื่องมือ AI Content Detector สามารถสแกนหาเนื้อหาที่สร้างขึ้นได้ ฉันพบว่าเครื่องมือนี้ไม่น่าเชื่อถือ แม้ว่าก่อนหน้านี้จะล้มเหลวในการสร้างผลลัพธ์ แต่ครั้งนี้ก็ดำเนินไป น่าเสียดายที่ความแม่นยำของมันค่อนข้างต่ำ โดยพื้นฐานแล้วระบุแต่ละบล็อกของข้อความว่าเขียนโดยมนุษย์ โดยการทดสอบ 3 ใน 6 รายการเขียนโดย ChatGPT

หลังจากที่บทความนี้เผยแพร่ครั้งแรกในเดือนมกราคม ทีมงาน Writer.com ได้ติดต่อกับ ZDNET CEO May Habib มีความคิดเห็นนี้เพื่อแบ่งปัน:

ความต้องการเครื่องตรวจจับ AI พุ่งสูงขึ้น การเข้าชมเพิ่มขึ้น 2-3 เท่าต่อสัปดาห์นับตั้งแต่เราเปิดตัวเมื่อสองสามเดือนก่อน ตอนนี้เราได้มาตราส่วนที่จำเป็นเพื่อให้แน่ใจว่าจะไม่ลดลง และเป้าหมายของเราคือการปล่อยให้มันเป็นอิสระ และอัปเดตให้ทันสมัยเพื่อติดตามผลงานรุ่นล่าสุด รวมถึงของเราด้วย หากจะใช้เอาต์พุต AI แบบคำต่อคำ ก็ควรนำมาประกอบโดยเด็ดขาด

การตรวจจับเนื้อหา BrandWell AI (ความแม่นยำ 40%)

เครื่องมือที่สามที่ฉันพบนั้นเดิมผลิตโดยบริษัทสร้างเนื้อหา AI ชื่อ Content at Scale ต่อมา เครื่องมือดังกล่าวได้ย้ายไปยัง Brandwell.ai ซึ่งดูเหมือนจะเป็นชื่อใหม่สำหรับบริษัทที่ให้บริการการตลาดที่เน้น AI ในปัจจุบัน

น่าเสียดายที่ความแม่นยำค่อนข้างต่ำ เครื่องมือระบุเนื้อหา AI ทั้งหมดว่าเป็นมนุษย์ ดังเช่นในภาพหน้าจอนี้:

ข้อความนี้เขียนโดย ChatGPT ทั้งหมด

GPTZero (ความแม่นยำ 100%)

ยังไม่ชัดเจนว่าอะไรขับเคลื่อน GPTZero บริษัทกำลังจ้างวิศวกรและฝ่ายขาย และทำงานบน AWS ดังนั้นจึงมีค่าใช้จ่ายและยอดขาย อย่างไรก็ตาม สิ่งเดียวที่ฉันพบเกี่ยวกับข้อเสนอบริการคือสถานที่ที่คุณสามารถลงทะเบียนเพื่อรับบัญชีฟรีเพื่อสแกนคำศัพท์มากกว่า 5,000 คำที่นำเสนอโดยไม่ต้องเข้าสู่ระบบ หากคุณสนใจบริการตรวจจับ GPT นี้ คุณจะต้องดูว่าพวกเขาจะตอบกลับพร้อมรายละเอียดเพิ่มเติมหรือไม่ ความแม่นยำเพิ่มขึ้นตั้งแต่ครั้งแรกที่ฉันทำการทดสอบและยังคงอยู่ที่ 100% สำหรับรอบนี้

ZeroGPT (ความแม่นยำ 80%)

ดูเหมือนว่า ZeroGPT จะเติบโตเต็มที่ในฐานะบริการนับตั้งแต่ที่เราดูครั้งล่าสุด เมื่อเราตรวจสอบครั้งล่าสุด ไม่มีการระบุชื่อบริษัท และไซต์ดังกล่าวเต็มไปด้วยโฆษณา Google โดยไม่มีกลยุทธ์ที่ชัดเจนในการสร้างรายได้ การบริการทำงานได้ค่อนข้างดีแต่ดูไม่ชัดเจนเลย

ความรู้สึกบ้าๆบอๆนั้นหายไปแล้ว ZeroGPT นำเสนอเป็นบริการ SaaS อื่นๆ พร้อมด้วยราคา ชื่อบริษัท ข้อมูลติดต่อ และส่วนที่เหลือทั้งหมด มันยังทำงานได้ค่อนข้างดี ดังนั้นบางทีนักพัฒนาอาจตัดสินใจเปลี่ยนโค้ดการทำงานของพวกเขาให้เป็นธุรกิจที่ใช้งานได้มากขึ้น แต่ความแม่นยำก็ลดลง มันอ่านการทดสอบที่เขียนโดยมนุษย์ผิดว่าเป็น AI

เครื่องตรวจจับ GPT Writefull (ความแม่นยำ 60%)

Writefull จำหน่ายบริการสนับสนุนการเขียน รวมถึงเครื่องมือต่างๆ ฟรี เครื่องตรวจจับ GPT ค่อนข้างใหม่และทำงานได้ดีพอสมควร อย่างไรก็ตาม เครื่องมือนี้มีทั้งข้อดีและข้อเสียในการทดสอบของเรา ปรับปรุงจาก 60% เป็น 80% แต่ลดลงเหลือ 60% อีกครั้งในครั้งนี้

Originality.ai (ความแม่นยำ 100% เรียงลำดับ)

Originality.ai เป็นบริการเชิงพาณิชย์ที่เรียกเก็บเงินตัวเองว่าเป็นทั้งตัวตรวจสอบ AI และผู้ตรวจสอบการลอกเลียนแบบ บริษัทขายบริการตามเครดิตการใช้งาน เพื่อให้คุณเห็นภาพ การสแกนทั้งหมดที่ฉันทำสำหรับบทความนี้ใช้เครดิตการใช้งาน 30 หน่วย บริษัทขาย 2,000 เครดิตต่อเดือนในราคา $12.95 ต่อเดือน ฉันสูบน้ำประมาณ 1,400 คำผ่านระบบและใช้เพียง 1.5% ของการจัดสรรรายเดือน

ผลลัพธ์ดีเยี่ยมสำหรับตัวตรวจสอบ AI แต่เครื่องมือล้มเหลวสามในห้าครั้งเมื่อใช้บริการเป็นตัวตรวจสอบการลอกเลียนแบบ ภาพหน้าจอต่อไปนี้อ้างว่าข้อความที่วางนั้นเป็นการลอกเลียนแบบ 0%:

ไม่ถูกต้องเนื่องจากข้อความทั้งหมดที่วางลงในเครื่องมือนี้มาจากบทความนี้ ซึ่งเผยแพร่ทางออนไลน์เป็นเวลาสองปี ฉันคิดว่าบางทีเครื่องสแกนการลอกเลียนแบบไม่สามารถอ่านเนื้อหา ZDNET ได้ แต่ก็ไม่เป็นเช่นนั้น ดังที่ภาพหน้าจอนี้แสดง:

พูดตามตรง ฉันไม่ได้ตั้งใจที่จะตรวจสอบตัวตรวจสอบการลอกเลียนแบบในบทความนี้ แต่เนื่องจากฉันใช้แหล่งข้อมูลฉันรู้ว่าฉันดึงมาจากบทความที่มีอยู่ ฉันคิดว่าเครื่องมือตรวจสอบการลอกเลียนแบบคงจะตำหนิพวกเขาทั้งหมดว่าเป็นการลอกเลียนแบบ 100% ไม่ว่าในกรณีใด Originality.ai ทำได้ดีมากในส่วนที่เราวางแผนจะทดสอบ นั่นก็คือตัวตรวจสอบ AI เครื่องมือนี้ได้รับคะแนนสำหรับสิ่งนั้น  

QuillBot (ความแม่นยำ 80%-ish)

ไม่มีอะไรง่ายเสมอไป ครั้งแรกที่ฉันทำการทดสอบครั้งแรกผ่าน QuillBot มันบอกว่า 45% ของข้อความมีแนวโน้มที่จะสร้างโดย AI มันไม่ใช่ ฉันเขียนมัน แต่หลังจากเสร็จสิ้นการทดสอบอื่นๆ ทั้งหมดแล้ว ฉันกลับไปที่ QuillBot เพื่อจับภาพหน้าจอสำหรับส่วนนี้ ป้อนข้อความเดียวกับที่สร้างคะแนน 45% และอย่างที่คุณเห็น ตอนนี้รายงาน AI 0% แล้ว

แล้วเราจะทำอย่างไรกับผลลัพธ์นี้? น่าเศร้าที่ฉันไม่ได้จับภาพหน้าจอในครั้งแรกที่ทดสอบข้อความนี้ แต่มันเน้นย้ำถึงความกังวลที่ต้องพึ่งพาเครื่องตรวจจับ AI มากเกินไป เนื่องจากพวกมันสามารถเห็นภาพหลอนได้เช่นกัน 

ไวยากรณ์ (แม่นยำ 40%)

Grammarly เป็นเครื่องมือที่รู้จักกันดีในการช่วยให้นักเขียนผลิตเนื้อหาที่ถูกต้องตามหลักไวยากรณ์ นั่นไม่ใช่สิ่งที่เรากำลังทดสอบที่นี่ ไวยากรณ์สามารถตรวจสอบได้ทั้งการลอกเลียนแบบและเนื้อหา AI คุณสามารถวางเอกสารลงในเครื่องมือตรวจสอบไวยากรณ์ได้ และที่มุมขวาล่างจะมีปุ่มตรวจสอบการลอกเลียนแบบและข้อความ AI

ในการทดสอบนี้ เครื่องมือพบเอกสารออนไลน์ที่มีอยู่ซึ่งตรงกับสิ่งที่ฉันวาง ผลลัพธ์นั้นสมเหตุสมผลเนื่องจากเป็นการอัปเดตบทความที่ออนไลน์มาสองสามปีแล้ว แต่สิ่งที่ไม่ถูกต้องคือข้อความที่ว่า "เอกสารของคุณไม่มีข้อความที่สร้างโดย Al" เนื่องจาก ChatGPT สร้างทั้งส่วน

แล้วเครื่องตรวจจับ ChatGPT ของ OpenAI ล่ะ?

OpenAI ดึงมันออกมาเมื่อปีที่แล้วเพราะตัวตรวจจับไม่แม่นยำเป็นพิเศษ ณ เดือนสิงหาคม ควรจะแม่นยำ 99% แต่ยังไม่มีวี่แววว่าจะเปิดตัวในอีกสี่เดือนต่อมา ระดับความแม่นยำที่กล่าวอ้างนั้นยังเชื่อได้ยากเล็กน้อย เนื่องจาก ChatGPT นั้นยังห่างไกลจากความแม่นยำ 100% 

แต่ไม่ว่าในกรณีใด ตามที่เพื่อน ZDNET ของฉัน Steven Vaughan-Nichols เขียนไว้ มันยังไม่พร้อมใช้งาน เราจะทดลองใช้เครื่องมือนี้เมื่อมีการเผยแพร่สู่สาธารณะ คอยติดตาม

ข้อคิดสุดท้าย

ก่อนอื่น ฉันจะให้ ChatGPT พูดว่า การลอกเลียนแบบที่ขับเคลื่อนด้วย AI เป็นปัญหาที่กำลังเพิ่มมากขึ้น เนื่องจากเครื่องมือ AI เช่น Notion AI และ ChatGPT สามารถสร้างข้อความที่แยกแยะได้ยากจากข้อความที่เขียนโดยมนุษย์ มีหลายวิธีในการตรวจสอบว่าข้อความถูกสร้างขึ้นโดย AI หรือไม่ เช่น การค้นหารูปแบบที่ซ้ำกันหรือผิดปกติ การตรวจสอบการขาดความคิดริเริ่ม หรือใช้เครื่องตรวจสอบการลอกเลียนแบบ เครื่องมือตรวจสอบการลอกเลียนแบบเช่น Turnitin, PlagScan และ Copyleaks อาจสามารถระบุลักษณะบางอย่างของข้อความที่สร้างโดยโมเดลภาษาได้ แต่ก็ไม่ได้ป้องกันความผิดพลาดได้

แม้แต่เครื่องมือพิเศษที่ฉันพบก็ไม่เหมาะกับงานนี้เลย มีการปรับปรุงบางอย่างจากการทดสอบของฉันในเดือนมกราคมอย่างจำกัด อย่างไรก็ตาม ฉันจะไม่รู้สึกสบายใจอย่างแน่นอนที่จะคุกคามวุฒิการศึกษาของนักเรียนหรือกล่าวหาว่าพวกเขาโกงโดยอาศัยผลลัพธ์ของเครื่องมือเหล่านี้

ณ จุดนี้ผมคิดว่าเรายังไม่พร้อมที่จะให้ AI ต่อสู้กับ AI แต่เราจะต้องพึ่งพาการรับรู้ของมนุษย์ (ซึ่งหมายความว่าผู้คนต้องให้ความสนใจ) เพื่อระบุผลงานที่สร้างโดย AI

อย่าสรุปทันทีว่ามีบางสิ่งที่ถูกสร้างขึ้นโดยเครื่องจักร เพียงเพราะบางสิ่งโง่เขลาหรือไม่ถูกต้องนัก ไม่ได้หมายความว่าสิ่งนั้นไม่ได้เขียนโดยมนุษย์ ดังที่เราทุกคนทราบกันดีว่ามนุษย์สามารถเขียนเรื่องไม่ดีได้ด้วยตัวเอง

แล้วคุณคิดอย่างไร? คุณบอกได้ไหมว่าชิ้นส่วนนั้นสร้างโดย AI หรือไม่ คุณเคยใช้เครื่องมือการเขียน AI เหล่านี้ในช่วงหลายเดือนนับตั้งแต่มีให้ใช้อย่างกะทันหันหรือไม่? คุณคิดว่าสิ่งเหล่านี้เป็นความช่วยเหลือหรืออุปสรรคต่อการศึกษาและการสื่อสารมวลชนหรือไม่ เพราะเหตุใด แจ้งให้เราทราบในความคิดเห็นด้านล่าง นี่คือวิธีที่ ChatGPT ตอบสิ่งนี้:

As a language model, I can't see or interact with physical pieces of writing, so I can't tell if a piece is AI-generated or not. However, I can tell you that there are several AI writing tools that are available, and they can be used to generate a wide range of written content, including news articles, fiction, poetry, and more.

I don't have personal experience using these tools since I am just a computer program and don't have the ability to browse the internet or use physical tools. However, I can tell you that some people have found AI writing tools to be helpful in education and journalism, as they can save time and effort by automating certain tasks. Others have expressed concerns about the potential for these tools to be used to produce misleading or biased content or to replace human writers. Ultimately, whether AI writing tools are a help or hindrance depends on how they are used and the context in which they are used.

ใช่แล้วมีสิ่งนั้น

You can follow my day-to-day project updates on social media. Be sure to subscribe to my weekly update newsletter, and follow me on Twitter/X at @DavidGewirtz, on Facebook at Facebook.com/DavidGewirtz, on Instagram at Instagram.com/DavidGewirtz, and on YouTube at YouTube.com/DavidGewirtzTV.