คัดลอกสรุปสั้นแล้ว!
gugoru.com
⌘K

OpenAI สั่งแบน SWE‑bench ฉีกหน้าข้อสอบ AI แค่ท่องจำเฉลย

ประเด็นร้อน
50 วิ •
✍️กานต์ ถอดรหัส
OpenAI สั่งแบน SWE-bench ฉีกหน้าข้อสอบ AI แค่ท่องจำเฉลย
ภาพ: OpenAI

เลิกตื่นเต้นกับกราฟคะแนน AI เขียนโค้ดที่ค่ายเทคขยันเอามาอวดบนเวทีได้แล้ว เมื่อ OpenAI ออกมาสารภาพเองว่ามาตรฐานกลางอย่าง SWE-bench Verified กลายเป็นข้อสอบปาหี่ โมเดลตัวท็อปไม่ได้ฉลาดล้ำจนเขียนโปรแกรมแทนมนุษย์ได้จริง แต่เป็นเพราะข้อสอบรั่วจนโมเดลแอบจำเฉลยมาตอบต่างหาก

ผ่าข้อสอบลวง

3 แผลฉกรรจ์ที่ทำลายความน่าเชื่อถือวงการ AI

  • 1ข้อสอบบกพร่อง ปัดตกคำตอบถูก: ผลตรวจลึกพบว่าโจทย์กลุ่มที่โมเดลแก้ไม่ผ่านถึง 59.4% มีชุดตรวจเทสต์ที่พังเอง เขียนดักโค้ดแคบเกินไปจนเขี่ยวิธีแก้ปัญหาที่ใช้งานได้จริงทิ้งอย่างไร้เหตุผล
  • 2ข้อสอบรั่ว แอบลอกเฉลยเข้าห้องสอบ: บรรดาโมเดลแถวหน้าอย่าง GPT-5.2, Claude Opus 4.5 และ Gemini 3 Flash ดันจำโค้ดแก้บั๊กต้นฉบับจาก GitHub ได้เป๊ะทุกบรรทัด คะแนนที่พุ่งสูงจึงเป็นแค่ภาพลวงตาจากการท่องจำ
  • 3ภาพลวงตาตัวเลข ไม่สะท้อนงานจริง: คะแนนแตะ 80% ไม่ได้แปลว่า AI พร้อมแทนที่โปรแกรมเมอร์ในชีวิตจริง ทีมพัฒนาต้องเลิกยึดติดกับตัวเลขหน้าฉากแล้วหันมาวัดผลการทำงานในระบบปิดที่ข้อสอบไม่รั่ว
หมากตาต่อไป

ทิ้งกระดานเก่าแล้วสร้างเกณฑ์ประเมินใหม่

OpenAI ประกาศเลิกส่งคะแนนกระดานนี้พร้อมจี้ให้ทั้งวงการหยุดใช้ โดยเบนเข็มไปอิง SWE-bench Pro ชั่วคราว และเร่งดัน GDPVal ข้อสอบลับชุดใหม่ที่ปิดไม่ให้หลุดไปในชุดข้อมูลเทรน

โพยเอาไว้คุยกับเพื่อน

“คะแนนเทสต์ AI พุ่งสูงไม่ได้แปลว่ามันเขียนโค้ดเก่งขึ้น แต่มันแค่แอบอ่านเฉลยข้อสอบมาก่อนเข้าห้องสอบ”