ตัวห่อโมเดล (harness) สำคัญกว่าที่คิด เบนช์มาร์กชี้ Pi กับ DeepSeek ทำงานสำเร็จมากกว่า Claude Code
สารบัญ
สรุปให้ไว
โมเดลเดียวกัน เปลี่ยนแค่ harness ผลต่างชัด
Composio รัน DeepSeek V4 Flash ผ่าน 4 harness กับ 30 งาน สลับกันชนะคนละเมตริก
งานสำเร็จ: สาย Pi นำ
Oh My Pi ทำผ่าน 17/30 ส่วน Claude Code กับ Codex ได้ 16 และ Open Code ได้ 14
เร็วสุดกับถูกสุดคนละตัว
Claude Code เร็วสุดแต่แพงสุดราว 20 เซนต์ต่องานสำเร็จ ขณะที่ Open Code ถูกสุดราว 7 เซนต์
prompt สั้นชนะ prompt ยาว
Pi ใช้ system prompt แค่ไม่กี่ร้อย token ล่าสุด Anthropic เองก็หั่น prompt ของ Claude Code ลงราว 80% โดยผลไม่ตก
01เกิดอะไรขึ้น
มีเบนช์มาร์กที่น่าสนใจจาก Composio ที่เอาโมเดลตัวเดียวคือ DeepSeek V4 Flash ไปรันผ่าน harness หรือ "ตัวห่อโมเดล" 4 แบบ ได้แก่ Claude Code, Codex, Open Code และ Oh My Pi ซึ่งเป็นสาย Pi ที่แต่งเครื่องมือเพิ่มเข้าไป โจทย์คือ 30 งานแบบ agentic ชุดเดียวกัน โมเดลเดียวกันเป๊ะ เปลี่ยนแค่ตัวห่อเท่านั้น
ผลออกมาน่าคิด เพราะแต่ละ harness ชนะคนละเมตริก ด้านจำนวนงานที่ทำผ่าน สาย Pi นำที่ 17 จาก 30 ด้านความเร็ว Claude Code เร็วสุด และด้านต้นทุนต่องานสำเร็จ Open Code ถูกสุด แปลว่าไม่มีตัวไหนชนะขาดทุกด้าน แต่ประเด็นสำคัญคือ ช่องว่างระหว่างตัวแย่สุดกับดีสุดอยู่ที่ 14 เทียบ 17 งาน คือขยับราว 10 จุดเปอร์เซ็นต์จากการเปลี่ยนแค่ตัวห่อ
ผลเบนช์มาร์ก Composio — DeepSeek V4 Flash, 30 งาน
- ★
Oh My Pi
ทำงานสำเร็จมากสุด 17/30 แต่ช้ากว่าเพื่อน (ราว 272 วินาทีต่องาน) ต้นทุนราว 10 เซนต์ต่องานสำเร็จ
- ★
Claude Code
สำเร็จ 16/30 เร็วที่สุดราว 123 วินาทีต่องาน แต่แพงสุดเกือบ 20 เซนต์ต่องานสำเร็จ
- ★
Codex
สำเร็จ 16/30 ช้าราว 245 วินาทีต่องาน ต้นทุนราว 8 เซนต์ต่องานสำเร็จ
- ★
Open Code
สำเร็จ 14/30 เร็วรองลงมาราว 130 วินาที และถูกสุดราว 7 เซนต์ต่องานสำเร็จ
02ทำไม harness ถึงสำคัญ
เหตุผลหลักอยู่ที่ system prompt เอเจนต์ส่วนใหญ่แถม prompt ก้อนใหญ่มาก่อนที่เราจะพิมพ์อะไรเลย ของ Claude Code เคยใหญ่ระดับหมื่น token ปัญหาคือ prompt พวกนี้เขียนจูนมาสำหรับโมเดลของค่ายตัวเอง พอเอาโมเดลอย่าง DeepSeek หรือ GLM มาเสียบ มันเลยเจอคำสั่งหลายพัน token ที่ไม่ได้เขียนมาเพื่อมัน บางส่วนช่วย บางส่วนกวน และทั้งหมดคิดเงินทุก request
Pi เลือกทางตรงข้าม system prompt เล็กมากแค่หลักร้อย token แค่บอกโมเดลว่ามีเครื่องมืออะไรแล้วปล่อยให้ทำงาน เดิมพันคือโมเดลสมัยนี้ฉลาดพอโดยไม่ต้องจับมือเป็นหมื่น token ที่น่าสนใจคือ Anthropic เองเพิ่งหั่น prompt ของ Claude Code ลงราว 80% แล้วบอกว่าผลไม่ตก เป็นสัญญาณว่าคำสั่งส่วนใหญ่อาจเป็นน้ำหนักส่วนเกินมาตลอด และก่อนหน้านี้ OpenAI ก็เคยโชว์ว่าแค่สลับสองการตั้งค่าใน harness ของตัวเองก็ดันคะแนนโมเดลจากราว 13% เป็น 38% ได้
03เกี่ยวอะไรกับเรา
มุมของเราคือ **ก่อนจะจ่ายเพื่อโมเดลใหม่ ลองเปลี่ยน harness ดูก่อน** เพราะข้อมูลชุดนี้ชี้ว่าการสลับตัวห่อขยับผลได้พอ ๆ กับการอัปเกรดโมเดลรุ่นใหม่ที่ต้องรอเป็นเดือน โดยเฉพาะถ้าใช้โมเดลโอเพนราคาถูกอย่าง DeepSeek การจับคู่กับ harness ที่ prompt เบา อาจได้งานสำเร็จมากขึ้นที่ต้นทุนต่ำลง
แต่อย่าเพิ่งเชื่อตัวเลขแบบเป๊ะ ๆ นี่คือ 30 งาน หนึ่งเบนช์มาร์ก และแต่ละ harness ชนะคนละด้าน สิ่งที่ควรทำคือทดสอบกับงานจริงของเราเองว่าให้ค่าอะไรมากกว่ากัน ความเร็ว ต้นทุน หรือจำนวนงานที่ผ่าน แล้วค่อยเลือกตัวห่อให้เข้ากับ workflow ไม่ใช่เลือกตามชื่อที่ดังที่สุด