ใช้ AI ยังไงให้เก่งขึ้น · ชุด 7 เล่ม
คอนเทนต์ AI เกือบทั้งโลกสอนแค่วิธีสั่ง แทบไม่มีใครสอนวิธีจับผิด — ทั้งที่นั่นคือครึ่งที่ตัดสินว่าใช้ได้จริงหรือเปล่า
เล่ม 7 จาก 7 · อ่านเล่มไหนก่อนก็ได้
สำหรับคนที่ใช้ AI อยู่แล้ว แต่ยังรู้สึกว่าคำตอบที่ได้มันกลางๆ
ไม่ต้องเขียนโค้ดเป็น ไม่ต้องรู้ศัพท์เทคนิคมาก่อน
เจ็ดเล่ม สามโซน · คุณอยู่ที่เล่ม 7
อ่านเล่มไหนก่อนก็ได้ แต่ละเล่มจบในตัวเอง ไม่ต้องอ่านเรียงลำดับ หยิบเล่มที่ตรงกับปัญหาที่เจออยู่ตอนนี้ได้เลย
ความไม่สมดุลที่ทำให้คนข้ามการตรวจ
AI ผลิตของได้เป็นร้อยชิ้นในไม่กี่นาที · แต่คนอ่านตรวจได้วันละไม่กี่สิบ ช่องว่างนี้คือเหตุผลที่คนเลิกตรวจ ไม่ใช่เพราะขี้เกียจ แต่เพราะมันตามไม่ทันจริงๆ
และการอ่านตรวจงานที่ตัวเองสั่งมามีปัญหาเฉพาะตัว — คุณอ่านสิ่งที่ตั้งใจให้มันเป็น ไม่ใช่สิ่งที่มันเขียนจริง ยิ่งเป็นของที่คุณสั่งเอง ยิ่งมองข้ามง่าย
ถ้า AI ผลิตได้เป็นร้อยชิ้น มันก็ตรวจได้เป็นร้อยชิ้นเหมือนกัน
ไม่ได้แปลว่าเอาคนออกจากสมการ · แปลว่าให้เครื่องคัดของที่น่าสงสัยมากองไว้ แล้วคนดูเฉพาะกองนั้น จากร้อยชิ้นเหลือให้คนดูสิบชิ้น ซึ่งทำไหว
ถ้ามีสายพานหลายขั้น (เล่ม 6) ตรวจระหว่างขั้น อย่ารอตรวจตอนจบ · ของผิดที่หลุดจากขั้นที่หนึ่ง จะถูกขั้นที่เหลือสร้างต่อทับจนแยกไม่ออกว่าเริ่มผิดตรงไหน
เริ่มจากชั้นที่ถูกที่สุด
มีครบทุกส่วนที่ต้องมีไหม · ยาวเกินที่กำหนดหรือเปล่า · รูปแบบถูกไหม · มีช่องว่างเปล่าตรงไหน
ถูกที่สุดและจับได้เยอะกว่าที่คิดมาก — ของที่พังชัดๆ อย่างหัวข้อหาย ตัวเลือกซ้ำกัน หรือข้อความค้างที่ยังไม่ได้เติม มักหลุดออกมาที่ชั้นนี้
คำอธิบายตรงกับคำตอบไหม · ผลรวมเท่ากับผลบวกของส่วนย่อยหรือเปล่า · ตัวเลขในย่อหน้าตรงกับตัวเลขในตารางไหม
ชั้นนี้จับของที่ดูดีแต่ขัดกันเอง ซึ่งเป็นความผิดที่คนอ่านผ่านง่ายที่สุด เพราะแต่ละส่วนอ่านแยกกันแล้วสมเหตุสมผลหมด
ให้ AI อีกตัวทำงานเดียวกัน แล้วดูว่าได้ผลตรงกันไหม · ตรงกันคือสัญญาณดี ไม่ตรงกันคือจุดที่ต้องมีคนดู
ตัวที่สองต้องไม่เห็นคำตอบของตัวแรก · ถ้าเห็น มันจะเห็นด้วยเกือบทุกครั้ง และคุณจะได้ความมั่นใจปลอมๆ แทนที่จะได้การตรวจ
ให้แค่โจทย์ ไม่ให้คำตอบ ไม่ให้เหตุผล ไม่บอกว่าตัวแรกตอบอะไร
บทเรียนที่แพงที่สุดในเล่มนี้
พอสร้างตัวตรวจได้ ความอยากถัดไปคือให้มันตัดของเสียทิ้งเองเลย · ตรงนี้คือที่ที่คนพลาดกันมากที่สุด
ตัวตรวจส่วนใหญ่ให้ผลออกมาเป็นคะแนนความน่าสงสัย ไม่ใช่คำตอบว่าผิดหรือถูก · แล้วคุณต้องตั้งเส้นว่าเกินเท่าไหร่ถึงเรียกว่าผิด — ซึ่งถ้าตั้งด้วยการเดา คุณจะได้เครื่องที่ทิ้งของดีอย่างมั่นใจ
ตัวตรวจหาข้อความซ้ำตัวหนึ่ง ตั้งเส้นด้วยการเดา แล้วมันฟ้องของดี 10 ชิ้นจาก 26 ชิ้น
ตัวตรวจที่ฟ้องผิดเกือบครึ่ง ไม่ใช่ตัวตรวจ มันคือเสียงรบกวน — และผลคือคนเลิกดูสิ่งที่มันฟ้อง ซึ่งแย่กว่าไม่มีตัวตรวจเลย
ตัดสินได้ — กฎชัด ผิดคือผิด เช่น "ต้องมีสี่ตัวเลือก" → ให้มันปฏิเสธเองได้
ได้แค่สงสัย — คะแนนความคล้าย ความน่าจะเป็น ความรู้สึกว่าแปลก → ห้ามให้มันตัดสิน ให้ส่งต่อคนดู
อย่าเดาว่าเส้นควรอยู่ตรงไหน · เอาของที่คุณรู้อยู่แล้วว่าดีมาสัก 20 ชิ้น แล้วดูว่าตัวตรวจให้คะแนนมันเท่าไหร่ เส้นที่ถูกต้องจะโผล่มาจากตัวเลขจริง ไม่ใช่จากความรู้สึก
ขั้นตอนนี้ใช้เวลาสิบนาที และเป็นสิบนาทีที่คุ้มที่สุดในกระบวนการทั้งหมด
และงานที่ยังเป็นของคนอยู่
ตัวตรวจอัตโนมัติเก่งเรื่องที่มีกฎ · แต่มองไม่เห็นของสามอย่างนี้เลย
กฎที่เขียนใหม่จากความทรงจำ จะเพี้ยนไปทีละนิดทุกครั้งที่เขียน แล้วสุดท้ายคุณจะได้ตัวตรวจที่ปฏิเสธของที่ควรผ่าน โดยที่มันดูเหมือนทำงานปกติ
เขียนกฎครั้งเดียวไว้ในที่เดียว แล้วอ้างถึงมัน · อย่าเขียนซ้ำจากความจำ
ตัวป้องกันที่ทำงานถูกต้องกับผู้ใช้จริง สามารถบิดข้อมูลที่คุณจำลองขึ้นมาทดสอบได้ · ผลที่ออกมาจะดูสมเหตุสมผล ไม่ได้ดูพัง ซึ่งทำให้เชื่อไปโดยไม่รู้ตัว
ทางกันคือเช็คว่าตัวเลขที่ได้เป็นไปได้จริงไหม เช่น เวลารวมต้องไม่เกินความยาวของงานทั้งชิ้น
สรุปงานที่ยังเป็นของคน · ตัดสินสิ่งที่กฎเขียนไม่ได้ และ ดูกองที่เครื่องคัดมาให้ — สองอย่างนี้ไม่มีวันหายไป และก็ไม่ควรหาย
สี่บรรทัด
ครั้งหน้าที่ให้ AI ทำงานสำคัญ เปิดหน้าต่างใหม่แล้วให้อีกตัวทำโจทย์เดียวกัน โดยไม่บอกว่าตัวแรกตอบอะไร แล้วเทียบสองคำตอบ
ใช้เวลาเพิ่มไม่ถึงนาที และตรงที่สองคำตอบไม่ตรงกัน คือตรงที่คุณต้องดูด้วยตาตัวเองพอดี
ถ้าอยากรู้วิธีจับว่ามันเดาตั้งแต่ตอนคุย → เล่ม 2 คำสั่งที่ได้งาน · มีสามคำถามที่ถามแล้วมันยอมบอกว่าเดาตรงไหน
ถ้าจะเอาการตรวจไปวางในสายพาน → เล่ม 6 Workflow และ pipeline · เป็นคู่ที่ต้องอ่านกับเล่มนี้มากที่สุด
ถ้าอยากเก็บสิ่งที่ตรวจเจอไว้ไม่ให้พลาดซ้ำ → เล่ม 5 Skill · ทุกความผิดที่เจอคือหนึ่งบรรทัดใหม่
อยากขุดลึกด้วยตัวเอง ลองค้นคำว่า LLM evaluation · LLM as a judge · guardrails · golden dataset