เราใช้ Claude 3 Opus ในการประมวลผลและระบุข้อมูลใบแจ้งการค้าข้ามพรมแดน ซึ่งช่วยประหยัดค่าใช้จ่ายในการตรวจสอบด้วยมนุษย์ได้ถึง 60% แต่เราก็เจอปัญหาอยู่ 3 ข้อ

เมื่อเดือนที่แล้ว ในช่วงที่มีการลดราคาครั้งใหญ่ที่สถานียุโรป เราซึ่งเป็นทีมของ 3 คนที่รับผิดชอบการควบคุมการนำเข้าข้ามพรมแดน แทบจะต้องทำงานหนักจนแทบไม่มีเวลาพัก: นโยบายความเป็นไปตามกฎหมายใหม่กำหนดให้ใบแจ้งการนำเข้าของแต่ละล็อตสินค้าต้องตรงกับรหัสสินค้า ใบรับรองแหล่งที่มา และหมายเลขประจำตัวทางภาษีของสหภาพยุโรป โมเดลเล็กๆ ที่เราใช้ก่อนหน้านี้มีอัตราการระบุที่ต่ำกว่า 70% และภายในหนึ่งสัปดาห์เราก็มีใบแจ้งการนำเข้าที่ผิดปกติถึง 1200 ฉบับที่ต้องตรวจสอบ ซึ่งทำให้กระบวนการควบคุมการนำเข้าล่าช้าลง 2 วัน

Claude 3 Opus คืออะไร?

Anthropicเป็นโมเดลภาษาขนาดใหญ่ที่มีความสามารถสูงสุดในปัจจุบันสามารถรองรับการป้อน token ได้ถึง 2 ล้านตัวในครั้งเดียว ซึ่งเทียบเท่ากับการนำเอกสารคู่มือการปฏิบัติตามกฎหมายการค้าที่มี 1,500 หน้าทั้งเล่มเข้าไปเพื่อใช้เป็นข้อมูลอ้างอิงในบริบทได้โดยตรงไม่จำเป็นต้องแบ่งเนื้อหาออกเป็นส่วนๆ เพื่อส่งคำขอ

สามประโยชน์หลักที่เราได้ทดสอบแล้ว

The first improvement is that the accuracy of complex document recognition has been significantly increased. Previous models often confused handwritten notes in multi-page customs declarations with the origin codes on attached pages. After switching to Opus, we incorporated the company's three years of compliance rules along with the list of all goods in that batch of shipments.อัตราการระบุที่แม่นยำสูงถึง 98% ทำให้ปริมาณการตรวจสอบด้วยมือลดลงถึง 60%ในช่วงฤดูกาลลดราคาครั้งใหญ่เมื่อสัปดาห์ที่แล้ว ก็ไม่มีปัญหาเกี่ยวกับการสะสมคำสั่งซื้อที่ผิดปกติเกิดขึ้น

ข้อที่สองคือไม่จำเป็นต้องยุ่งยากกับโปรเจ็กต์คำแนะนำที่ซับซ้อน ก่อนหน้านี้เพื่อให้โมเดลขนาดเล็กสามารถสร้างข้อมูลที่มีโครงสร้างตามข้อกำหนดของศุลกากร เราใช้เวลาปรับแต่งคำแนะนำนานถึงครึ่งเดือน และยังต้องเพิ่มกฎการตรวจสอบอีกหลายชั้น แต่ Opus เพียงแค่ให้ตัวอย่างรูปแบบที่ถูกต้อง 3 ตัวอย่าง ข้อมูลที่สร้างขึ้นก็สามารถเชื่อมต่อกับระบบการสำแดงรายการสินค้าของเราได้ทันที ช่วยประหยัดเวลาการพัฒนาไปอย่างน้อยหนึ่งสัปดาห์

ข้อที่สามคือการจัดการข้อมูลที่เป็นความลับนั้นง่ายขึ้นมาก เราที่ทำธุรกิจข้ามพรมแดนต่างกังวลเรื่องการรั่วไหลของข้อมูลทางภาษีของผู้ใช้และข้อมูลคุณสมบัติของบริษัทมาก โปรแกรม Opus รองรับการประมวลผลข้อมูลแบบ zero-shot ซึ่งไม่จำเป็นต้องนำข้อมูลที่เป็นความลับมาใช้ในการปรับแต่งเล็กน้อย แค่เพิ่มกฎการประมวลผลเข้าไปในคำขอก็สามารถได้รับผลลัพธ์ที่ต้องการ ซึ่งเป็นไปตามข้อกำหนดของ GDPR โดยสมบูรณ์ โดยไม่จำเป็นต้องผ่านการอนุมัติด้านความเป็นไปตามกฎหมายของข้อมูลเพิ่มเติม

อย่ารีบขึ้นรถนะ พวกเราเพิ่งเจอปัญหาเหล่านี้มาแล้ว

ประการแรกคือค่าใช้จ่ายนั้นสูงจริงๆ ก่อนหน้านี้เราใช้โมเดลธรรมดาในการประมวลผลใบแจ้งภาษีจำนวน 1000 ฉบับ ค่าใช้จ่ายอยู่ที่ประมาณ 2 ดอลลาร์ แต่หลังจากเปลี่ยนมาใช้ Opus ค่าใช้จ่ายเพิ่มขึ้นเป็น 15 ดอลลาร์ หากคุณประมวลผลเอกสารน้อยกว่า 100 ฉบับต่อวัน ค่าใช้จ่ายนี้จะสูงกว่าการจ้างพนักงานตรวจสอบพาร์ทไทม์เสียอีก

ประการที่สองคือปัญหาด้านความเร็วในการประมวลผลในช่วงเวลาที่มีความต้องการสูงนั้นรุนแรงกว่าที่เราคาดไว้ ในวันที่มีการส่งเสริมการขาย เราเพิ่มจำนวนคำขอพร้อมกันเป็น 10 คำขอ และมีถึง 12% ของคำขอที่ได้รับคำตอบว่ามีข้อผิดพลาด (รหัส 429) เราจึงต้องเพิ่มคิวงานเพิ่มเติมเพื่อนำคำขอที่ไม่เร่งด่วนไปประมวลผลในเวลากลางคืน เพื่อแก้ไขปัญหานี้

มีปัญหาเล็กน้อยอีกอย่าง: ระบบมีอัตราการรู้จำการเขียนด้วยลายมือภาษาที่หายากมากลดลงอย่างมาก เราเคยพบกับใบรับรองที่เขียนด้วยลายมือภาษาโปรตุเกส และ Opus รู้จำรหัสที่เขียนไว้ผิดพลาดโดยตรง สุดท้ายก็ต้องใช้การตรวจสอบด้วยมือเพื่อแก้ไขปัญหา หากธุรกิจของคุณเกี่ยวข้องกับเอกสารที่เขียนด้วยลายมือภาษาที่ไม่เป็นที่นิยมมาก ควรทดสอบอัตราความแม่นยำด้วยชุดข้อมูลของคุณเองก่อน

ใครควรจะใช้มัน? และใครกันแน่ที่ไม่จำเป็นต้องสัมผัสมันเลย?

สถานการณ์ที่เหมาะสมนั้นชัดเจนมาก: หากคุณต้องการจัดการกับเอกสารขนาดยาว หรือเนื้อหาที่มีหลายรูปแบบที่ซับซ้อน เช่น การตรวจสอบสัญญาทางกฎหมาย การระบุข้อมูลในแบบฟอร์มหลายหน้า การดีบักคลังโค้ดที่มีขนาดใหญ่ และคุณมีความต้องการความแม่นยำสูง โดยที่ต้นทุนจากข้อผิดพลาดนั้นสูงกว่าต้นทุนในการเรียกใช้โมเดลมาก ๆ โอปัส (Opus) จะช่วยคุณประหยัดเวลาและความยุ่งยากได้อย่างแน่นอน

ถ้าคุณใช้มันเพียงแค่สำหรับการตอบคำถามลูกค้า การสร้างเนื้อหาทั่วไป หรือการดึงคีย์เวิร์ดอย่างง่าย ๆ จริง ๆ แล้วมันไม่จำเป็นเลย โมเดลขนาดเล็กทั่วไปก็สามารถตอบสนองความต้องการได้เหมือนกัน และยังประหยัดค่าใช้จ่ายได้มากกว่า 80% อีกด้วย

คำแนะนำเชิงปฏิบัติสำหรับทีมที่เริ่มทำงานเป็นครั้งแรก

ประการแรก อย่าเริ่มต้นด้วยการแทนที่ทั้งหมดทันที ลองนำ 10% ของคำขอที่ซับซ้อนที่สุดและมีต้นทุนจากข้อผิดพลาดสูงสุดในธุรกิจของคุณไปใช้กับโอปัส และคำนวณ ROI หลังจากใช้งานเป็นเวลาหนึ่งสัปดาห์ จากนั้นค่อยๆ เพิ่มสัดส่วนทีละน้อย เราเริ่มต้นด้วยการทดสอบใบแจ้งการค้าที่มีหลายภาษาซึ่งมักจะเกิดข้อผิดพลาดได้ง่ายที่สุด และเมื่อตรวจสอบแล้วว่ามีผลตอบแทนที่ดี เราจึงจะเปลี่ยนไปใช้โอปัสทั้งหมด

ประการที่สอง ต้องมีกลยุทธ์การลดระดับความซับซ้อน (degradation strategy) ด้วย ในกรณีที่เกิดการจำกัดการใช้งาน (throttling) หรือความน่าเชื่อถือในการระบุ (identification confidence) ต่ำกว่า 90% ระบบควรโอนไปใช้โมเดลที่มีต้นทุนต่ำโดยอัตโนมัติ หรือใช้กระบวนการประมวลผลแบบมนุษย์ อย่าผูกความสำเร็จของทั้งหมดไว้กับโมเดลเดียว

การตอบคำถามสุดท้ายที่ทีมของเราต้องคิดอยู่นานว่า: เราควรรอเวอร์ชันใหม่ที่ราคาถูกกว่าหรือไม่? คำตอบของเราคือ ถ้าธุรกิจของคุณกำลังประสบปัญหาด้านประสิทธิภาพในการจัดการเอกสารที่ซับซ้อน การใช้เทคโนโลยีนี้เร็วยิ่งจะช่วยประหยัดค่าแรงได้มาก และค่าแรงที่เราประหยัดได้จากการตรวจสอบในช่วงหนึ่งเดือนที่ผ่านมานี้ ก็เพียงพอที่จะครอบคลุมค่าใช้จ่ายในการเรียกใช้โมเดลในอีกครึ่งปีข้างหน้าแล้ว