Utilizziamo Claude 3 Opus per l’elaborazione dei documenti di dichiarazione doganale transfrontaliera, risparmiando il 60% dei costi legati alla revisione manuale, ma abbiamo incontrato tre problemi.

Lo scorso mese, durante la grande promozione europea, il nostro team di tre persone incaricato del doganaggio transfrontaliero è stato letteralmente sommerso di lavoro: le nuove normative richiedevano che ogni dichiarazione doganale corrispondesse esattamente al codice del prodotto, alla prova di origine e al numero di identificazione fiscale dell’Unione Europea. Il modello di machine learning che utilizzavamo in precedenza aveva un tasso di riconoscimento inferiore al 70%, il che ha portato all’accumulo di 1200 dichiarazioni anomale da revisionare in una sola settimana, rallentando l’intero processo di sdoganamento di due giorni.

Cosa è Claude 3 Opus?

È il modello di linguaggio più potente attualmente disponibile da Anthropic.È possibile inserire fino a 2 milioni di token alla volta, il che equivale a poter utilizzare interamente un manuale di conformità commerciale di 1500 pagine come riferimento contestuale.Non è necessario dividere il contenuto in segmenti per effettuare le richieste di localizzazione.

I tre principali benefici che abbiamo riscontrato attraverso i nostri test

Il primo aspetto riguarda l’aumento significativo dell’accuratezza nel riconoscimento di documenti complessi. I modelli precedenti avevano spesso difficoltà a distinguere tra le note scritte a mano presenti in più pagine dei moduli di dichiarazione doganale e i codici di origine degli allegati; con l’adozione di Opus, abbiamo integrato le regole di conformità accumulate dall’azienda negli ultimi 3 anni insieme all’elenco di tutti i beni del lotto in questione.L’accuratezza del riconoscimento è arrivata direttamente al 98%, mentre la quantità di revisione manuale è diminuita del 60%.Durante il picco della promozione della scorsa settimana, non si sono verificati accumuli anomali di ordini.

Il secondo aspetto vantaggioso è che non è necessario occuparsi di complessi progetti di sviluppo di termini di suggerimento. In precedenza, per far sì che i modelli più semplici producessero dati strutturati in conformità con i requisiti doganali, abbiamo impiegato mezzo mese solo per configurare i termini di suggerimento, oltre a dover aggiungere diversi livelli di verifica delle regole; invece, con Opus, basta fornire 3 esempi di formato corretti e il contenuto prodotto può essere direttamente collegato al nostro sistema di dichiarazione doganale, risparmiando almeno una settimana di lavoro di sviluppo.

Il terzo aspetto vantaggioso è che il trattamento dei dati sensibili risulta molto più semplice. Nel nostro lavoro con le transazioni internazionali, temiamo soprattutto la perdita di informazioni fiscali degli utenti e dei dati relativi alle qualifiche aziendali. Opus supporta il trattamento dei dati “zero-shot”, il che significa che non è necessario utilizzare dati sensibili per i processi di ottimizzazione. Basta aggiungere una regola di elaborazione nella richiesta per ottenere il risultato desiderato, in piena conformità con i requisiti del GDPR, senza dover seguire ulteriori procedure di approvazione per la conformità dei dati.

Non affrettarti a salire in macchina, abbiamo già superato quei buchi nel terreno.

Prima di tutto, i costi sono davvero elevati. Prima utilizzavamo modelli tradizionali per elaborare 1000 documenti di dichiarazione doganale, il costo era di circa 2 dollari; tuttavia, dopo aver passato a Opus, il costo è aumentato immediatamente a 15 dollari. Se il numero di documenti che elabori ogni giorno è inferiore a 100, questo costo è addirittura superiore a quello di assumere un revisore part-time.

In secondo luogo, il problema del limitazione del flusso di traffico durante i periodi di punta è più grave di quanto si possa immaginare. Il giorno dell’evento promozionale, abbiamo aumentato il numero di richieste in parallelo a 10, e il 12% di queste ha restituito l’errore 429. Per risolvere il problema, abbiamo dovuto aggiungere una coda di attesa per le richieste, indirizzando quelle non urgenti al trattamento durante la notte.

C'è anche un piccolo problema: il tasso di riconoscimento del contenuto scritto a mano in lingue minori molto poco diffuse diminuisce drasticamente. Abbiamo incontrato un certificato di origine scritto in portoghese, e Opus ha riconosciuto erroneamente il codice contenuto al suo interno; solo una revisione manuale è riuscita a correggere l'errore. Se il tuo business coinvolge molti documenti scritti a mano in lingue non comuni, è meglio testare prima il tasso di accuratezza utilizzando il tuo proprio set di dati.

A chi dovrebbe essere destinato? E a chi non è affatto necessario nemmeno avvicinarsi?

Le scenari adatti sono molto chiari: se hai bisogno di lavorare con documenti lunghi o contenuti complessi e multimediali, come l’analisi di contratti legali, il riconoscimento di moduli su più pagine o il debug di grandi librerie di codice, e se richiedi un’alta precisione, con costi di errore molto più elevati rispetto ai costi di chiamata del modello, allora Opus può sicuramente aiutarti a risparmiare molto tempo e sforzi.

Se si utilizza solo per rispondere alle domande dei clienti, generare testi di base o estrarre parole chiave in modo semplice, allora non è davvero necessario; modelli più semplici possono soddisfare appieno le esigenze, con un risparmio di costi di oltre l’80%.

Due suggerimenti pratici per le squadre che si avvicinano per la prima volta a questo lavoro

Prima di tutto, non sostituire tutto all’improvviso. Inizia con il 10% delle richieste più complesse e con il costo di errore più alto nel tuo business, passandole a Opus, e calcola il ROI (Return on Investment) dopo una settimana di utilizzo. Successivamente, aumenta gradualmente la percentuale. Noi abbiamo iniziato testando i moduli di dichiarazione doganale multilingue, che sono i più soggetti a errori, e abbiamo effettuato il passaggio completo solo dopo aver verificato i benefici ottenuti.

In secondo luogo, è essenziale implementare una strategia di degradazione. In caso di limitazioni di traffico o quando il livello di affidabilità dell’identificazione è inferiore al 90%, è necessario passare automaticamente a un modello a basso costo o ad un processo di elaborazione manuale, per non dipendere interamente da quel singolo modello per tutti i servizi.

L'ultima risposta a una domanda su cui il nostro team ha discusso a lungo è: dovremmo aspettare una nuova versione più economica? La nostra conclusione è che se il vostro business sta già risentendo di ritardi nell'elaborazione di documenti complessi, iniziare ad utilizzare la nuova versione ora potrebbe permettervi di risparmiare sui costi di personale. Il risparmio ottenuto in questo mese in termini di lavoro di revisione è già sufficiente a coprire i costi di utilizzo del modello per i prossimi sei mesi.