Unser Team hat mithilfe von GPT-3.5 die Kosten für die Adressanalyse um 62% senken können und gleichzeitig das Problem der Beschränkungen während großer Rabattaktionen gelöst.

Im letzten Monat, während des Black Friday-Sales, haben wir als dreiköpfiges Backend-Team für den grenzüberschreitenden Paketversand in den Niederlanden zum ersten Mal nicht die ganze Nacht am Server verbracht. Im vergangenen Jahr lag die Genauigkeit unseres selbst entwickelten Adresskorrekturmodells bei weniger als 80%, und wir mussten extra jemanden rund um die Uhr die Fehlerprotokolle überwachen lassen. Allein aufgrund falsch eingegebener Adressen lag die Rücksendungsrate der Pakete bei 11%.

Für diejenigen, die noch nicht damit in Berührung gekommen sind: Was genau ist GPT-3.5?

Es ist das große Sprachmodell, das OpenAI im Jahr 2022 eingeführt hat. Die aktuelle, stabile Version, die bis 2026 weiterentwickelt wird, unterstützt ein Kontextfenster von bis zu 16.000 Einheiten. Die Reaktionszeit auf nicht-fließende, strukturierte Ausgabeanfragen liegt im Allgemeinen unter 200 Millisekunden und kann voll und ganz die Anforderungen an leichte semantische Verarbeitung in Online-Umgebungen mit hoher Konkurrenz bewältigen.

Wir haben uns für diese Lösung entschieden, um das Problem der Adressauflösung zu bewältigen, und dabei drei echte Vorteile erzielt.

• Erstens die sofortige Genauigkeit nach dem Auspacken: Es ist nicht notwendig, Millionen von Adressdaten aus verschiedenen Ländern selbst zu annotieren, um das System zu trainieren. Wir haben lediglich 200 historische Beispiele für außergewöhnliche Adressen verwendet, und die Interpretationsgenauigkeit ist direkt sehr hoch.98.7%Die Fehlerrate ist direkt auf unter 1% gesunken.
• Zweitens ist der Kostenfaktor viel niedriger als bei der eigenen Entwicklung: Früher kostete uns die Wartung unseres eigenen Modells sowie drei GPU-Server monatlich 1200 Euro. Jetzt, da wir GPT-3.5 nutzen, um täglich durchschnittlich 500.000 Anfragen zu verarbeiten, beträgt der monatliche Kostenaufwand nur noch 450 Euro – das entspricht einer direkten Kosteneinsparung von 62%.
• Drittens müssen Sie sich überhaupt keine Sorgen um die Erweiterung der Kapazitäten machen: Während des Black Friday-Events ist die Anzahl unserer Anfragen um das Dreifache gestiegen. Unsere eigene entwickelte Modellvorstellung konnte maximal 1,5-fache Datenmengen bewältigen, bevor es zu Problemen kam. Dieses Mal haben wir lediglich im Voraus eine temporäre Anfrage zur Erhöhung der Kapazitäten bei OpenAI gestellt, und es ist kein einziges Mal zu einem 429-Fehler gekommen.

Nicht nur die Vorteile sollten man betrachten – in den ersten drei Monaten sind wir auf mehr Probleme gestoßen als auf Gewinne.

Zuerst haben wir einfach die ursprünglichen Adressfelder direkt an das Modell übergeben, was oft dazu führte, dass Adressen von Dörfern und Städten in kleinen europäischen Ländern als Adressen von Städten in den USA erkannt wurden. Erst nach einer Woche haben wir festgestellt, dass im Standardprompt keine Regel enthalten war, die vorschreibt, dass die Ziellandfelder, die mit den Logistikanfragen übergeben werden, priorisiert werden sollen.

Ein anderes Mal haben wir versehentlich die Flussausgabe aktiviert, was dazu führte, dass die Dauer der Rückgabe aller解析-Ergebnisse um das Dreifache anstieg. In der Spitzenzeit stapelten sich 20.000 Anfragen, die zeitlich ausliefen. Erst nach einer halben Ermittlung stellten wir fest, dass ein Kollege die Parameter geändert und anschließend vergessen hatte, die Ausgabe wieder auf die ursprüngliche Einstellung zurückzusetzen.

Das größte Problem waren die Rechnungen: Anfangs haben wir keine Eingabebegrenzungen vorgenommen, sodass alle zusätzlichen, unerwünschten Anmerkungen, die die Nutzer bei der Eingabe der Adressen hinzufügten, ebenfalls in das Modell übernommen wurden. Am Monatsende waren die Rechnungen um 30 Prozent höher als erwartet. Später fügten wir eine Präfixbegrenzung von 100 Zeichen hinzu, und im zweiten Monat kehrten die Rechnungszahlen wieder in den Normalbereich zurück.

Letztendlich ist GPT-3.5 kein Allheilmittel – ich rate euch dringend, nicht einfach blind in diese beiden Arten von Teams einzusteigen.

Wenn Ihr Team mit stark geschützten Daten wie medizinischen Unterlagen oder Zahlungsinformationen arbeitet, sollten Sie die öffentliche Version von GPT-3.5 besser nicht verwenden – egal wie günstig und benutzerfreundlich sie auch sein mag. Die Risiken für die Datenkonformität sind einfach zu hoch, um sie zu bewältigen.

Wenn Ihre Anforderung darin besteht, Tausende von Wörtern umfassende Fachdokumente zu erstellen oder komplexe logische Schlussfolgerungen zu ziehen, sollten Sie sich direkt für GPT-4o oder Claude 3 entscheiden. GPT-3.5 weist in solchen Aufgaben eine deutlich geringere Genauigkeit auf – das gesparte Geld reicht bei weitem nicht aus, um auch nur die grundlegendsten Bedürfnisse zu decken.

Umgekehrt, wenn es um Aufgaben wie die Klassifizierung von Benutzungsabsichten, die Korrektur kurzer Texte oder die Extraktion strukturierter Informationen geht – also um leichte semantische Aufgaben – und keine extremen Anforderungen an das Schlussfolgern besteht, dann ist GPT-3.5 bis 2026 weiterhin die kostengünstigste Wahl, ohne Zweifel.

Drei praktische Tipps für die ersten Benutzer – alle basieren auf unseren eigenen Fehlern und Erfahrungen.

• Vor der Live-Veröffentlichung sollten Sie zunächst 7 Tage lang einen „Shadow Traffic“-Test durchführen: Senden Sie Anfragen sowohl an Ihr aktuelles System als auch an GPT-3.5 und vergleichen Sie nur die Ergebnisse, ohne den tatsächlichen Datenverkehr zu übertragen. Stellen Sie sicher, dass die Genauigkeit und Geschwindigkeit der Ergebnisse Ihren Erwartungen entsprechen, bevor Sie alles vollständig ersetzen.
• Füge allen Eingaben eine Vorfilterung hinzu: Entferne überflüssige Leerzeichen, unerwünschte Anmerkungen und Sonderzeichen im Voraus. Dadurch kann man mindestens 20 % der Token-Kosten einsparen und auch die Wahrscheinlichkeit von Fehlern im Modell verringern.
• Es muss unbedingt ein Ausfallsplan vorhanden sein: Sollte die OpenAI-Schnittstelle ausfallen, muss es eine alternative, weniger leistungsstarke Lösung geben, die den Dienst weiterhin unterstützen kann. Auch wenn die Genauigkeit dabei geringer ist, ist das immer noch besser, als wenn der gesamte Dienst nicht mehr verfügbar wäre.

FAQ

Es ist jetzt bereits 2026, und es gibt so viele neue Modelle – ist es dann noch notwendig, GPT-3.5 zu verwenden?
Für leichte Aufgaben ist es absolut notwendig. Wir haben Open-Source-Modelle im gleichen Preissegment verglichen, und GPT-3.5 weist eine Genauigkeit von mindestens 5 Prozentpunkten mehr auf. Zudem muss man GPT-3.5 nicht selbst betreiben und installieren, was die Gesamtkosten sogar noch senkt.

Muss man sich beim Aufruf Sorgen um Throttling machen?
Der tägliche Datenverkehr reicht in der Regel aus, sofern er nicht plötzlich um das Zehnfache oder mehr ansteigt. Die Standardzuweisung ist in der Regel ausreichend. Für große Rabattaktionen genügt es, drei Tage im Voraus einen Antrag auf Erhöhung der Kapazität zu stellen. Wir haben das bereits dreimal getan, und die Genehmigung erfolgte in den schnellsten Fällen innerhalb von zwei Stunden.