Lateinamerikanisch-spanische Trainingsdaten für eine globale E-Commerce-Gruppe

Der Kunde ist eine globale E-Commerce-Gruppe mit einer aktiven Expansion in Kolumbien, Mexiko, Argentinien, Peru und Chile. Ihre kundenseitige Automatisierung, Intent-Klassifizierung, dialogorientierter Support, Suchverständnis und Inhaltskategorisierung, basiert auf Modellen, die überwiegend auf kastilischen und europäisch-spanischen Daten trainiert wurden.

Die Modelle des Kunden schnitten in Spanien gut und in ganz Lateinamerika schlecht ab, durchgängig genug, um strukturell zu sein. Der F1-Wert der Intent-Klassifizierung lag bei 91,0 % bei kastilischem Spanisch und fiel auf 71,1 % bei karibischem Spanisch, 78,2 % bei kolumbianischem, 79,6 % bei Rioplatense. Der karibische Wert war geschäftlich nicht nutzbar, und mehrere dieser Märkte standen früh in der Expansionsabfolge des Kunden. Die Fehlermodi waren spezifisch: Vokabelabweichungen bei gewöhnlichen Handelsbegriffen, unterschiedliche Konventionen von Höflichkeit und Direktheit, regional unterschiedlicher Gebrauch von Verkleinerungsformen und Code-Switching. Ein Modell, das eine Beschwerde als Anfrage fehlinterpretiert, erzeugt Automatisierungsfehler, die die Kunden direkt erreichen.

Die anfängliche Abhilfe des Kunden, kastilische Daten maschinell in regionale Varianten zu übersetzen, machte das Problem schwerer erkennbar. Sie erzeugte Daten, die grammatikalisch regional und pragmatisch kastilisch waren, was die Benchmark-Werte verbesserte, während die reale Leistung weitgehend unverändert blieb. Die Beschaffung echter Annotationen für mehrere spanische Varianten in großem Umfang hatte sich als schwierig erwiesen, weil kein einzelner Anbieter mehrere Varianten mit muttersprachlichem pragmatischem Urteilsvermögen in jeder liefern konnte.

Corpshore Colombia schlug Medellín vor, dessen Ruf als Technologiezentrum eine mobile, multinationale Belegschaft angezogen hat, was Zugang zu Muttersprachlern mehrerer lateinamerikanisch-spanischer Varianten neben dem kolumbianischen Spanisch an einem einzigen Standort verschafft. Corpshore konnte eine Kompetenz für mehrere Varianten nachweisen, die konkurrierende Einzelmarkt-Anbieter nicht boten.

Der Kunde führte einen blinden Test über drei Anbieter durch. Die Inter-Annotator-Übereinstimmung von Corpshore bei karibischem und kolumbianischem Spanisch war erheblich höher, und seine linguistischen Leiter erstellten eine schriftliche Taxonomie der pragmatischen Abweichungen, die die Fehlklassifizierung verursachten, die das ML-Team des Kunden zuvor nicht dokumentiert hatte. Corpshore schlug außerdem vor, ML-Verbindungsingenieure in die Trainingspipeline des Kunden einzubinden, statt Daten als Stapelübergabe zu liefern.

Sechsundfünfzig Annotatoren in Medellín, organisiert in Variantendesks, kolumbianisch, karibisch, mexikanisch, Rioplatense und kastilisch, mit sechs linguistischen Leitern, vier QA-Spezialisten und zwei ML-Verbindungsingenieuren, die innerhalb der Pipeline des Kunden arbeiten. Die Annotatoren sind Muttersprachler der Variante, die sie annotieren. Alle durchlaufen ein vierwöchiges Onboarding, das das Labelschema, das E-Commerce-Vokabular, die Grundsätze der pragmatischen Annotation und die Abweichungstaxonomie umfasst.

Muttersprachliche Variantenannotation, niemals Übersetzung. Jeder Datensatz wird von einem Muttersprachler seiner Variante annotiert, unter Verwendung von Daten, die ursprünglich in dieser Variante erzeugt wurden. Dies ist die Entscheidung, die den Auftrag vom gescheiterten internen Versuch des Kunden trennt und der Grund, warum die Fortschritte in der Produktion Bestand hatten.

Pragmatische Annotation, nicht nur semantische. Das Labelschema erfasst Direktheit, Höflichkeitsregister, Dringlichkeitssignale und Stimmungsintensität, die Merkmale, die tatsächlich variieren und Fehlklassifizierung verursachen.

Aktives Lernen gegen Modellunsicherheit. Die Annotationspriorität wird wöchentlich durch die Unsicherheit des Modells festgelegt, was das insgesamt erforderliche Annotationsvolumen gegenüber gleichmäßiger Stichprobenziehung um schätzungsweise ein Viertel senkt.

Variantenübergreifende Kalibrierung. Alle Desks prüfen eine gemeinsame wöchentliche Stichprobe, um festzustellen, wo ein Begriff über Varianten hinweg wirklich gleich ist und wo er sich unterscheidet, was voraussetzt, dass die Desks am selben Ort sind, der Grund, warum das Einzelstandortmodell zählt.

F1-Wert der Intent-Klassifizierung nach spanischer Variante

Der F1-Wert der Intent-Klassifizierung stieg über alle Varianten hinweg über 91 %, wobei sich karibisches Spanisch von 71,1 % auf 91,5 % und kolumbianisches von 78,2 % auf 92,4 % verbesserte. Die Spanne zwischen bester und schlechtester Variante verengte sich von 19,9 Punkten auf 2,1.

Der Kunde startete die Automatisierung des dialogorientierten Supports in Kolumbien, Mexiko und der Karibik planmäßig, nachdem er diese Starts zuvor aus Gründen der Modellleistung aufgeschoben hatte.

Der Annotationsdurchsatz erreichte bis Monat sechs 61.600 Datensätze pro Woche. Die Kosten pro annotiertem Datensatz lagen 60 % unter dem bisherigen Vergleichswert des europäischen Anbieters des Kunden.

Die pragmatische Abweichungstaxonomie und das erweiterte Labelschema sind Eigentum des Kunden und bestimmen nun die gesamte spanischsprachige Modellarbeit des Kunden. Das Modell der Mehrvarianten-Annotation an einem einzigen Standort ist zu einer definierten Kompetenz von Corpshore Colombia geworden. Der Auftrag wurde auf RLHF für den generativen Support-Assistenten des Kunden ausgeweitet.