Delivery di IA
Moderazione dei contenuti e addestramento del classificatore in lingua spagnola per una piattaforma latinoamericana
In sintesi
- Settore
- Media e piattaforme digitali
- Geografia del cliente
- America Latina, piattaforma social e di contenuti regionale
- Dimensione del cliente
- Grande impresa, base utenti multipaese
- Linea di servizio
- Delivery IA, moderazione contenuti, addestramento classificatore, triage potenziato dall'IA
- Lingua principale
- Spagnolo nelle varianti latinoamericane, con portoghese
- Sede di delivery
- Cali
- Durata dell'incarico
- 13 mesi, in corso
- Dimensione del team
- 66 moderatori, 8 specialisti di addestramento IA, 5 responsabili trust and safety, 2 counselor per il benessere
Profilo del cliente
Il cliente gestisce una piattaforma social e di contenuti generati dagli utenti con una base utenti sostanziale in Colombia, Messico, Argentina, Cile, Perù e America Centrale, oltre a un segmento in portoghese brasiliano. Il volume di contenuti è elevato e prevalentemente in spagnolo, con una forte variazione regionale in slang, umorismo e riferimenti culturali.
La sfida
La moderazione automatizzata della piattaforma rendeva male sullo spagnolo latinoamericano. Il classificatore di tossicità, addestrato in gran parte su dati inglesi e castigliani, raggiungeva il 72,0% di precisione e il 61,4% di richiamo sui contenuti latinoamericani. Un basso richiamo significava che i contenuti dannosi persistevano; una bassa precisione significava che i contenuti innocui venivano rimossi, generando reclami e accuse di censura arbitraria. Il fallimento si concentrava proprio sui contenuti che contano di più. Slang regionale, linguaggio in codice e insulti dipendenti dal contesto venivano sistematicamente ignorati, mentre il vocabolario innocuo in un paese e offensivo in un altro veniva gestito in modo incoerente. Il tempo di risposta aggravava il danno, con un tempo mediano dalla segnalazione all'intervento di 45 minuti e superiore alle quattro ore durante i picchi. Il benessere dei moderatori era diventato una crisi di retention, con un tasso di abbandono annualizzato superiore al 70% sotto l'accordo precedente, che produceva una forza lavoro permanentemente inesperta e una qualità delle decisioni degradata.
Perché Corpshore Colombia
Corpshore Colombia ha proposto Cali per il suo mix demografico latinoamericano e per il suo mercato del lavoro dei servizi in crescita, e ha proposto un modello di moderazione costruito attorno all'instradamento regionale delle decisioni anziché a un organico uniforme.
Il quadro per il benessere è stato decisivo. L'approccio documentato di Corpshore, rotazione obbligatoria fuori dalle code ad alta intensità, decompressione programmata, supporto psicologico in sede e sostegno tra pari, è stato valutato come sensibilmente più sviluppato delle offerte concorrenti, e il cliente aveva concluso che il suo problema di abbandono era la causa radice del suo problema di qualità. Corpshore ha inoltre proposto di abbinare la moderazione umana all'addestramento del classificatore in un unico incarico.
L'incarico
Sessantasei moderatori a Cali provenienti da diverse nazionalità latinoamericane, otto specialisti di addestramento IA sul miglioramento del classificatore, cinque responsabili trust and safety e due counselor per il benessere in sede. La copertura è di 24 ore su turni a rotazione. Tutti i moderatori completano un onboarding di sei settimane che copre le policy, il contesto regionale, i quadri decisionali, l'escalation e la pratica per il benessere prima di gestire contenuti dal vivo, con formazione separata e limiti di rotazione per le categorie più difficili.
Approccio e metodologia
Instradamento regionale delle decisioni. I contenuti vengono instradati a un moderatore che conosce la lingua e il contesto culturale della regione d'origine anziché a una coda spagnola generica, affrontando l'incoerenza che un organico uniforme non può risolvere.
Le decisioni dei moderatori come dati di addestramento. Ogni decisione, con il suo contesto regionale e il suo codice di ragionamento, alimenta l'insieme di addestramento del classificatore. Sono stati completati sei cicli di riaddestramento, ciascuno dei quali incorporava le decisioni umane del ciclo precedente.
Triage potenziato dall'IA, non sostituzione. Il classificatore pre-valuta e assegna priorità anziché agire autonomamente al di sopra di una stretta fascia ad alta affidabilità, mantenendo il giudizio umano sui contenuti ambigui pur rimuovendo il volume di routine, il che ha prodotto il miglioramento del tempo di risposta senza un costo in precisione.
Il benessere come requisito operativo. Limiti di rotazione, decompressione, supporto psicologico in sede e sostegno tra pari sono programmati e applicati. Il tasso di abbandono su questo account è del 21% annualizzato contro il 70% precedente del cliente, e il cliente attribuisce il miglioramento della qualità delle decisioni principalmente all'anzianità.
Precisione e richiamo del classificatore in lingua spagnola
Risultati
La precisione del classificatore è salita dal 72,0% al 94,0% e il richiamo dal 61,4% al 93,1% in sei cicli di riaddestramento. Il miglioramento della precisione ha ridotto le rimozioni ingiustificate, la fonte delle critiche pubbliche alla piattaforma. Il tempo mediano dalla segnalazione all'intervento è sceso da 45 minuti a 4 minuti, mantenuto durante i picchi perché il triage IA assorbe il volume di routine che in precedenza si accodava dietro i casi ambigui. L'abbandono dei moderatori è sceso da oltre il 70% al 21%, e l'accuratezza delle decisioni rispetto alla revisione dei responsabili trust and safety è salita dal 79% al 96%.
Valore duraturo
Il corpus di addestramento annotato per regione e la tassonomia dei codici di ragionamento sono di proprietà del cliente e sosterranno lo sviluppo del classificatore in modo indipendente da qualsiasi fornitore. Il quadro per il benessere è stato adottato come standard di Corpshore Colombia per gli account che gestiscono contenuti disturbanti. L'incarico si è esteso alla moderazione in portoghese brasiliano e al red-teaming delle funzioni di contenuto generativo del cliente.
Indicatori chiave
| Metrica | Punto di partenza | Mese 12 | Variazione |
|---|---|---|---|
| Precisione del classificatore | 72.0% | 94.0% | +22.0 pts |
| Richiamo del classificatore | 61.4% | 93.1% | +31.7 pts |
| Tempo mediano all'intervento di moderazione | 45 min | 4 min | -91% |
| Accuratezza delle decisioni dei moderatori | 79% | 96% | +17 pts |
| Abbandono dei moderatori, annualizzato | > 70% | 21% | -70% |
| Ricorsi per rimozione ingiustificata accolti | 18% | 3% | -83% |
| Contenuti revisionati al giorno | n/a | n/a | +235% |
Quando una metrica ha rivelato solo una variazione, le cifre assolute sono mostrate con un trattino. Le cifre sono riportate dal cliente o misurate in modo congiunto.
Avevamo trattato l'abbandono come un problema delle risorse umane e la qualità come un problema di formazione. Erano lo stesso problema. Una volta che i moderatori restavano oltre un anno, la qualità delle decisioni si sistemava da sola.
Temi correlati