Automatisation QA et ingénierie de livraison pour une plateforme SaaS B2B des États-Unis

Le client est une entreprise de logiciels B2B dont le siège est à Boston, fournissant une plateforme d'automatisation des flux de travail à des clients du marché intermédiaire et grands comptes en Amérique du Nord. Au démarrage du projet, l'entreprise affichait environ 68 millions USD de revenu récurrent annuel à la suite d'un tour de série C, avec une organisation d'ingénierie de 82 personnes. Son plan de croissance exigeait une augmentation sensible de la vélocité de livraison sans augmentation correspondante des incidents en production.

La vélocité de livraison était devenue la contrainte déterminante de la feuille de route. L'entreprise livrait environ 3,4 livraisons en production par mois contre un objectif de livraisons hebdomadaires par équipe. Le goulot d'étranglement était un cycle de régression manuel consommant cinq à sept jours avant chaque livraison. L'automatisation des tests existait mais n'inspirait pas confiance. La couverture s'établissait à environ 35 % et la suite portait un taux d'instabilité assez élevé pour que les ingénieurs relancent les échecs plutôt que de les investiguer, de sorte que de véritables échecs étaient parfois écartés. Une suite qui n'inspire pas confiance est pire qu'aucune, car elle consomme du temps tout en offrant une fausse assurance.

Les défauts échappés augmentaient avec le volume de livraisons, avec six défauts critiques et dix-huit défauts de forte gravité échappés au cours du trimestre précédant le projet, plusieurs atteignant des clients grands comptes.

Le recrutement n'avait pas résolu le problème. Les ingénieurs en automatisation QA de Boston exigeaient une rémunération que l'entreprise avait du mal à justifier face aux embauches de fonctionnalités, et deux recrues QA avaient toutes deux basculé vers des équipes de fonctionnalités en quelques mois.

Le client a retenu Corpshore Colombia principalement pour le fuseau horaire et le talent. Medellín est une plaque tournante technologique reconnue dotée d'une solide base d'ingénierie, et le QA et l'ingénierie de livraison sont des fonctions intensives en collaboration où le client avait conclu, d'après une expérience offshore antérieure, que la transmission asynchrone, et non la compétence, était la cause racine de l'échec. Corpshore a proposé de traiter le projet comme un transfert de capacité plutôt qu'une location de capacité, s'engageant à laisser au client une suite de tests éprouvée et documentée ainsi qu'un processus de livraison que ses propres ingénieurs pourraient exploiter, avec des jalons définis de transfert de connaissances. Le responsable proposé par Corpshore a passé deux jours avec l'équipe plateforme du client et a identifié le taux d'instabilité plutôt que la couverture comme le problème principal, recadrant la compréhension du client.

Vingt-deux ingénieurs à Medellín : deux responsables techniques, six seniors, dix intermédiaires et quatre juniors, couvrant l'automatisation QA, le DevOps et l'ingénierie de livraison. L'équipe travaille de 09 h 00 à 18 h 00 heure de l'Est des États-Unis, le même horaire que Boston, rejoignant les réunions quotidiennes en direct. Pile technologique : TypeScript, Playwright, Jest, GitHub Actions, Terraform, AWS, Datadog. Tous les ingénieurs sont dédiés au compte.

Corriger l'instabilité avant d'ajouter de la couverture. Les huit premières semaines ont porté sur la fiabilité de la suite plutôt que sur la couverture, au motif qu'ajouter des tests à une suite non fiable aggrave le problème. Le taux d'instabilité est tombé de 32 % à moins de 3 % avant que le travail de couverture ne commence. La couverture là où est le risque. L'extension de la couverture a été priorisée par l'historique des incidents en production et le taux de modification du code plutôt que par module, concentrant l'effort là où les défauts échappés étaient réellement apparus.

Infrastructure de livraison progressive. Les indicateurs de fonctionnalité et l'infrastructure de livraison canari ont découplé les livraisons des déploiements et permis le retour arrière sans un cycle de livraison complet, ce qui a permis à la fréquence de s'élever sans une hausse correspondante de la gravité des incidents.

Transfert de connaissances documenté. Quatre jalons de transfert définis avec documentation et validation du client garantissent que la propre équipe du client peut exploiter le pipeline.

Fréquence de livraison

Les livraisons en production sont passées de 3,4 par mois à 24,6 au mois 12, dépassant l'objectif hebdomadaire par équipe. Le cycle de régression manuel est tombé de cinq à sept jours à moins de quatre heures. Les défauts échappés ont baissé sur chaque bande de gravité malgré l'augmentation du volume, les critiques passant de six par trimestre à un et ceux de forte gravité de dix-huit à quatre.

La couverture des tests est passée de 35 % à 87 % avec un taux d'instabilité maintenu sous 3 %, et les propres ingénieurs du client étendent désormais la suite de façon autonome, l'objectif déclaré de transfert de capacité.

La suite de tests, le pipeline de livraison et l'infrastructure de livraison progressive appartiennent au client et sont exploités conjointement. Les quatre jalons de transfert de connaissances ont été menés à terme. Le client a étendu le projet à l'ingénierie de fiabilité de la plateforme, ce que son vice-président décrit comme un choix plutôt qu'une dépendance.