Automatización de QA e ingeniería de entregas para una plataforma SaaS B2B de Estados Unidos

El cliente es una empresa de software B2B con sede en Boston que provee una plataforma de automatización de flujos de trabajo a clientes de mercado medio y empresariales en Norteamérica. Al inicio del compromiso, la empresa tenía aproximadamente USD 68 millones en ingresos recurrentes anuales tras una ronda Serie C, con una organización de ingeniería de 82 personas. Su plan de crecimiento requería un aumento significativo en la velocidad de entrega sin un aumento correspondiente en los incidentes de producción.

La velocidad de entrega se había convertido en la restricción vinculante de la hoja de ruta. La empresa publicaba aproximadamente 3.4 versiones de producción por mes frente a un objetivo de versiones semanales por equipo. El cuello de botella era un ciclo de regresión manual que consumía de cinco a siete días antes de cada versión. La automatización de pruebas existía pero no era confiable. La cobertura se situaba en aproximadamente 35% y la suite tenía una tasa de intermitencia lo bastante alta como para que los ingenieros reejecutaran las fallas en lugar de investigarlas, por lo que a veces se descartaban fallas genuinas. Una suite en la que no se confía es peor que ninguna, porque consume tiempo mientras brinda una garantía falsa.

Los defectos escapados aumentaban con el volumen de versiones, con seis defectos escapados críticos y dieciocho de severidad alta en el trimestre anterior al compromiso, varios llegando a clientes empresariales.

La contratación no lo había resuelto. Los ingenieros de automatización de QA de Boston exigían una compensación que la empresa consideraba difícil de justificar frente a las contrataciones de funcionalidades, y dos contrataciones de QA se habían transferido ambas a equipos de funcionalidades en cuestión de meses.

El cliente seleccionó a Corpshore Colombia principalmente por la zona horaria y el talento. Medellín es un hub tecnológico reconocido con una sólida base de ingeniería, y QA e ingeniería de entregas son funciones intensivas en colaboración donde el cliente había concluido, a partir de una experiencia offshore previa, que la entrega asincrónica, y no la habilidad, era la causa raíz del fracaso. Corpshore propuso tratar el compromiso como transferencia de capacidad en lugar de alquiler de capacidad, comprometiéndose a dejar al cliente con una suite de pruebas confiable y documentada y un proceso de entrega que sus propios ingenieros pudieran operar, con hitos de transferencia de conocimiento definidos. El líder propuesto por Corpshore pasó dos días con el equipo de plataforma del cliente e identificó la tasa de intermitencia, y no la cobertura, como el problema principal, replanteando el entendimiento del cliente.

Veintidós ingenieros en Medellín: dos líderes técnicos, seis senior, diez semisenior y cuatro junior, abarcando automatización de QA, DevOps e ingeniería de entregas. El equipo trabaja de 09:00 a 18:00 hora del Este de EE. UU., el mismo horario que Boston, uniéndose a los standups en vivo. Stack: TypeScript, Playwright, Jest, GitHub Actions, Terraform, AWS, Datadog. Todos los ingenieros están dedicados a la cuenta.

Corregir la intermitencia antes de agregar cobertura. Las primeras ocho semanas abordaron la confiabilidad de la suite en lugar de la cobertura, sobre la base de que agregar pruebas a una suite no confiable agrava el problema. La tasa de intermitencia cayó de 32% a menos de 3% antes de que comenzara el trabajo de cobertura. Cobertura donde está el riesgo. La expansión de cobertura se priorizó por el historial de incidentes de producción y la rotación de código en lugar de por módulo, concentrando el esfuerzo donde los defectos escapados habían originado realmente.

Infraestructura de entrega progresiva. Los feature flags y la infraestructura de versión canary desacoplaron las versiones de los despliegues y permitieron el rollback sin un ciclo completo de versión, lo que dejó subir la frecuencia sin un aumento correspondiente en la severidad de los incidentes.

Transferencia de conocimiento documentada. Cuatro hitos de transferencia definidos con documentación y aprobación del cliente aseguran que el propio equipo del cliente pueda operar el pipeline.

Frecuencia de versiones

Las versiones de producción subieron de 3.4 por mes a 24.6 al mes 12, superando el objetivo semanal por equipo. El ciclo de regresión manual cayó de cinco a siete días a menos de cuatro horas. Los defectos escapados cayeron en cada banda de severidad a pesar del aumento de volumen, con los críticos cayendo de seis por trimestre a uno y los de severidad alta de dieciocho a cuatro.

La cobertura de pruebas subió de 35% a 87% con la tasa de intermitencia mantenida por debajo del 3%, y los propios ingenieros del cliente ahora extienden la suite de forma independiente, el objetivo declarado de transferencia de capacidad.

La suite de pruebas, el pipeline de entregas y la infraestructura de entrega progresiva son propiedad del cliente y se operan de forma conjunta. Los cuatro hitos de transferencia de conocimiento se completaron. El cliente ha extendido el compromiso a la ingeniería de confiabilidad de plataforma, que su VP describe como una elección y no una dependencia.