Engenharia de plataforma e confiabilidade para uma fintech latino-americana

O cliente é uma fintech latino-americana que opera uma plataforma financeira digital em vários países, sediada na região com uma organização de engenharia distribuída. Sua plataforma processa pagamentos e transações financeiras em escala, em que disponibilidade e confiabilidade são existenciais e não apenas importantes.

A disponibilidade da plataforma da fintech estava em 97,2%, o que, para uma plataforma de pagamentos, representa uma quantidade inaceitável de indisponibilidade. Cada minuto em que a plataforma fica indisponível são transações que falham e confiança que se erode, e o crescimento acelerado da empresa estava ultrapassando a confiabilidade de sua infraestrutura. A organização de engenharia estava consumida pela resposta a incidentes e não tinha capacidade para melhorar a plataforma. Toda iniciativa de confiabilidade no ano anterior havia sido abandonada no meio do caminho quando a carga de incidentes reclamou a equipe, um padrão familiar e corrosivo. A implantação era lenta e arriscada. Sem infraestrutura de entrega progressiva, cada release carregava risco de plataforma inteira, o que levava a equipe a entregar com pouca frequência, o que tornava cada release maior e mais arriscada, um problema que se autorreforça. A fintech havia tentado contratar engenheiros sêniores de plataforma e confiabilidade em seus mercados e descobriu que o perfil era escasso e caro, e seus próprios engenheiros estavam sendo puxados para o trabalho de funcionalidades pela pressão de produto.

A Corpshore Colombia propôs um projeto de duas frentes, uma frente de operação estabilizando a plataforma e uma frente de construção erguendo a infraestrutura de confiabilidade e entrega, com a frente de construção contratualmente isolada da resposta a incidentes para que não pudesse ser consumida pelo combate a incêndios, o que havia matado as tentativas internas anteriores da fintech.

Bogotá colocou a equipe no centro financeiro e de engenharia do país, no relógio do cliente, e a experiência da Corpshore com plataformas financeiras reguladas e sua postura de segurança importavam para um ambiente de pagamentos.

Vinte engenheiros em Bogotá: dois líderes técnicos, sete sêniores, nove plenos e dois juniores, divididos entre uma frente de operação e uma frente de construção isolada. A cobertura de operação é de 24 horas para incidentes críticos; a frente de construção trabalha em horário padrão e é contratualmente protegida da resposta a incidentes. Stack: Kubernetes, Terraform, AWS, Go, Python, Prometheus, Grafana, com a plataforma existente do cliente.

Estabilizar por causa, não por chamado. A resposta a incidentes passou do combate a incêndios para a eliminação de causas, com cada incidente crítico produzindo um registro de causa raiz e uma ação preventiva. A curva de disponibilidade reflete a eliminação de causas e não uma recuperação mais rápida. Construção de confiabilidade isolada. A frente de construção ergueu a infraestrutura de observabilidade, entrega progressiva e autoatendimento, protegida da carga de incidentes, que é a única razão pela qual ela sobreviveu para entregar onde as tentativas anteriores da fintech não haviam entregado. Entrega progressiva. Feature flags, implantações canário e rollback automatizado desacoplaram o release do risco, permitindo implantação frequente e segura. Transferência de conhecimento documentada. A infraestrutura e os runbooks são construídos em um padrão que os próprios engenheiros do cliente operam, com marcos de transferência definidos.

Disponibilidade da plataforma central

A disponibilidade da plataforma central subiu de 97,2% para 99,87% até o mês 12, reduzindo a indisponibilidade mensal de cerca de vinte horas para menos de uma, em uma plataforma de pagamentos onde essa diferença é existencial. O tempo médio de resolução de incidentes críticos caiu de mais de onze horas para 0,7 hora, e a frequência de incidentes críticos caiu à medida que a eliminação de causas se firmou. Os próprios engenheiros da fintech foram devolvidos ao trabalho de funcionalidades à medida que a plataforma se estabilizava, e a frequência de implantação subiu para semanal ou mais por equipe.

A infraestrutura de observabilidade e entrega progressiva é de propriedade do cliente e operada pelos engenheiros da fintech. O modelo isolado de duas frentes tornou-se o template do cliente para trabalho de infraestrutura. A Corpshore Colombia estendeu o projeto para a engenharia de segurança da plataforma.