Ingénierie de plateforme et fiabilité pour une fintech latino-américaine

Le client est une fintech latino-américaine qui exploite une plateforme financière numérique dans plusieurs pays, dont le siège est dans la région et l'organisation d'ingénierie distribuée. Sa plateforme traite des paiements et des transactions financières à grande échelle, où la disponibilité et la fiabilité sont existentielles plutôt que simplement importantes.

La disponibilité de la plateforme de la fintech s'établissait à 97,2 %, ce qui, pour une plateforme de paiements, représente une durée d'indisponibilité inacceptable. Chaque minute où la plateforme est indisponible, ce sont des transactions qui échouent et de la confiance qui s'érode, et la croissance rapide de l'entreprise dépassait la fiabilité de son infrastructure. L'organisation d'ingénierie était accaparée par la réponse aux incidents et n'avait aucune capacité pour améliorer la plateforme. Chaque initiative de fiabilité de l'année précédente avait été abandonnée en cours de route quand la charge d'incidents reprenait l'équipe, un schéma familier et corrosif. Le déploiement était lent et risqué. Sans infrastructure de livraison progressive, chaque livraison portait le risque de toute la plateforme, ce qui poussait l'équipe à livrer rarement, ce qui rendait chaque livraison plus grosse et plus risquée, un problème qui s'auto-entretenait. La fintech avait tenté de recruter des ingénieurs seniors de plateforme et de fiabilité sur ses marchés et avait trouvé le profil rare et coûteux, et ses propres ingénieurs étaient attirés vers le travail de fonctionnalités par la pression produit.

Corpshore Colombia a proposé un projet à deux voies, une voie d'exploitation stabilisant la plateforme et une voie de construction bâtissant l'infrastructure de fiabilité et de livraison, la voie de construction étant contractuellement protégée de la réponse aux incidents afin de ne pas être absorbée par la lutte contre le feu, ce qui avait tué les tentatives internes antérieures de la fintech.

Bogotá plaçait l'équipe au centre financier et d'ingénierie du pays, sur l'horaire du client, et l'expérience de Corpshore avec les plateformes financières réglementées ainsi que sa posture de sécurité comptaient pour un environnement de paiements.

Vingt ingénieurs à Bogotá : deux responsables techniques, sept seniors, neuf intermédiaires et deux juniors, répartis entre une voie d'exploitation et une voie de construction protégée. La couverture d'exploitation est de 24 heures pour les incidents critiques ; la voie de construction travaille aux heures standard et est contractuellement protégée de la réponse aux incidents. Pile technologique : Kubernetes, Terraform, AWS, Go, Python, Prometheus, Grafana, avec la plateforme existante du client.

Stabiliser par cause, non par ticket. La réponse aux incidents est passée de la lutte contre le feu à l'élimination des causes, chaque incident critique produisant un enregistrement de cause racine et une action préventive. La courbe de disponibilité reflète l'élimination des causes plutôt qu'une récupération plus rapide. Construction de fiabilité protégée. La voie de construction a bâti l'observabilité, la livraison progressive et l'infrastructure en libre-service, protégée de la charge d'incidents, ce qui est la seule raison pour laquelle elle a survécu jusqu'à livrer là où les tentatives antérieures de la fintech avaient échoué. Livraison progressive. Les indicateurs de fonctionnalité, les déploiements canari et le retour arrière automatisé ont découplé la livraison du risque, permettant un déploiement fréquent et sûr. Transfert de connaissances documenté. L'infrastructure et les runbooks sont construits selon une norme que les propres ingénieurs du client exploitent, avec des jalons de transfert définis.

Disponibilité de la plateforme centrale

La disponibilité de la plateforme centrale est passée de 97,2 % à 99,87 % au mois 12, réduisant l'indisponibilité mensuelle d'environ vingt heures à moins d'une, sur une plateforme de paiements où cette différence est existentielle. Le délai moyen de résolution des incidents critiques est tombé de plus de onze heures à 0,7 heure, et la fréquence des incidents critiques a baissé à mesure que l'élimination des causes prenait effet. Les propres ingénieurs de la fintech ont été rendus au travail de fonctionnalités à mesure que la plateforme se stabilisait, et la fréquence de déploiement est montée à une fois par semaine ou mieux par équipe.

L'infrastructure d'observabilité et de livraison progressive appartient au client et est exploitée par les ingénieurs de la fintech. Le modèle à deux voies protégées est devenu le gabarit du client pour le travail d'infrastructure. Corpshore Colombia a étendu le projet à l'ingénierie de sécurité de la plateforme.