Erreur mineure, Catastrophe majeure - GitLab est déconnecté d'un jour

GitLab, une start-up qui est une alternative au très populaire GitHub, a connu une journée assez difficile récemment, car une erreur humaine a provoqué la panne de l'ensemble du site pendant une journée complète .

Le problème de GitLab a commencé lorsque le site Web a rencontré des problèmes de temps de chargement et de stabilité . Le site Web a été mis hors ligne afin de rectifier les problèmes. Cependant, lors de la maintenance, quelqu'un a involontairement fait l'erreur de supprimer accidentellement un répertoire contenant 300 Go de données de production en direct .

Heureusement pour GitLab, le contenu qui a été supprimé n'a affecté que les problèmes et les demandes fusionnées . Les dépôts et les wikis n'ont pas été affectés par cette erreur, ce qui signifie que les dommages causés par cette erreur n'étaient pas aussi graves qu'ils auraient pu l'être.

Avec le répertoire supprimé, le personnel GitLab se tourne immédiatement vers sa sauvegarde. Malheureusement pour eux, GitLab a rencontré un autre problème . Selon le fichier Google Doc constamment mis à jour à mesure que GitLab peine à revenir en ligne, les 5 techniques de sauvegarde / réplication que le site Web a déployées n'ont pas fonctionné de manière fiable et, dans certains cas, n'ont jamais été configurées .

Récupérer ces fichiers perdus à partir du cloud n'est pas une option pour GitLab non plus car le démarrage a décidé à la fin de l'année dernière de vider le nuage afin de construire et d'exploiter ses propres clusters Ceph à la place . Inutile de dire que GitLab reconsidère maintenant sa position sur ce sujet particulier.

@TheRegister @gitlab travaillera à rendre l'application plus performante et à explorer d'autres fournisseurs d'hébergement cloud.

- Connor Shea (@connorjshea) 1er février 2017

Malgré le jour tumultueux que GitLab a eu, le site est maintenant opérationnel comme d'habitude. Alors que le site Web a rapporté que certaines données ont été perdues au cours d'une période de six heures, les dépôts Git ont été laissés indemnes pendant toute la durée de l'épreuve. Un journal complet des incidents de l'ensemble de l'événement peut être consulté ici.

Bien que de nombreuses leçons puissent être tirées de la petite erreur de GitLab (principalement de l'orgueil), la méthode de GitLab pour gérer la crise est plutôt admirable car le démarrage était clair et transparent avec ses utilisateurs . En espérant que GitLab apprenne de cette erreur. Sinon, sa base d'utilisateurs serait probablement moins indulgente si l'histoire se répète.

Source: Le registre