Bonjour à tous,

Afin de vous permettre d'avoir un suivi détaillé sur l'incident causant une indisponibilité au niveau des fichiers (images, musiques, documents, etc ...), j'ai pris la décision d'ouvrir ce fil de discussion afin de vous permettre d'avoir un suivi détaillé sur l'incident en cours !

Le 26 octobre 2015, nous avons commencé à migrer l'ensemble des fichiers de la plateforme vers un nouveau cluster de stockage afin d'augmenter massivement la capacité de stockage et surtout remplacer des machines qui comment à avoir de l'âge (le but étant de remplacer avant que ça casse).

Dans la nuit du 31/10 au 01/11, la migration des données s'est terminée et le cluster est entré en service.

Le 01/11, le nouveau cluster lisse les données afin de répartir les données sur les différents serveurs à sa disposition afin d'éviter la saturation d'un des disques du cluster. Cette opération non contournable monopolise l'ensemble des ressources et rend l'accès des données quasi impossible.

Le 01/11 à 19h, la répartition des données (appelée aussi lissage) est terminée. Au même moment, nous subissons une attaque réseau ralentissant considérablement la plateforme.

Le 01/11 à 22h30, un souci technique est diagnostiqué sur le nouveau cluster. Celui-ci peine à gérer toutes les requêtes de lectures/écritures des documents. Le problème est suivi durant la nuit.

Le 02/11 à 08h, l'ensembles des historiques (logs) et statistiques de performance sont épluchés afin d'arriver à une conclusion et prendre les mesures qui s'imposent. 

Le 02/11 à 10h30, la décision d'ajouter de nouvelles machines supplémentaires est prise afin de pouvoir gérer le flux de requêtes. Malheureusement, le stock de nouvelles machines n'est pas suffisant.

Le 02/11 à 11h15, après accord avec notre fournisseur serveur, nous récupérons une grosse partie de nos anciennes machines afin de les ajouter au nouveau cluster dans le but de réguler le flux de données.

Le 02/11 à 11h30, les opérations d'ajout des anciennes machines sont débutées.

Le 02/11 à 11h45, notre fournisseur livre la dernière machine nouvelle génération qu'il possède en stock.

Le 02/11 à 11h50, la nouvelle machine est mise en route et son installation est lancée.

Le 02/11 à 14h, une nouvelle vérification est faite afin de vérifier que les données sont bien là et sans perte. Tout est là, c'est positif !

Le 02/11 à 16h45, l'intégration de nouvelles machines dans le cluster de stockage suit son cours. L'intégration de machines nécessite une coupure du cluster actuel afin de garantir l'intégrité des données et éviter toute perte de données.

Le 02/11 à 18h, la reconstitution du cluster avec les machines supplémentaires suit son cours.

Le 02/11 à 23h, le cluster continue de se réformer sur l'ensemble de machines mises à sa disposition. On va s'accorder 2/3h de sommeil pendant que ça tourne seul.

Le 03/11 à 07h, la nuit a permis d'avancer énormément. Le cluster devrait être opérationnel pour ce soir :-)

Le 03/11 à 18h30 : Le cluster a passé le cap des 50% de regénération. Nous devrions pouvoir le remettre en ligne dans la nuit comme prévue. Dans le pire des cas, ça devrait être pour demain courant de matinée.

Le 04/11 à 00h30 : La dernière phase de réplication des données vient  de se lancer sur les machines. La remise en ligne est prévue entre midi et 14h mais pas avant pour éviter des affichages partiels qui auraient pour aurait pour seul effet de ralentir la mise en ligne complète. Lid fera un petit post avec les détails.

>> Ce message sera édité au fur et à mesure des avancées.

Dernière mise à jour : le 04/11/2015 à 00h45.