Le jour où la cuisine brûle
Une grande maison ne se mesure pas à un bon service. Elle se mesure à ce qu'elle tient tous les soirs, pendant des années, y compris les soirs où tout va mal. Le soir où le piano tombe en panne et où l'on finit sur deux plaques. Le soir où une table cherche querelle. Le jour où la cuisine brûle, et où il faut savoir si l'on rouvre ailleurs dans une semaine ou jamais.
Trois choses font cette tenue. Une cuisine qui se défend pendant le service, sans attendre le lendemain. Un plan pour continuer quand une partie de l'outil a disparu. Et des promesses claires, à la brigade comme aux clients, sur ce qu'on garantit et ce qu'on ne garantit pas.
Ce billet ferme le domaine Exploitation avec ces trois sujets : la protection à l'exécution, la continuité d'activité, et les engagements de niveau de service. Le cas réel est un incendie : celui qui a détruit un centre de données à Strasbourg en mars 2021.
Se défendre pendant le service : la protection à l'exécution
Tout ce qui précède dans cette série cherche à livrer un logiciel sans faille. Aucun ne l'est. La protection à l'exécution part de ce constat : elle agit pendant que le logiciel tourne, pour bloquer ou limiter l'exploitation d'une faille qu'on n'a pas encore trouvée ou pas encore corrigée.
Elle prend plusieurs formes, à différentes distances du code.
| Mécanisme | Où il agit | Ce qu'il bloque | Sa limite |
|---|---|---|---|
| Pare-feu applicatif | Devant l'application, sur le trafic web | Les motifs d'attaque connus : injections, chemins suspects | Il ne connaît pas la logique métier, et se contourne |
| Limitation de débit et quotas | À la passerelle | L'abus de volume, l'aspiration, la force brute | Il faut des seuils adaptés à l'usage réel |
| Protection intégrée à l'application | Dans le processus, autour des appels sensibles | Une injection qui atteint vraiment l'interpréteur | Un composant de plus à maintenir, un coût en performance |
| Durcissement du système | Dans le noyau et le système d'exploitation | L'exécution de code inattendu, l'accès à des fichiers interdits | Des règles à ajuster à chaque application |
| Surveillance des conteneurs à l'exécution | Sur l'hôte | Un shell lancé dans un conteneur qui n'en a pas besoin, un binaire inattendu | Une détection plus qu'un blocage, sauf réglage strict |
| Bac à sable | Autour d'un composant à risque | Ce qu'un composant compromis peut atteindre | Une architecture à prévoir dès la conception |
Trois règles guident leur usage.
Ce sont des filets, pas des corrections. Le billet P15 le disait des mesures compensatoires : une règle de pare-feu applicatif qui bloque l'exploitation d'une faille donne du temps pour la corriger. Elle ne dispense pas de le faire, et elle a une date de fin.
Ils se testent comme le reste. Une règle de blocage mal écrite bloque des clients légitimes, ou ne bloque rien. Elle se vérifie avec des cas positifs et négatifs, comme au billet P17.
Ils sont eux-mêmes des composants à risque. Un équipement de protection qui tombe peut tout bloquer ou tout laisser passer. Son mode d'échec se décide à l'avance. Et un outil qui s'exécute au cœur du système peut faire tomber le système : le cas CrowdStrike du billet P17 en était l'exemple.
La figure 1 reprend la première règle.
- Une règle de pare-feu applicatif bloque l'exploitation d'une faille
- Elle donne du temps pour corriger la faille
- La règle ne dispense pas de corriger la faille
- La règle a une date de fin
En cuisine, c'est le chef de rang qui repère le client qui commande dix fois le même plat pour le revendre, et qui l'arrête avant que la cuisine ne s'en aperçoive. Il ne corrige pas la carte. Il protège le service ce soir.
Continuer : ce qu'on doit pouvoir faire quand tout s'arrête
La continuité d'activité répond à une question simple : si ce système disparaît, que fait l'organisation, et en combien de temps repart-elle ? La cause importe peu à ce stade : une panne, une erreur, une attaque, un incendie. Le plan doit fonctionner dans tous les cas.
Il commence par une analyse d'impact, qui part du métier et non de la technique. Pour chaque activité, on se demande combien de temps on peut s'en passer et combien de données on peut perdre.
| Grandeur | La question | Ce qu'elle décide |
|---|---|---|
| Durée maximale d'interruption admissible | Au bout de combien de temps l'arrêt devient-il inacceptable ? | La vitesse de reprise à viser |
| Objectif de temps de reprise | En combien de temps s'engage-t-on à repartir ? | L'architecture de secours : site actif, site de reprise, reconstruction |
| Objectif de perte de données maximale | Combien de données, mesurées en temps, peut-on perdre ? | La fréquence des sauvegardes ou la réplication |
Ces chiffres se fixent avec le métier. Une reprise en une heure sans perte de données coûte beaucoup plus cher qu'une reprise en une semaine avec une journée de perte. Le bon chiffre est celui que le métier accepte de payer, et il se calcule avec la méthode du billet P6.
Le plan qui en découle repose sur quatre piliers.
Des sauvegardes réellement séparées. Une règle classique tient en trois chiffres : trois copies des données, sur deux supports différents, dont une hors du site. On y ajoute aujourd'hui une copie qu'un attaquant ne peut ni modifier ni effacer, même avec des droits d'administration, parce que les rançongiciels visent d'abord les sauvegardes. Le point décisif est le mot « hors du site » : une sauvegarde dans le même bâtiment disparaît avec lui.
Des sauvegardes restaurées. Une sauvegarde qu'on n'a jamais restaurée est une hypothèse. On restaure régulièrement, en entier, dans un environnement séparé, et on mesure le temps que cela prend. C'est ce temps-là qui doit tenir dans l'objectif de reprise.
La figure 2 suit ces deux premiers piliers.
- Une copie part hors du site : une sauvegarde dans le même bâtiment disparaît avec lui
- On restaure régulièrement, en entier, dans un environnement séparé
- On mesure le temps que cela prend
- C'est ce temps-là qui doit tenir dans l'objectif de reprise
Une séparation géographique réelle. Deux salles dans le même bâtiment, ou deux bâtiments sur le même site, partagent beaucoup de risques : l'alimentation électrique, l'accès, le feu, l'eau. La séparation se mesure à ce que les deux lieux ont en commun, pas à la distance sur la carte.
Des exercices. On déroule le plan, en vrai ou sur table, au moins une fois par an. Le billet P13 montrait une entreprise dont les exercices de panne majeure avaient rendu la reprise plus sûre.
La figure 3 met ces étapes en boucle.
durée et perte admissibles"] --> S["Stratégie
sauvegarde, réplication, site de secours"] S --> P["Plan écrit
rôles, étapes, contacts"] P --> X["Exercice
restauration réelle, chronométrée"] X e1@-->|"écarts"| S X --> M["Plan à jour"] e1@{ animate: true }
- Les écarts relevés à l'exercice reviennent à la stratégie
Une précision pour le cloud. Un fournisseur garantit en général la disponibilité de son infrastructure, pas la sauvegarde de tes données. La responsabilité partagée du billet P11 s'applique ici dans toute sa rigueur : sauf offre explicitement souscrite, sauvegarder tes données, et les sauvegarder ailleurs, est ton travail. La série Le Port du blog y revient.
Promettre : SLO et SLA
Le dernier objectif du domaine porte sur les engagements de niveau de service. Trois sigles, souvent confondus, désignent trois choses distinctes.
| Sigle | Ce que c'est | À qui il s'adresse | Exemple |
|---|---|---|---|
| SLI | Un indicateur mesuré | À l'équipe | La part des requêtes servies en moins de 300 millisecondes |
| SLO | Un objectif interne sur cet indicateur | À l'équipe et à sa direction | 99,9 % des requêtes sur 30 jours |
| SLA | Un engagement contractuel, avec des conséquences | Au client | 99,5 % de disponibilité par mois, sinon un avoir |
L'objectif interne est toujours plus exigeant que l'engagement contractuel. L'écart entre les deux est la marge qui permet de détecter une dégradation et de réagir avant de manquer au contrat.
Un objectif de 99,9 % sur trente jours laisse environ quarante-trois minutes d'indisponibilité par mois. Cette marge est un budget. Tant qu'il en reste, l'équipe peut livrer et prendre des risques. Quand il est épuisé, elle se concentre sur la fiabilité jusqu'à ce qu'il se reconstitue. La règle transforme un débat d'opinion entre vitesse et stabilité en décision chiffrée.
La figure 4 dessine cette règle, avec les chiffres de l'exemple.
exemple : 99,9 % sur trente jours"] --> B["Budget
environ quarante-trois minutes d'indisponibilité par mois"] B --> Q{"Reste-t-il du budget ?"} Q -->|"il en reste"| L["L'équipe peut livrer et prendre des risques"] Q -->|"il est épuisé"| F["L'équipe se concentre sur la fiabilité"] F -.->|"jusqu'à ce qu'il se reconstitue"| B class B focus
- La marge, comptée comme un budget
La sécurité entre dans ces engagements de trois façons.
Elle consomme du budget. Un correctif urgent déployé en dehors du calendrier, une règle de protection qui bloque trop, une rotation de clés qui interrompt un service : tout cela compte. Mieux vaut le savoir et le prévoir.
Elle a ses propres engagements. Les contrats avec les clients et les fournisseurs contiennent de plus en plus d'engagements de sécurité : un délai de notification d'incident, un délai de correction des failles critiques, un droit d'audit. Ce sont des niveaux de service, et ils se mesurent comme les autres. Le billet P9 les rangeait parmi les exigences fournisseurs.
Elle protège les engagements des autres. Une attaque par saturation est une attaque contre un SLA. Les quotas et la protection à l'exécution servent aussi à tenir la disponibilité promise.
Un dernier point, souvent mal compris par les clients.
Le niveau de service contractuel et la continuité d'activité sont deux sujets différents, et le second reste à la charge de chacun.
En cuisine, le SLI est le temps entre la commande et l'envoi. Le SLO est l'objectif que le chef fixe à la brigade : vingt minutes pour un plat principal. Le SLA est ce qu'on promet au client qui réserve un déjeuner d'affaires : servi en une heure, sinon le dessert est offert. Le dessert offert ne rend pas l'heure perdue au client.
Scénario : Strasbourg, nuit du 9 au 10 mars 2021, ou le campus qui a brûlé
Dans la nuit du 9 au 10 mars 2021, un incendie se déclare dans le centre de données SBG2 de l'hébergeur OVHcloud, sur le port de Strasbourg. Le Bureau d'enquêtes et d'analyses sur les risques industriels, le BEA-RI, publie son rapport le 24 mai 2022. Il porte sur le bâtiment et les installations électriques, pas sur les données des clients.
L'alarme se déclenche à 0 h 35. Le feu prend presque simultanément dans deux locaux techniques du rez-de-chaussée, un local de batteries et un local d'onduleurs. La cause exacte n'est pas établie à la date du rapport : une expertise judiciaire est en cours, et le BEA-RI se limite à des hypothèses, parmi lesquelles de l'humidité près d'un système de refroidissement, une intervention de maintenance sur un onduleur le matin même, et un fonctionnement hors des plages normales.
Le bâtiment était conçu pour refroidir les serveurs avec l'air extérieur, grâce à des façades ouvertes. Cette conception a facilité la circulation de l'air et des fumées. En quinze minutes, la fumée atteint les détecteurs de tous les étages. Vers deux heures, le bâtiment entier est embrasé.
Couper l'électricité prend du temps. Les pompiers demandent la coupure à 0 h 58. OVH coupe les alimentations de secours de SBG2 à 1 h 13. Le site n'est considéré comme sûr pour l'arrosage qu'autour de 2 h 30.
Le rapport attribue ce délai à l'absence d'un organe de coupure général facilement accessible, à des postes de transformation proches du feu, à des groupes électrogènes qui redémarrent automatiquement et à des batteries capables d'alimenter les installations une vingtaine de minutes. Le feu est maîtrisé à 6 h 45 et éteint à 10 h 02.
La figure 5 reprend la nuit dans l'ordre des heures.
- À 0 h 35, l'alarme se déclenche : le feu prend dans un local de batteries et un local d'onduleurs
- En quinze minutes, la fumée atteint les détecteurs de tous les étages
- À 0 h 58, les pompiers demandent la coupure
- À 1 h 13, OVH coupe les alimentations de secours de SBG2
- Vers deux heures, le bâtiment entier est embrasé
- Le site n'est considéré comme sûr pour l'arrosage qu'autour de 2 h 30
- Le feu est maîtrisé à 6 h 45 et éteint à 10 h 02
La détection a bien fonctionné : le personnel a été évacué sans victime. Le bâtiment voisin SBG1 est fortement touché. SBG3, protégé par un mur coupe-feu, l'est moins. Au plus fort de l'incident, environ 3,6 millions de sites web, soit 464 000 noms de domaine, sont indisponibles.
La figure 6 place les trois bâtiments côte à côte.
perdu en entier"] SBG1["SBG1, bâtiment voisin
fortement touché"] SBG3["SBG3, protégé par un mur coupe-feu
moins touché"] SBG2 --- SBG1 SBG2 --- SBG3 class SBG2 risque class SBG3 sain
- Bâtiment perdu en entier
- Protégé par un mur coupe-feu
Le rapport ne traite pas des sauvegardes ni de la reprise des données. C'est pourtant la question que se sont posée, ce matin-là, des milliers de clients : où étaient mes sauvegardes, et sont-elles encore là ? Une action collective de clients a été engagée contre l'hébergeur.
Relisons l'incident avec ce billet. Les deux premières lignes concernent l'hébergeur. Les trois suivantes concernent chacun de ses clients, et c'est là que se trouve la leçon pour qui conçoit un logiciel.
| Sujet de ce billet | Ce que montre le cas | La question à se poser chez soi |
|---|---|---|
| Mode d'échec sûr | Des alimentations de secours qui redémarrent seules pendant l'incendie | Nos mécanismes automatiques savent-ils s'arrêter quand il le faut ? |
| Cloisonnement | Un bâtiment perdu en entier, un second touché, un troisième protégé par un mur coupe-feu | Qu'est-ce qui sépare vraiment nos deux sites ? |
| Sauvegarde hors site | Le rapport ne dit rien des sauvegardes ; les clients se sont posé la question | Nos sauvegardes sont-elles dans un autre bâtiment, sur un autre site, chez un autre fournisseur ? |
| Objectif de reprise | Des millions de sites indisponibles en même temps | Combien de temps nous faudrait-il pour repartir ailleurs, et l'a-t-on mesuré ? |
| SLA et continuité | Un engagement de disponibilité ne reconstruit pas des données perdues | Notre continuité repose-t-elle sur nous, ou sur un contrat ? |
La troisième ligne est le cœur du cas pour ce billet. Un site entier peut disparaître en une nuit. Ce n'est ni une hypothèse d'école ni une erreur de configuration : c'est un incendie, et il ne demande la permission de personne. Une sauvegarde rangée sur le même campus que les serveurs protège contre une panne de disque. Elle ne protège pas contre ce qui arrive au campus.
La première ligne rejoint le billet P13. Des groupes électrogènes qui redémarrent automatiquement sont une excellente règle de disponibilité. Pendant un incendie, la même règle maintient le courant là où les pompiers ont besoin qu'il soit coupé. Un comportement sûr dans un scénario devient dangereux dans un autre, et c'est le travail de la conception de les envisager tous les deux.
La dernière ligne, enfin, rappelle ce que vaut un SLA. Il dit ce que l'on rembourse. Il ne dit pas ce que l'on sauve. La continuité d'un service reste la responsabilité de celui qui l'exploite, quel que soit l'hébergeur.
Testez-vous
Que fait une règle de pare-feu applicatif qui bloque l'exploitation d'une faille ?
Elle donne du temps pour corriger la faille. Elle ne dispense pas de le faire, et elle a une date de fin.
À quoi se mesure la séparation entre deux sites ?
À ce que les deux lieux ont en commun : l'alimentation électrique, l'accès, le feu, l'eau. Pas à la distance sur la carte.
Que définit un SLA de disponibilité ?
Ce qu'on rembourse en cas de manquement. Il ne garantit pas que le service sera disponible, ni que les données survivront.
Points clés
- La protection à l'exécution bloque ou limite l'exploitation pendant que le logiciel tourne. Elle achète du temps, elle ne remplace pas la correction.
- La continuité part d'une analyse d'impact menée avec le métier : durée d'interruption admissible, objectif de reprise, perte de données admissible.
- Une sauvegarde vaut par sa séparation réelle et par sa restauration testée. Une copie doit résister à un administrateur compromis.
- La séparation entre deux sites se mesure à ce qu'ils ont en commun.
- SLI mesure, SLO vise, SLA engage. La marge entre SLO et SLA est un budget qui arbitre entre vitesse et stabilité.
- Un SLA dit ce qu'on rembourse, pas ce qu'on sauve. La continuité reste à la charge de celui qui exploite.
Dans la série
Palier 3 : Assurer le service. Domaine : Exploitation.
- Précédent : Supervision, incidents, correctifs : tenir un logiciel en production
- Suivant : Risque fournisseur et logiciels tiers : évaluer, exiger, attester
- Vue d'ensemble : Sécurité du cycle de vie logiciel : par où commencer dans La Brigade
Pour aller plus loin
- CSSLP Certification Exam Outline, ISC2 : objectifs 7.11 à 7.13.
- Rapport d'enquête sur l'incendie au sein du stockage de données OVH situé à Strasbourg le 10 mars 2021, BEA-RI, 24 mai 2022.
- Le Port, la série Cloud de ce blog.