La visite avant l'ouverture

Avant qu'un restaurant n'ouvre, des gens viennent le visiter qui ne goûteront jamais rien. Ils cherchent les issues de secours et vérifient qu'elles s'ouvrent dans le bon sens. Ils demandent où se coupe le gaz, et si l'on peut atteindre la vanne quand la cuisine est en feu. Ils regardent la hotte, les extincteurs, la largeur des passages.

Aucune de ces questions ne porte sur la carte. Toutes portent sur ce qui se passe quand quelque chose tourne mal, et sur la possibilité d'intervenir à ce moment-là.

Ce billet ferme le domaine Conception avec trois sujets qui vont ensemble. La revue d'architecture vérifie le plan avant qu'on construise. Les propriétés non fonctionnelles disent comment le système se comporte sous la contrainte. L'architecture d'exploitation décrit par où on déploie, surveille et répare, c'est-à-dire où se trouve la vanne de gaz.

En bref. Le billet décrit la revue de conception et l'analyse de risque d'architecture, les propriétés non fonctionnelles à chiffrer, puis l'architecture d'exploitation et ses chemins de secours. Le cas réel est la panne de Facebook du 4 octobre 2021, relue avec ces trois sujets.

La revue de conception : relire le plan avant de couler la dalle

Une revue de conception est une relecture organisée de l'architecture, par des personnes qui ne l'ont pas dessinée. Elle a lieu quand les grands choix sont posés et que rien n'est encore coûteux à changer.

Elle prend trois entrées : les exigences du palier 1, le schéma des zones et des flux du billet P10, et le modèle de menaces du billet P12. Elle produit trois sorties : des constats, des décisions, et la liste des risques qu'on accepte en connaissance de cause.

La figure 1 place ces entrées et ces sorties autour de la revue.

Exigencespalier 1 Constats Zones et fluxbillet P10 Décisions Modèle demenacesbillet P12 Revue deconception Risquesacceptés exigences 1 schéma 2 menaces 3 4 constats 5 décisions 6 risquesacceptés 7 1 2 3 4 5 6 7 1. La revue prend en entrée les exigences du palier 1 2. Elle prend le schéma des zones et des flux du billet P10 3. Elle prend le modèle de menaces du billet P12 4. Des personnes qui n'ont pas dessiné l'architecture la relisent 5. Elle produit des constats 6. Elle produit des décisions 7. Elle produit la liste des risques qu'on accepte en connaissance de cause
  1. La revue prend en entrée les exigences du palier 1
  2. Elle prend le schéma des zones et des flux du billet P10
  3. Elle prend le modèle de menaces du billet P12
  4. Des personnes qui n'ont pas dessiné l'architecture la relisent
  5. Elle produit des constats
  6. Elle produit des décisions
  7. Elle produit la liste des risques qu'on accepte en connaissance de cause
Figure 1 : la revue de conception, trois entrées et trois sorties

La grille de lecture la plus simple reprend les principes du billet P2, tournés en questions.

Principe La question posée en revue Le signal d'alerte
Moindre privilège De quels droits chaque composant dispose-t-il, et pourquoi ? « Il a les droits d'administration, c'est plus simple »
Refus par défaut Que se passe-t-il pour une route ou un rôle qu'on a oublié de configurer ? L'accès est ouvert tant qu'on ne l'a pas fermé
Médiation complète Où l'autorisation est-elle vérifiée, pour chaque flux ? « La passerelle s'en occupe »
Défense en profondeur Si ce contrôle cède, lequel prend le relais ? Un seul contrôle entre Internet et la donnée
Échec sûr Que fait ce composant quand sa dépendance ne répond plus ? Personne ne sait
Économie de mécanisme Peut-on expliquer ce dispositif en cinq minutes ? Trois personnes donnent trois réponses
Séparation des tâches Qui peut à la fois modifier et approuver ? La même personne

Deux règles rendent la revue utile. Elle se fait sur un schéma, pas sur un discours : ce qui n'est pas dessiné n'est pas relu. Et elle se termine par des décisions écrites. Une revue dont on sort avec « quelques points à regarder » n'a pas eu lieu.

La bonne fréquence n'est pas calendaire. On relit quand l'architecture change : un nouveau composant exposé, un nouveau fournisseur, un changement dans le modèle d'authentification, un nouveau type de donnée sensible.

À retenir. Une revue de conception ne cherche pas des failles. Elle cherche les décisions que personne n'a prises.

L'analyse de risque d'architecture : trois angles

La revue par principes dit si la conception est saine. L'analyse de risque d'architecture va plus loin : elle cherche ce qui, dans cette conception précise, peut être exploité. On la mène sous trois angles complémentaires.

Angle Ce qu'on cherche Comment on procède
Résistance aux attaques connues Les faiblesses classées, déjà vues ailleurs On parcourt une liste de familles d'attaques et on vérifie la parade pour chacune
Ambiguïtés Ce que la conception ne dit pas, ou dit de deux façons On fait expliquer le même flux par deux personnes et on compare
Faiblesses héritées Ce que les briques réutilisées apportent avec elles On regarde les hypothèses et les défauts connus de chaque dépendance

Le deuxième angle est le plus original, et le plus productif. Les failles de conception naissent rarement d'une mauvaise décision. Elles naissent d'une décision que deux équipes ont comprise différemment. L'équipe du service amont pense que l'aval valide les entrées. L'équipe de l'aval pense que l'amont l'a fait. Chacune a raison selon son propre schéma.

Le troisième rejoint le billet P10. Une brique réutilisée arrive avec ses hypothèses : un cadre applicatif qui suppose un réseau de confiance, une bibliothèque qui désérialise ce qu'on lui donne. Ces hypothèses deviennent les tiennes le jour où tu l'intègres.

Le résultat se range dans le registre des risques du billet P6. Chaque constat reçoit un niveau, un traitement et un propriétaire.

La figure 2 réunit les trois angles et ce registre.

  • Constats rangés dans le registre des risques
Figure 2 : trois angles d'analyse, un seul registre des risques

Garder la trace : la décision d'architecture

Une décision de sécurité dont on a perdu la raison sera défaite par la première personne qu'elle gêne. Le remède est modeste : une page par décision, rangée dans le dépôt.

# Décision 017 : les allergies déclarées ne sont jamais journalisées

## Contexte
Le champ « allergies » est classé restreint. Les journaux applicatifs
partent vers une plateforme lue par l'ensemble de l'exploitation.

## Décision
Le champ est exclu de toute sérialisation vers les journaux.
Seul l'identifiant de la réservation est journalisé.

## Options écartées
- Masquer le champ dans la plateforme de journaux : la donnée aurait déjà quitté la zone restreinte.
- Chiffrer le champ dans les journaux : une clé de plus à gérer, pour une donnée dont le diagnostic n'a pas besoin.

## Conséquences
Le diagnostic d'un problème lié à ce champ demande un accès
nominatif à la base, tracé.

## Menace couverte
M5 du modèle de menaces. Exigence SEC-031.

La section qui compte est « options écartées ». C'est elle qui évite de rouvrir le débat tous les six mois, et c'est elle qui dit, le jour où le contexte change, si la décision tient encore.


Les propriétés qu'on ne voit qu'en production

Le billet P7 a distingué les exigences fonctionnelles des non fonctionnelles. Les secondes se modélisent à la conception, parce qu'elles ne se rattrapent pas après. Chacune se ramène à une question, à un chiffre et à un mécanisme.

Propriété La question Le chiffre à fixer Le mécanisme d'architecture
Disponibilité Quelle part du temps le service doit-il répondre ? Un objectif de niveau de service Redondance, absence de point unique de défaillance
Résilience Que fait le système quand une dépendance tombe ? Les modes dégradés acceptés Délais d'attente, coupe-circuits, files bornées
Capacité de reprise En combien de temps repart-on, et avec quelle perte ? Durée maximale d'interruption, perte de données maximale Sauvegardes testées, réplication, procédure répétée
Tenue à la charge Combien de requêtes avant de plier ? Charge nominale et charge de pointe Mise à l'échelle, quotas, délestage
Auditabilité Peut-on reconstituer qui a fait quoi ? Durée de conservation, événements tracés Journaux en écriture seule, horodatage fiable
Capacité à corriger En combien de temps déploie-t-on un correctif ? Délai entre la décision et la production Chaîne automatisée, déploiement progressif, retour arrière
Observabilité Sait-on ce qui se passe en ce moment ? Délai de détection Métriques, traces, alertes qui réveillent quelqu'un

Trois remarques sur ce tableau.

La tenue à la charge est une propriété de sécurité. Un système qui s'effondre à dix fois sa charge nominale s'attaque avec un script. Les quotas et le délestage se conçoivent, ils ne s'ajoutent pas la veille d'un incident.

La capacité à corriger est sans doute la propriété la plus rentable. Une organisation qui déploie un correctif en une heure vit avec beaucoup moins de risque qu'une organisation qui met trois semaines, à failles égales.

La figure 3 reprend la ligne du tableau qui lui correspond.

  • Propriété lue dans le tableau
Figure 3 : la capacité à corriger, de la question au mécanisme

Les contrôles de sécurité ont eux-mêmes un coût non fonctionnel. Chiffrer, journaliser et vérifier un jeton prend du temps. Si ce temps n'est pas prévu dans le budget de latence, le contrôle sera désactivé « temporairement » le jour où la performance posera problème.

Les contraintes entrent ici aussi : la plateforme imposée, le pays d'hébergement, le budget, les compétences de l'équipe d'exploitation. Une architecture qui suppose une astreinte de dix personnes ne tiendra pas avec deux.

À retenir. Une propriété non fonctionnelle sans chiffre n'est pas une exigence. C'est un espoir.

L'architecture d'exploitation : par où l'on répare

Un système a deux architectures. Celle que voient ses utilisateurs, et celle qu'emploient ceux qui le font tourner. La seconde est rarement dessinée, et le plan d'examen du CSSLP lui consacre un objectif.

Elle comprend quatre choses.

La topologie de déploiement. Quels environnements existent, où ils se trouvent, ce qui les sépare. Un environnement de test qui partage un réseau ou des identifiants avec la production fait partie de la production.

Les interfaces d'exploitation. Par où l'on déploie, configure, surveille, sauvegarde et restaure. Le billet P10 les a classées parmi les interfaces qu'on oublie.

La chaîne de déploiement. Elle détient les droits de modifier la production. C'est donc un système de production, à protéger comme tel : qui peut y écrire, d'où viennent ses secrets, ce qu'elle exécute. Le billet P16 y revient.

Les chemins de secours. Ce qu'on utilise quand le chemin normal est coupé.

On distingue pour cela trois plans. La figure 4 les superpose.

  • Trafic des utilisateurs
Figure 4 : trois plans. Le troisième n'a de valeur que s'il ne dépend d'aucun des deux autres.

Le plan de données transporte le trafic des utilisateurs. Le plan de contrôle sert à piloter le premier. L'accès hors bande sert à réparer les deux quand ils sont tombés.

La règle de conception tient en une phrase : un outil de réparation ne doit pas dépendre de ce qu'il répare. Elle est simple à énoncer et difficile à tenir, parce que les dépendances se cachent. La console d'administration s'authentifie auprès d'un annuaire. L'annuaire a besoin du réseau. La documentation de crise est sur un portail interne. La messagerie de l'astreinte passe par le même fournisseur d'identité. Le jour où le socle commun tombe, tout tombe avec lui, procédure de secours comprise.

La figure 5 dessine ces dépendances.

  • Ce qui sert à réparer
  • Ce dont il dépend
Figure 5 : ce dont dépendent les outils de l'astreinte

L'exercice qui révèle ces boucles est un tableau, rempli avant l'incident.

Si ceci tombe Ce qui cesse de fonctionner Peut-on encore se connecter pour réparer ? Par quel chemin ?
Le fournisseur d'identité Toutes les connexions, consoles comprises Seulement avec des comptes de secours locaux Comptes scellés, testés chaque trimestre
La résolution de noms Presque tout, outils internes compris Seulement par adresse Liste d'adresses tenue hors ligne
Le réseau interne Les accès distants Seulement par un réseau séparé Liaison indépendante vers les équipements
La chaîne de déploiement Les mises en production Oui, à la main Procédure manuelle documentée et répétée
Le coffre à secrets Le démarrage de tout service Non, sans copie de secours Clés de déverrouillage réparties entre plusieurs personnes

Chaque ligne où la troisième colonne dit « non » est un scénario de panne totale. Mieux vaut le lire dans un tableau qu'en direct.

Un dernier point : le chemin de secours est une porte, et il se protège.

Le compte d'urgence. Un compte d'urgence au mot de passe connu de tous est une faille permanente. On le scelle, on journalise son usage, et son ouverture déclenche une alerte.

La sécurité de ce chemin et sa disponibilité tirent en sens contraire, comme l'annonçait le billet P1. Trop ouvert, il sert d'entrée. Trop fermé, il ne sert plus le jour où il le faut.

En cuisine, c'est la vanne de gaz. On la veut hors de portée d'un geste maladroit. On la veut aussi atteignable depuis l'extérieur, par quelqu'un qui n'a pas la clé de la cuisine, quand la cuisine brûle.

À retenir. Le jour de la panne, on ne répare qu'avec ce qui fonctionne encore. Il faut l'avoir listé avant.

Scénario : Facebook, le 4 octobre 2021, ou la clé restée à l'intérieur

Le 4 octobre 2021, les services de Facebook disparaissent d'Internet pendant plusieurs heures. Le lendemain, l'équipe d'ingénierie publie un récit technique de l'incident. Il n'y a ni attaque ni malveillance. C'est précisément ce qui en fait un bon cas d'architecture.

L'incident commence par une opération de maintenance courante. Un ingénieur lance une commande destinée à évaluer la capacité disponible sur le réseau qui relie entre eux les centres de données de l'entreprise. La commande coupe par erreur toutes les liaisons de ce réseau.

Un garde-fou existait. Un outil devait examiner ce type de commande et bloquer celles qui présentaient un danger. Un défaut dans cet outil a laissé passer celle-ci.

Un second mécanisme, sain en lui-même, aggrave alors la situation. Les sites qui répondent aux requêtes de résolution de noms vérifient en permanence qu'ils peuvent joindre les centres de données. S'ils ne le peuvent pas, ils se considèrent comme défaillants et cessent de s'annoncer au reste d'Internet. La règle est prudente face à une panne locale. Ce jour-là, tous les sites perdent la liaison en même temps, et tous se retirent. Les serveurs de noms fonctionnent encore, mais plus personne ne peut les trouver.

La figure 6 suit la panne, de la commande au retrait des sites de résolution de noms.

Ingénieur Garde-fououtil d'examen Réseau descentres dedonnées Internet Sites derésolution denoms commande 1 commande nonbloquée 2 3 vérification 4 annonces 5 6 1 2 3 4 5 6 1. Un ingénieur lance une commande pour évaluer la capacité du réseau qui relie lescentres de données 2. L'outil qui devait bloquer les commandes dangereuses a un défaut : il laisse passercelle-ci 3. La commande coupe par erreur toutes les liaisons de ce réseau 4. Les sites de résolution de noms vérifient qu'ils joignent les centres de données : ilsne le peuvent plus 5. Tous se considèrent comme défaillants et cessent de s'annoncer au rested'Internet 6. Les serveurs de noms fonctionnent encore, mais plus personne ne peut les trouver
  1. Un ingénieur lance une commande pour évaluer la capacité du réseau qui relie les centres de données
  2. L'outil qui devait bloquer les commandes dangereuses a un défaut : il laisse passer celle-ci
  3. La commande coupe par erreur toutes les liaisons de ce réseau
  4. Les sites de résolution de noms vérifient qu'ils joignent les centres de données : ils ne le peuvent plus
  5. Tous se considèrent comme défaillants et cessent de s'annoncer au reste d'Internet
  6. Les serveurs de noms fonctionnent encore, mais plus personne ne peut les trouver
Figure 6 : Facebook, de la commande de maintenance à la disparition d'Internet

Reste à réparer. Les ingénieurs ne peuvent plus atteindre les centres de données par le réseau habituel, puisqu'il est coupé. Ils ne peuvent pas non plus les atteindre par le réseau de secours hors bande, tombé lui aussi. Les outils internes de diagnostic, qui dépendent de la résolution de noms, ne répondent plus.

Il faut donc envoyer des personnes sur place. Les bâtiments sont conçus pour résister à une intrusion physique, et les équipements sont difficiles à modifier même quand on se tient devant. Activer les procédures d'accès prend du temps. Une fois le réseau rétabli, les services sont relancés progressivement, pour éviter qu'un afflux brutal de trafic et de consommation électrique ne provoque une seconde panne. L'entreprise note que ses exercices réguliers de simulation de panne majeure l'ont aidée pour cette étape.

La figure 7 reprend les chemins essayés pour réparer.

Outils dediagnostic Réseau habituelcoupé Réseau desecourshors bande Ingénieurs Centres dedonnées accès habituel 1 accès horsbande 2 diagnostic 3 personnes surplace 4 5 1 2 3 4 5 1. Les ingénieurs ne peuvent plus atteindre les centres de données par le réseauhabituel : il est coupé 2. Ils ne peuvent pas non plus passer par le réseau de secours hors bande, tombé luiaussi 3. Les outils internes de diagnostic, qui dépendent de la résolution de noms, nerépondent plus 4. Il faut envoyer des personnes sur place ; activer les procédures d'accès prend dutemps 5. Une fois le réseau rétabli, les services sont relancés progressivement
  1. Les ingénieurs ne peuvent plus atteindre les centres de données par le réseau habituel : il est coupé
  2. Ils ne peuvent pas non plus passer par le réseau de secours hors bande, tombé lui aussi
  3. Les outils internes de diagnostic, qui dépendent de la résolution de noms, ne répondent plus
  4. Il faut envoyer des personnes sur place ; activer les procédures d'accès prend du temps
  5. Une fois le réseau rétabli, les services sont relancés progressivement
Figure 7 : Facebook, les chemins de réparation l'un après l'autre

Relisons ce récit avec les trois sujets de ce billet.

Sujet Ce que le récit décrit La question de revue qui l'aurait fait apparaître
Défense en profondeur Un seul outil entre une commande erronée et la coupure totale Si ce contrôle a un défaut, lequel prend le relais ?
Échec sûr Une règle prudente localement, catastrophique quand tous l'appliquent ensemble Que se passe-t-il si cette règle se déclenche partout au même instant ?
Accès hors bande Un réseau de secours tombé avec le réseau principal De quoi le chemin de secours dépend-il ?
Dépendances des outils Des outils de diagnostic qui ont besoin de ce qu'ils doivent diagnostiquer Nos outils de réparation fonctionnent-ils sans le système ?
Sécurité contre disponibilité Une protection physique qui ralentit les réparateurs Combien de temps faut-il pour entrer, en urgence ?
Capacité de reprise Un redémarrage progressif, répété en exercice A-t-on déjà redémarré à froid ?

La deuxième ligne est la plus subtile. Chaque site appliquait une règle d'échec sûr parfaitement défendable : en cas de doute, je me retire. Le billet P2 recommandait exactement cela. Ce que la règle ne prévoyait pas, c'est une cause commune à tous. Un comportement sûr pour un composant ne l'est pas forcément pour l'ensemble, et c'est une question qu'on ne se pose qu'en revue d'architecture.

La troisième et la quatrième illustrent la règle de ce billet. Le chemin de secours et les outils de réparation reposaient, quelque part, sur ce qui venait de tomber. Personne ne l'avait voulu. Les dépendances s'étaient installées une à une.

La cinquième est un rappel honnête. Les mesures qui ont ralenti les ingénieurs ce jour-là étaient de bonnes mesures de sécurité. Elles avaient un prix en disponibilité, et ce prix n'apparaît que le jour où l'on doit entrer vite.

La dernière, enfin, montre ce qui a fonctionné. Le redémarrage avait été répété. On ne découvre pas une procédure de reprise le jour où on en a besoin.

À retenir. La clé de secours ne sert à rien si elle est rangée dans la pièce qu'elle ouvre.

Testez-vous

Que prend en entrée une revue de conception, et que produit-elle ?

Trois entrées : les exigences du palier 1, le schéma des zones et des flux, et le modèle de menaces. Trois sorties : des constats, des décisions, et la liste des risques qu'on accepte en connaissance de cause.

Pourquoi la tenue à la charge est-elle une propriété de sécurité ?

Un système qui s'effondre à dix fois sa charge nominale s'attaque avec un script. Les quotas et le délestage se conçoivent, ils ne s'ajoutent pas la veille d'un incident.

Le 4 octobre 2021, pourquoi les ingénieurs de Facebook n'ont-ils pas pu réparer à distance ?

Le réseau habituel était coupé, le réseau de secours hors bande était tombé lui aussi, et les outils internes de diagnostic, qui dépendent de la résolution de noms, ne répondaient plus. Il a fallu envoyer des personnes sur place.


Points clés

  • Une revue de conception relit l'architecture par principes, sur un schéma, et se termine par des décisions écrites.
  • L'analyse de risque d'architecture regarde sous trois angles : attaques connues, ambiguïtés, faiblesses héritées des briques.
  • Chaque décision de sécurité se consigne avec ses options écartées, près du code.
  • Une propriété non fonctionnelle se définit par une question, un chiffre et un mécanisme. La capacité à corriger vite est la plus rentable.
  • L'architecture d'exploitation se dessine : topologie, interfaces, chaîne de déploiement, chemins de secours.
  • Un outil de réparation ne dépend pas de ce qu'il répare. On le vérifie avec un tableau, puis avec un exercice.
  • Un comportement sûr pour un composant peut être dangereux pour l'ensemble.

Dans la série

Palier 2 : Tenir les fourneaux. Domaine : Conception.


Pour aller plus loin