La visite avant l'ouverture
Avant qu'un restaurant n'ouvre, des gens viennent le visiter qui ne goûteront jamais rien. Ils cherchent les issues de secours et vérifient qu'elles s'ouvrent dans le bon sens. Ils demandent où se coupe le gaz, et si l'on peut atteindre la vanne quand la cuisine est en feu. Ils regardent la hotte, les extincteurs, la largeur des passages.
Aucune de ces questions ne porte sur la carte. Toutes portent sur ce qui se passe quand quelque chose tourne mal, et sur la possibilité d'intervenir à ce moment-là.
Ce billet ferme le domaine Conception avec trois sujets qui vont ensemble. La revue d'architecture vérifie le plan avant qu'on construise. Les propriétés non fonctionnelles disent comment le système se comporte sous la contrainte. L'architecture d'exploitation décrit par où on déploie, surveille et répare, c'est-à-dire où se trouve la vanne de gaz.
La revue de conception : relire le plan avant de couler la dalle
Une revue de conception est une relecture organisée de l'architecture, par des personnes qui ne l'ont pas dessinée. Elle a lieu quand les grands choix sont posés et que rien n'est encore coûteux à changer.
Elle prend trois entrées : les exigences du palier 1, le schéma des zones et des flux du billet P10, et le modèle de menaces du billet P12. Elle produit trois sorties : des constats, des décisions, et la liste des risques qu'on accepte en connaissance de cause.
La figure 1 place ces entrées et ces sorties autour de la revue.
- La revue prend en entrée les exigences du palier 1
- Elle prend le schéma des zones et des flux du billet P10
- Elle prend le modèle de menaces du billet P12
- Des personnes qui n'ont pas dessiné l'architecture la relisent
- Elle produit des constats
- Elle produit des décisions
- Elle produit la liste des risques qu'on accepte en connaissance de cause
La grille de lecture la plus simple reprend les principes du billet P2, tournés en questions.
| Principe | La question posée en revue | Le signal d'alerte |
|---|---|---|
| Moindre privilège | De quels droits chaque composant dispose-t-il, et pourquoi ? | « Il a les droits d'administration, c'est plus simple » |
| Refus par défaut | Que se passe-t-il pour une route ou un rôle qu'on a oublié de configurer ? | L'accès est ouvert tant qu'on ne l'a pas fermé |
| Médiation complète | Où l'autorisation est-elle vérifiée, pour chaque flux ? | « La passerelle s'en occupe » |
| Défense en profondeur | Si ce contrôle cède, lequel prend le relais ? | Un seul contrôle entre Internet et la donnée |
| Échec sûr | Que fait ce composant quand sa dépendance ne répond plus ? | Personne ne sait |
| Économie de mécanisme | Peut-on expliquer ce dispositif en cinq minutes ? | Trois personnes donnent trois réponses |
| Séparation des tâches | Qui peut à la fois modifier et approuver ? | La même personne |
Deux règles rendent la revue utile. Elle se fait sur un schéma, pas sur un discours : ce qui n'est pas dessiné n'est pas relu. Et elle se termine par des décisions écrites. Une revue dont on sort avec « quelques points à regarder » n'a pas eu lieu.
La bonne fréquence n'est pas calendaire. On relit quand l'architecture change : un nouveau composant exposé, un nouveau fournisseur, un changement dans le modèle d'authentification, un nouveau type de donnée sensible.
L'analyse de risque d'architecture : trois angles
La revue par principes dit si la conception est saine. L'analyse de risque d'architecture va plus loin : elle cherche ce qui, dans cette conception précise, peut être exploité. On la mène sous trois angles complémentaires.
| Angle | Ce qu'on cherche | Comment on procède |
|---|---|---|
| Résistance aux attaques connues | Les faiblesses classées, déjà vues ailleurs | On parcourt une liste de familles d'attaques et on vérifie la parade pour chacune |
| Ambiguïtés | Ce que la conception ne dit pas, ou dit de deux façons | On fait expliquer le même flux par deux personnes et on compare |
| Faiblesses héritées | Ce que les briques réutilisées apportent avec elles | On regarde les hypothèses et les défauts connus de chaque dépendance |
Le deuxième angle est le plus original, et le plus productif. Les failles de conception naissent rarement d'une mauvaise décision. Elles naissent d'une décision que deux équipes ont comprise différemment. L'équipe du service amont pense que l'aval valide les entrées. L'équipe de l'aval pense que l'amont l'a fait. Chacune a raison selon son propre schéma.
Le troisième rejoint le billet P10. Une brique réutilisée arrive avec ses hypothèses : un cadre applicatif qui suppose un réseau de confiance, une bibliothèque qui désérialise ce qu'on lui donne. Ces hypothèses deviennent les tiennes le jour où tu l'intègres.
Le résultat se range dans le registre des risques du billet P6. Chaque constat reçoit un niveau, un traitement et un propriétaire.
La figure 2 réunit les trois angles et ce registre.
- Constats rangés dans le registre des risques
Garder la trace : la décision d'architecture
Une décision de sécurité dont on a perdu la raison sera défaite par la première personne qu'elle gêne. Le remède est modeste : une page par décision, rangée dans le dépôt.
# Décision 017 : les allergies déclarées ne sont jamais journalisées
## Contexte
Le champ « allergies » est classé restreint. Les journaux applicatifs
partent vers une plateforme lue par l'ensemble de l'exploitation.
## Décision
Le champ est exclu de toute sérialisation vers les journaux.
Seul l'identifiant de la réservation est journalisé.
## Options écartées
- Masquer le champ dans la plateforme de journaux : la donnée aurait déjà quitté la zone restreinte.
- Chiffrer le champ dans les journaux : une clé de plus à gérer, pour une donnée dont le diagnostic n'a pas besoin.
## Conséquences
Le diagnostic d'un problème lié à ce champ demande un accès
nominatif à la base, tracé.
## Menace couverte
M5 du modèle de menaces. Exigence SEC-031.
La section qui compte est « options écartées ». C'est elle qui évite de rouvrir le débat tous les six mois, et c'est elle qui dit, le jour où le contexte change, si la décision tient encore.
Les propriétés qu'on ne voit qu'en production
Le billet P7 a distingué les exigences fonctionnelles des non fonctionnelles. Les secondes se modélisent à la conception, parce qu'elles ne se rattrapent pas après. Chacune se ramène à une question, à un chiffre et à un mécanisme.
| Propriété | La question | Le chiffre à fixer | Le mécanisme d'architecture |
|---|---|---|---|
| Disponibilité | Quelle part du temps le service doit-il répondre ? | Un objectif de niveau de service | Redondance, absence de point unique de défaillance |
| Résilience | Que fait le système quand une dépendance tombe ? | Les modes dégradés acceptés | Délais d'attente, coupe-circuits, files bornées |
| Capacité de reprise | En combien de temps repart-on, et avec quelle perte ? | Durée maximale d'interruption, perte de données maximale | Sauvegardes testées, réplication, procédure répétée |
| Tenue à la charge | Combien de requêtes avant de plier ? | Charge nominale et charge de pointe | Mise à l'échelle, quotas, délestage |
| Auditabilité | Peut-on reconstituer qui a fait quoi ? | Durée de conservation, événements tracés | Journaux en écriture seule, horodatage fiable |
| Capacité à corriger | En combien de temps déploie-t-on un correctif ? | Délai entre la décision et la production | Chaîne automatisée, déploiement progressif, retour arrière |
| Observabilité | Sait-on ce qui se passe en ce moment ? | Délai de détection | Métriques, traces, alertes qui réveillent quelqu'un |
Trois remarques sur ce tableau.
La tenue à la charge est une propriété de sécurité. Un système qui s'effondre à dix fois sa charge nominale s'attaque avec un script. Les quotas et le délestage se conçoivent, ils ne s'ajoutent pas la veille d'un incident.
La capacité à corriger est sans doute la propriété la plus rentable. Une organisation qui déploie un correctif en une heure vit avec beaucoup moins de risque qu'une organisation qui met trois semaines, à failles égales.
La figure 3 reprend la ligne du tableau qui lui correspond.
- Propriété lue dans le tableau
Les contrôles de sécurité ont eux-mêmes un coût non fonctionnel. Chiffrer, journaliser et vérifier un jeton prend du temps. Si ce temps n'est pas prévu dans le budget de latence, le contrôle sera désactivé « temporairement » le jour où la performance posera problème.
Les contraintes entrent ici aussi : la plateforme imposée, le pays d'hébergement, le budget, les compétences de l'équipe d'exploitation. Une architecture qui suppose une astreinte de dix personnes ne tiendra pas avec deux.
L'architecture d'exploitation : par où l'on répare
Un système a deux architectures. Celle que voient ses utilisateurs, et celle qu'emploient ceux qui le font tourner. La seconde est rarement dessinée, et le plan d'examen du CSSLP lui consacre un objectif.
Elle comprend quatre choses.
La topologie de déploiement. Quels environnements existent, où ils se trouvent, ce qui les sépare. Un environnement de test qui partage un réseau ou des identifiants avec la production fait partie de la production.
Les interfaces d'exploitation. Par où l'on déploie, configure, surveille, sauvegarde et restaure. Le billet P10 les a classées parmi les interfaces qu'on oublie.
La chaîne de déploiement. Elle détient les droits de modifier la production. C'est donc un système de production, à protéger comme tel : qui peut y écrire, d'où viennent ses secrets, ce qu'elle exécute. Le billet P16 y revient.
Les chemins de secours. Ce qu'on utilise quand le chemin normal est coupé.
On distingue pour cela trois plans. La figure 4 les superpose.
- Trafic des utilisateurs
Le plan de données transporte le trafic des utilisateurs. Le plan de contrôle sert à piloter le premier. L'accès hors bande sert à réparer les deux quand ils sont tombés.
La règle de conception tient en une phrase : un outil de réparation ne doit pas dépendre de ce qu'il répare. Elle est simple à énoncer et difficile à tenir, parce que les dépendances se cachent. La console d'administration s'authentifie auprès d'un annuaire. L'annuaire a besoin du réseau. La documentation de crise est sur un portail interne. La messagerie de l'astreinte passe par le même fournisseur d'identité. Le jour où le socle commun tombe, tout tombe avec lui, procédure de secours comprise.
La figure 5 dessine ces dépendances.
- Ce qui sert à réparer
- Ce dont il dépend
L'exercice qui révèle ces boucles est un tableau, rempli avant l'incident.
| Si ceci tombe | Ce qui cesse de fonctionner | Peut-on encore se connecter pour réparer ? | Par quel chemin ? |
|---|---|---|---|
| Le fournisseur d'identité | Toutes les connexions, consoles comprises | Seulement avec des comptes de secours locaux | Comptes scellés, testés chaque trimestre |
| La résolution de noms | Presque tout, outils internes compris | Seulement par adresse | Liste d'adresses tenue hors ligne |
| Le réseau interne | Les accès distants | Seulement par un réseau séparé | Liaison indépendante vers les équipements |
| La chaîne de déploiement | Les mises en production | Oui, à la main | Procédure manuelle documentée et répétée |
| Le coffre à secrets | Le démarrage de tout service | Non, sans copie de secours | Clés de déverrouillage réparties entre plusieurs personnes |
Chaque ligne où la troisième colonne dit « non » est un scénario de panne totale. Mieux vaut le lire dans un tableau qu'en direct.
Un dernier point : le chemin de secours est une porte, et il se protège.
La sécurité de ce chemin et sa disponibilité tirent en sens contraire, comme l'annonçait le billet P1. Trop ouvert, il sert d'entrée. Trop fermé, il ne sert plus le jour où il le faut.
En cuisine, c'est la vanne de gaz. On la veut hors de portée d'un geste maladroit. On la veut aussi atteignable depuis l'extérieur, par quelqu'un qui n'a pas la clé de la cuisine, quand la cuisine brûle.
Scénario : Facebook, le 4 octobre 2021, ou la clé restée à l'intérieur
Le 4 octobre 2021, les services de Facebook disparaissent d'Internet pendant plusieurs heures. Le lendemain, l'équipe d'ingénierie publie un récit technique de l'incident. Il n'y a ni attaque ni malveillance. C'est précisément ce qui en fait un bon cas d'architecture.
L'incident commence par une opération de maintenance courante. Un ingénieur lance une commande destinée à évaluer la capacité disponible sur le réseau qui relie entre eux les centres de données de l'entreprise. La commande coupe par erreur toutes les liaisons de ce réseau.
Un garde-fou existait. Un outil devait examiner ce type de commande et bloquer celles qui présentaient un danger. Un défaut dans cet outil a laissé passer celle-ci.
Un second mécanisme, sain en lui-même, aggrave alors la situation. Les sites qui répondent aux requêtes de résolution de noms vérifient en permanence qu'ils peuvent joindre les centres de données. S'ils ne le peuvent pas, ils se considèrent comme défaillants et cessent de s'annoncer au reste d'Internet. La règle est prudente face à une panne locale. Ce jour-là, tous les sites perdent la liaison en même temps, et tous se retirent. Les serveurs de noms fonctionnent encore, mais plus personne ne peut les trouver.
La figure 6 suit la panne, de la commande au retrait des sites de résolution de noms.
- Un ingénieur lance une commande pour évaluer la capacité du réseau qui relie les centres de données
- L'outil qui devait bloquer les commandes dangereuses a un défaut : il laisse passer celle-ci
- La commande coupe par erreur toutes les liaisons de ce réseau
- Les sites de résolution de noms vérifient qu'ils joignent les centres de données : ils ne le peuvent plus
- Tous se considèrent comme défaillants et cessent de s'annoncer au reste d'Internet
- Les serveurs de noms fonctionnent encore, mais plus personne ne peut les trouver
Reste à réparer. Les ingénieurs ne peuvent plus atteindre les centres de données par le réseau habituel, puisqu'il est coupé. Ils ne peuvent pas non plus les atteindre par le réseau de secours hors bande, tombé lui aussi. Les outils internes de diagnostic, qui dépendent de la résolution de noms, ne répondent plus.
Il faut donc envoyer des personnes sur place. Les bâtiments sont conçus pour résister à une intrusion physique, et les équipements sont difficiles à modifier même quand on se tient devant. Activer les procédures d'accès prend du temps. Une fois le réseau rétabli, les services sont relancés progressivement, pour éviter qu'un afflux brutal de trafic et de consommation électrique ne provoque une seconde panne. L'entreprise note que ses exercices réguliers de simulation de panne majeure l'ont aidée pour cette étape.
La figure 7 reprend les chemins essayés pour réparer.
- Les ingénieurs ne peuvent plus atteindre les centres de données par le réseau habituel : il est coupé
- Ils ne peuvent pas non plus passer par le réseau de secours hors bande, tombé lui aussi
- Les outils internes de diagnostic, qui dépendent de la résolution de noms, ne répondent plus
- Il faut envoyer des personnes sur place ; activer les procédures d'accès prend du temps
- Une fois le réseau rétabli, les services sont relancés progressivement
Relisons ce récit avec les trois sujets de ce billet.
| Sujet | Ce que le récit décrit | La question de revue qui l'aurait fait apparaître |
|---|---|---|
| Défense en profondeur | Un seul outil entre une commande erronée et la coupure totale | Si ce contrôle a un défaut, lequel prend le relais ? |
| Échec sûr | Une règle prudente localement, catastrophique quand tous l'appliquent ensemble | Que se passe-t-il si cette règle se déclenche partout au même instant ? |
| Accès hors bande | Un réseau de secours tombé avec le réseau principal | De quoi le chemin de secours dépend-il ? |
| Dépendances des outils | Des outils de diagnostic qui ont besoin de ce qu'ils doivent diagnostiquer | Nos outils de réparation fonctionnent-ils sans le système ? |
| Sécurité contre disponibilité | Une protection physique qui ralentit les réparateurs | Combien de temps faut-il pour entrer, en urgence ? |
| Capacité de reprise | Un redémarrage progressif, répété en exercice | A-t-on déjà redémarré à froid ? |
La deuxième ligne est la plus subtile. Chaque site appliquait une règle d'échec sûr parfaitement défendable : en cas de doute, je me retire. Le billet P2 recommandait exactement cela. Ce que la règle ne prévoyait pas, c'est une cause commune à tous. Un comportement sûr pour un composant ne l'est pas forcément pour l'ensemble, et c'est une question qu'on ne se pose qu'en revue d'architecture.
La troisième et la quatrième illustrent la règle de ce billet. Le chemin de secours et les outils de réparation reposaient, quelque part, sur ce qui venait de tomber. Personne ne l'avait voulu. Les dépendances s'étaient installées une à une.
La cinquième est un rappel honnête. Les mesures qui ont ralenti les ingénieurs ce jour-là étaient de bonnes mesures de sécurité. Elles avaient un prix en disponibilité, et ce prix n'apparaît que le jour où l'on doit entrer vite.
La dernière, enfin, montre ce qui a fonctionné. Le redémarrage avait été répété. On ne découvre pas une procédure de reprise le jour où on en a besoin.
Testez-vous
Que prend en entrée une revue de conception, et que produit-elle ?
Trois entrées : les exigences du palier 1, le schéma des zones et des flux, et le modèle de menaces. Trois sorties : des constats, des décisions, et la liste des risques qu'on accepte en connaissance de cause.
Pourquoi la tenue à la charge est-elle une propriété de sécurité ?
Un système qui s'effondre à dix fois sa charge nominale s'attaque avec un script. Les quotas et le délestage se conçoivent, ils ne s'ajoutent pas la veille d'un incident.
Le 4 octobre 2021, pourquoi les ingénieurs de Facebook n'ont-ils pas pu réparer à distance ?
Le réseau habituel était coupé, le réseau de secours hors bande était tombé lui aussi, et les outils internes de diagnostic, qui dépendent de la résolution de noms, ne répondaient plus. Il a fallu envoyer des personnes sur place.
Points clés
- Une revue de conception relit l'architecture par principes, sur un schéma, et se termine par des décisions écrites.
- L'analyse de risque d'architecture regarde sous trois angles : attaques connues, ambiguïtés, faiblesses héritées des briques.
- Chaque décision de sécurité se consigne avec ses options écartées, près du code.
- Une propriété non fonctionnelle se définit par une question, un chiffre et un mécanisme. La capacité à corriger vite est la plus rentable.
- L'architecture d'exploitation se dessine : topologie, interfaces, chaîne de déploiement, chemins de secours.
- Un outil de réparation ne dépend pas de ce qu'il répare. On le vérifie avec un tableau, puis avec un exercice.
- Un comportement sûr pour un composant peut être dangereux pour l'ensemble.
Dans la série
Palier 2 : Tenir les fourneaux. Domaine : Conception.
- Précédent : Modélisation des menaces : flux de données, STRIDE, arbres d'attaque
- Suivant : Code sécurisé : validation des entrées, erreurs, mémoire, secrets
- Vue d'ensemble : Sécurité du cycle de vie logiciel : par où commencer dans La Brigade
Pour aller plus loin
- CSSLP Certification Exam Outline, ISC2 : objectifs 4.5 à 4.7.
- More details about the October 4 outage, Engineering at Meta, 5 octobre 2021.