Le briefing de seize heures
Le jour où une nouvelle carte entre en service, la cuisine ne change pas tout d'un coup. Le chef a fait le briefing à seize heures. Chaque poste a reçu sa fiche technique à jour, et on a retiré des étagères les fiches de l'ancienne carte pour que personne ne s'y réfère par erreur. Les premiers plats partent vers des tables d'habitués, qui diront franchement ce qu'ils en pensent. Si un plat ne tient pas, il disparaît de l'ardoise avant le deuxième service, et l'ancien revient.
Rien de tout cela n'est improvisé. La cuisine a une procédure pour changer de carte, et elle la suit même quand tout le monde est pressé.
La figure 1 déroule cette procédure.
seize heures"] --> F["Fiche technique à jour
à chaque poste"] F --> O["Fiches de l'ancienne carte
retirées des étagères"] O e1@-->|"premiers plats"| H["Tables d'habitués"] H e2@-->|"ce qu'ils en pensent"| A["Si un plat ne tient pas
il disparaît de l'ardoise, l'ancien revient"] e1@{ animate: true } e2@{ animate: true }
- Les premiers plats, puis l'avis des habitués
Le palier 3 commence ici. Les deux premiers paliers ont conçu, construit et testé le logiciel. Celui-ci le fait vivre. Ce premier billet traite du moment où il passe en production : ce qu'on évalue avant, comment on tient sa configuration, comment on livre, où l'on range les données de sécurité, comment on installe, et qui dit oui. Le cas réel montre ce que coûtent quarante-cinq minutes quand une seule de ces étapes manque.
Le risque opérationnel : ce qui change le jour de la mise en service
Un logiciel en test et le même logiciel en production ne courent pas les mêmes risques. Les données sont réelles, les utilisateurs aussi, les attaquants également. Les interfaces avec d'autres systèmes ne sont plus simulées. Une erreur ne coûte plus un ticket, elle coûte de l'argent, des données ou de la confiance.
L'analyse de risque opérationnel reprend la méthode du billet P6 et l'applique au système tel qu'il sera exploité. Elle pose des questions que la conception ne posait pas encore.
| Question | Ce qu'elle cherche | Exemple |
|---|---|---|
| Que se passe-t-il si la mise en service échoue à mi-chemin ? | Les états intermédiaires dangereux | Une moitié des serveurs à jour, l'autre non |
| Peut-on revenir en arrière, et en combien de temps ? | La capacité de retour | Une migration de base qui ne se défait pas |
| Qui surveille pendant les premières heures ? | La détection d'un comportement anormal | Une astreinte prévenue, des alertes actives |
| Qu'est-ce qui dépend de ce système ? | L'impact en cascade | Un service aval qui suppose l'ancien format |
| Quelles anciennes fonctions restent présentes ? | Le code mort qui pourrait se réveiller | Une fonction désactivée mais encore installée |
| Que fait-on si tout va mal ? | Le geste d'arrêt | Couper le service, débrancher l'automate, basculer |
La dernière ligne est celle qu'on oublie le plus. Un système qui agit seul, à grande vitesse, doit pouvoir être arrêté par un humain, vite, sans réunion. Ce geste se décide à l'avance, avec le nom de celui qui a le droit de le faire et les conditions qui le déclenchent. La cinquième ligne est le cœur du cas réel de ce billet.
Tenir la configuration
Une grande partie des incidents de production ne vient pas du code. Elle vient de la configuration : un paramètre modifié à la main sur un serveur, une valeur différente entre deux nœuds censés être identiques, un réglage de test resté en production. Le programme du cours consacre trois leçons à la gestion des changements, de la configuration et des versions. Elles se résument en trois règles.
Tout ce qui définit la production est versionné. Le code, bien sûr, mais aussi la configuration de l'application, celle de l'infrastructure, les règles de pare-feu, les politiques d'accès, les schémas de base de données. On doit pouvoir dire, pour n'importe quelle date, ce qui tournait en production et qui l'a décidé.
La production se reconstruit, elle ne se modifie pas. Un serveur qu'on modifie à la main dérive de sa définition. Un serveur qu'on reconstruit depuis sa définition à chaque changement ne dérive pas. C'est l'idée des infrastructures immuables : on ne répare pas un conteneur, on le remplace.
Les écarts se détectent. Un outil compare régulièrement la production réelle à sa définition versionnée et signale toute différence. Une différence est soit un changement non autorisé, soit une définition à mettre à jour. Dans les deux cas, quelqu'un doit le savoir.
La figure 2 fait jouer ces trois règles sur un même serveur.
- À chaque changement, le serveur est reconstruit depuis sa définition versionnée
- Un paramètre modifié à la main sur un serveur le fait dériver de sa définition
- Un outil compare régulièrement la production réelle à sa définition versionnée
- Il signale toute différence : un changement non autorisé, ou une définition à mettre à jour
La configuration de référence du billet P5 prend ici tout son sens. C'est la version minimale et durcie de chaque type de composant : quels services actifs, quels ports, quels comptes, quels journaux. Elle se vérifie automatiquement, à chaque déploiement, comme le prévoyait le billet P17.
| Pratique | Ce qu'elle empêche | En cuisine |
|---|---|---|
| Configuration versionnée | Ne plus savoir ce qui tournait hier | Les fiches techniques datées et archivées |
| Reconstruction plutôt que modification | La dérive silencieuse d'un serveur | On refait la sauce, on ne la « rattrape » pas |
| Détection des écarts | Le changement que personne n'a autorisé | Le chef qui goûte et reconnaît qu'on a changé la recette |
| Configuration de référence | Les réglages dangereux par défaut | Le réglage standard de chaque four |
| Retrait des anciennes versions | Le réveil d'un comportement oublié | Les anciennes fiches retirées de l'étagère |
La dernière ligne est le sujet de la section suivante.
Le code mort et les drapeaux
Les équipes qui livrent souvent utilisent des drapeaux de fonctionnalité : un paramètre qui active ou désactive une partie du code sans redéployer. La technique est excellente pour livrer progressivement et revenir en arrière vite. Elle a deux dangers, que le plan d'examen range parmi les risques de mise en service.
Le premier est l'accumulation. Un drapeau qu'on a oublié de retirer laisse dans le code une branche que plus personne ne teste. Elle reste installée en production, prête à se réveiller si quelqu'un remet le drapeau à vrai.
Le second est la réutilisation. Un drapeau dont le nom ou la position sert à autre chose après des années peut réveiller l'ancien comportement là où l'ancien code est encore présent.
La figure 3 met ces deux dangers côte à côte.
encore installée en production"] D -->|"réutilisation"| U["Drapeau dont le nom ou la position
sert à autre chose"] B -->|"drapeau remis à vrai"| R["Ancien comportement réveillé"] U -->|"ancien code encore présent"| R class R risque
- Ancien comportement qui se réveille
Trois règles suffisent à tenir ces risques.
- Chaque drapeau a une date de retrait. Quand la fonctionnalité est généralisée, le drapeau et l'ancienne branche disparaissent du code, dans la même demande de fusion.
- Un drapeau ne se réutilise jamais. Une nouvelle fonctionnalité reçoit un nouveau drapeau, avec un nouveau nom.
- Le code inutilisé sort de la production. Une fonction désactivée mais encore installée est une fonction non documentée au sens du billet P17. Elle ne se désactive pas, elle se supprime.
Livrer : la release sécurisée
Une release sécurisée est la suite de la chaîne de fabrication du billet P16. Le livrable a été construit, signé, testé. Il reste à le mettre en service sans rien perdre de ces garanties.
La figure 4 en donne le trajet, du livrable signé à la vérification finale.
et attesté"] --> B["Validation du changement
par une seconde personne"] B --> C["Déploiement automatisé
vérification de signature"] C --> D["Premier cercle
quelques instances"] D -->|"indicateurs sains"| E["Généralisation
par vagues"] D e1@-->|"anomalie"| R["Retour arrière
automatique"] E e2@-->|"anomalie"| R E --> F["Vérification
toutes les instances identiques"] e1@{ animate: true } e2@{ animate: true }
- Anomalie qui déclenche le retour arrière
Cinq pratiques en font une release sécurisée plutôt qu'une simple mise en ligne.
Le déploiement est automatisé. Un humain qui copie des fichiers sur huit serveurs finira par en oublier un. Une chaîne automatisée déploie partout, ou nulle part.
Une seconde personne valide. Le changement en production est approuvé par quelqu'un d'autre que celui qui l'a préparé. C'est la séparation des tâches du billet P2, appliquée à la mise en service.
On déploie par vagues. Le premier cercle reçoit le changement, on observe, puis on étend. Le cas CrowdStrike du billet P17 montrait ce que coûte un envoi à tous à la fois.
Le retour arrière est prévu et répété. On sait, avant de commencer, comment revenir à la version précédente et combien de temps cela prend. Les changements qui ne se défont pas, comme certaines migrations de données, se préparent à part et se découpent.
On vérifie que tout est identique. Après le déploiement, une vérification automatique confirme que toutes les instances exécutent la même version. Un écart arrête tout.
En cuisine, c'est le changement de carte : briefing, fiches distribuées, anciennes fiches retirées, premiers plats aux habitués, retour à l'ancienne recette si besoin. Personne ne découvre la nouvelle carte en lisant un bon de commande.
Ranger les données de sécurité
Un système en production produit et consomme des données dont la seule fonction est sa sécurité. Le plan d'examen leur consacre un objectif, parce qu'elles sont à la fois très sensibles et souvent mal rangées.
| Donnée de sécurité | Pourquoi elle est sensible | Où elle doit vivre |
|---|---|---|
| Clés cryptographiques | Qui a la clé a tout, comme au billet P3 | Un module matériel ou un service de gestion de clés |
| Certificats et leurs clés privées | Usurpation de l'identité du service | Le même, avec un renouvellement automatique |
| Secrets et identifiants techniques | Accès aux autres systèmes | Un coffre à secrets, comme au billet P14 |
| Journaux de sécurité | Preuve et détection ; cible de qui veut effacer ses traces | Une plateforme centrale, en écriture seule |
| Configuration de sécurité | Une règle modifiée ouvre une porte | Le dépôt versionné, avec revue |
| Résultats d'analyse et rapports de test | Une carte des faiblesses non corrigées | Un espace à accès restreint |
La dernière ligne est souvent oubliée.
Les certificats méritent un mot de plus. Un certificat qui expire est une panne programmée, et parfois pire : le cas du billet P20 montre un certificat expiré qui avait rendu aveugle un équipement de surveillance pendant des mois.
Installer proprement
L'installation est le moment où un système est le plus vulnérable. Il n'est pas encore durci, ses comptes par défaut existent peut-être, ses secrets sont en train d'arriver. Quatre règles la sécurisent.
Partir d'une image durcie. On n'installe pas un système générique pour le durcir ensuite. On part d'une image qui respecte déjà la configuration de référence.
Supprimer les comptes et mots de passe par défaut. Aucun compte livré avec le produit ne survit à l'installation, ou alors avec un secret propre à cette instance. Le billet P11 en faisait une règle pour l'embarqué ; elle vaut partout.
Amorcer les secrets sans les exposer. Le système qui démarre a besoin de ses premiers secrets. Il les obtient de la plateforme, par son identité, et non par un fichier copié à la main ou une variable visible dans la console.
Vérifier avant d'ouvrir. Le système n'est raccordé au trafic réel qu'après une vérification automatique de sa configuration. Un écart avec la référence arrête l'installation.
La figure 5 reprend ces quatre règles, une par image.
configuration de référence"] class I nouveau
configuration de référence"] --> C["Comptes et mots de passe
par défaut supprimés"] class I neutre class C nouveau
configuration de référence"] --> C["Comptes et mots de passe
par défaut supprimés"] C --> S["Premiers secrets obtenus de la plateforme
par l'identité du système"] class I,C neutre class S nouveau
configuration de référence"] --> C["Comptes et mots de passe
par défaut supprimés"] C --> S["Premiers secrets obtenus de la plateforme
par l'identité du système"] S --> V["Vérification automatique
de la configuration"] V --> T["Raccordement au trafic réel"] V -->|"écart avec la référence"| X["Installation arrêtée"] class I,C,S neutre class V,T nouveau class X risque
- Ajouté à cette étape
- Un écart avec la référence arrête l'installation
Pour un logiciel installé chez des clients, ces règles deviennent des exigences sur le produit lui-même : des réglages sûrs par défaut, un guide d'installation qui dit vrai, comme au billet P17, et aucun mot de passe commun à toutes les installations.
Qui dit oui : l'autorisation d'exploiter
Dans les organisations publiques et les secteurs réglementés, un système n'entre pas en production sur la seule décision de l'équipe qui l'a construit. Une autorité désignée délivre une autorisation d'exploiter. Le programme du cours y consacre une leçon, sous le nom anglais de certification et accreditation.
Deux temps se suivent, et ils sont distincts.
La certification est l'évaluation technique. Une équipe, idéalement indépendante, vérifie que les contrôles prévus sont en place et fonctionnent. Elle produit un dossier : ce qui a été testé, ce qui a été trouvé, ce qui reste ouvert. C'est l'état de ce qui reste, décrit au billet P18.
L'accréditation, ou autorisation, est la décision. Une personne qui porte le risque métier lit le dossier et accepte, par sa signature, de faire fonctionner le système avec les risques résiduels décrits. Elle peut aussi refuser, ou autoriser sous conditions et pour une durée limitée.
La figure 6 suit le dossier, de l'évaluation à la signature.
- La certification : une équipe vérifie que les contrôles prévus sont en place et fonctionnent
- Elle produit un dossier : ce qui a été testé, ce qui a été trouvé, ce qui reste ouvert
- L'accréditation : celui qui porte le risque métier lit le dossier et les risques résiduels décrits
- Il accepte par sa signature, refuse, ou autorise sous conditions et pour une durée limitée
| Certification | Autorisation | |
|---|---|---|
| La question | Les contrôles sont-ils en place et efficaces ? | Accepte-t-on les risques qui restent ? |
| Qui | Des évaluateurs, idéalement indépendants | Un responsable qui porte le risque métier |
| Ce qu'elle produit | Un dossier d'évaluation | Une décision signée, parfois à durée limitée |
| En cuisine | L'inspection qui vérifie le classeur et les équipements | Le chef qui décide d'ouvrir ce soir |
La distinction compte, parce qu'elle place la décision au bon endroit. L'équipe de sécurité ne « donne pas son feu vert ». Elle décrit les risques. Celui qui répond du métier les accepte ou non, et il le fait en connaissance de cause, comme pour une dérogation au billet P5.
Dans les organisations qui livrent en continu, l'autorisation ne se refait pas à chaque déploiement. Elle porte sur le système et sur sa chaîne de livraison : on autorise une fois un processus qui garantit que chaque changement respecte les règles, puis on surveille en continu qu'il les respecte. C'est le sujet du billet suivant.
Scénario : Knight Capital, le 1er août 2012, ou le huitième serveur
Le 1er août 2012, la société américaine de courtage Knight Capital perd plus de 460 millions de dollars en quarante-cinq minutes environ. Il n'y a pas d'attaque. Le 16 octobre 2013, l'autorité américaine des marchés financiers, la SEC, publie une décision qui reconstitue l'incident et inflige une amende de 12 millions de dollars.
Knight utilise un routeur automatique d'ordres, qui découpe les ordres de ses clients en ordres plus petits et les envoie aux marchés. Pour un nouveau programme de la Bourse de New York, prévu le 1er août, l'entreprise modifie ce routeur.
Dans le même code subsiste une ancienne fonction, appelée Power Peg, que Knight n'utilise plus depuis 2003. Elle n'a jamais été retirée des serveurs. En 2005, une modification ailleurs dans le code a cassé son mécanisme d'arrêt, sans que personne la reteste : si on la réveillait, elle continuerait d'envoyer des ordres même après que l'ordre du client a été entièrement exécuté. Le nouveau code réutilise un drapeau qui servait autrefois à activer Power Peg.
À partir du 27 juillet, un technicien déploie le nouveau code sur les huit serveurs du routeur. Il en oublie un. Personne ne relit le déploiement, et aucune procédure écrite ne l'exige. Sur le huitième serveur, l'ancien code Power Peg est toujours là.
Le 1er août, avant l'ouverture, le système interne envoie 97 courriels automatiques qui mentionnent le routeur et une erreur liée à Power Peg. Ils n'ont pas été conçus comme des alertes, et personne ne les lit.
À l'ouverture, les ordres qui portent le drapeau réutilisé arrivent sur le huitième serveur et réveillent Power Peg. En quarante-cinq minutes environ, le routeur envoie des millions d'ordres pour 212 ordres de clients déjà exécutés. Le résultat : environ 4 millions d'exécutions sur 154 titres, plus de 397 millions d'actions, et des positions de plusieurs milliards de dollars que personne n'avait voulues.
Pour corriger, l'équipe retire le nouveau code des sept serveurs à jour. Cela aggrave la situation : sur ces serveurs aussi, les ordres réveillent désormais l'ancien code.
La figure 7 reprend ce déroulé, du déploiement au retour arrière.
- À partir du 27 juillet, un technicien déploie le nouveau code sur les serveurs du routeur
- Il en oublie un : sur le huitième serveur, l'ancien code Power Peg est toujours là
- Le 1er août, avant l'ouverture, 97 courriels mentionnent une erreur liée à Power Peg : personne ne les lit
- À l'ouverture, les ordres qui portent le drapeau réutilisé réveillent Power Peg sur le huitième serveur
- En quarante-cinq minutes environ, le routeur envoie des millions d'ordres pour 212 ordres déjà exécutés
- Pour corriger, l'équipe retire le nouveau code des sept serveurs à jour
- Cela aggrave la situation : sur ces serveurs aussi, les ordres réveillent désormais l'ancien code
La SEC relève l'absence de contrôles pour arrêter des ordres erronés, l'absence de procédure écrite de déploiement, l'absence de règle pour le code inutilisé en production, et l'absence de procédure de réponse à incident disant quand débrancher un système défaillant du marché.
Relisons l'incident avec ce billet.
| Sujet de ce billet | Ce que la décision établit | Ce qui aurait changé l'issue |
|---|---|---|
| Code mort | Une fonction abandonnée en 2003, toujours installée, jamais retestée | La supprimer, au lieu de la laisser dormir |
| Drapeaux | Un drapeau réutilisé pour une nouvelle fonction | Un nouveau drapeau, un nouveau nom |
| Release automatisée | Une copie manuelle, un serveur oublié sur huit | Un déploiement automatisé qui touche tout ou rien |
| Seconde personne | Aucune relecture du déploiement | Une validation et une vérification par quelqu'un d'autre |
| Vérifier que tout est identique | Sept serveurs à jour, un non, sans que personne le sache | Une vérification automatique des versions après déploiement |
| Supervision | 97 courriels d'erreur que personne ne lit | Des alertes qui réveillent quelqu'un |
| Geste d'arrêt | Pas de procédure pour débrancher le système | Un arrêt d'urgence décidé à l'avance, avec ses conditions |
| Retour arrière | Un retour arrière improvisé qui aggrave la panne | Un retour arrière prévu, répété, compris |
Aucune ligne de ce tableau ne décrit une faille technique difficile. Chacune décrit une étape de mise en service qui manquait. Prises séparément, aucune n'aurait suffi à causer l'incident. Il fallait la conjonction : le code mort, le drapeau réutilisé, le serveur oublié, les alertes ignorées, l'absence de geste d'arrêt. Chacune des huit lignes, si elle avait été tenue, aurait coupé la chaîne.
La dernière ligne est la plus cruelle. Face à l'urgence, l'équipe a fait le geste le plus naturel : revenir à l'ancienne version. Mais l'ancienne version, sur ces serveurs, était justement celle où le drapeau réveillait Power Peg. Un retour arrière qu'on n'a pas préparé est un second déploiement, fait dans la panique, sans plus de garanties que le premier.
On retrouve la cuisine du début. Une ancienne fiche oubliée sur l'étagère, un nouveau plat qui porte le même numéro qu'un ancien, un seul poste qui n'a pas reçu la nouvelle fiche. Le premier bon de commande qui arrive à ce poste-là part avec l'ancienne recette, et personne ne sait comment l'arrêter.
Testez-vous
Quels sont les deux dangers d'un drapeau de fonctionnalité ?
L'accumulation et la réutilisation. Un drapeau qu'on a oublié de retirer laisse dans le code une branche que plus personne ne teste. Un drapeau réutilisé peut réveiller l'ancien comportement là où l'ancien code est encore présent.
Qu'est-ce qui distingue la certification de l'accréditation ?
La certification est l'évaluation technique : une équipe vérifie que les contrôles prévus sont en place et fonctionnent, et produit un dossier. L'accréditation est la décision : une personne qui porte le risque métier accepte, par sa signature, les risques résiduels décrits.
Chez Knight Capital, pourquoi le retour arrière a-t-il aggravé la situation ?
L'équipe a retiré le nouveau code des sept serveurs à jour. Sur ces serveurs aussi, les ordres ont alors réveillé l'ancien code, celui où le drapeau réveillait Power Peg.
Points clés
- L'analyse de risque opérationnel se demande ce qui se passe si la mise en service échoue, comment revenir en arrière, et comment tout arrêter.
- Tout ce qui définit la production est versionné. On reconstruit plutôt que de modifier, et on détecte les écarts.
- Un drapeau a une date de retrait et ne se réutilise jamais. Le code inutilisé se supprime, il ne se désactive pas.
- Une release sécurisée est automatisée, validée par une seconde personne, déployée par vagues, réversible et vérifiée.
- Clés, certificats, secrets, journaux et rapports de test sont des données de sécurité, rangées comme des données restreintes.
- L'installation part d'une image durcie, sans compte par défaut, avec des secrets amorcés par la plateforme.
- La certification évalue, l'autorisation décide. Celui qui porte le risque métier signe.
Dans la série
Palier 3 : Assurer le service. Domaine : Exploitation.
- Précédent : Résultats de tests de sécurité : trier, suivre, protéger les données
- Suivant : Supervision, incidents, correctifs : tenir un logiciel en production
- Vue d'ensemble : Sécurité du cycle de vie logiciel : par où commencer dans La Brigade
Pour aller plus loin
- CSSLP Certification Exam Outline, ISC2 : objectifs 7.1 à 7.6.
- In the Matter of Knight Capital Americas LLC, décision de la SEC du 16 octobre 2013.