Le briefing de seize heures

Le jour où une nouvelle carte entre en service, la cuisine ne change pas tout d'un coup. Le chef a fait le briefing à seize heures. Chaque poste a reçu sa fiche technique à jour, et on a retiré des étagères les fiches de l'ancienne carte pour que personne ne s'y réfère par erreur. Les premiers plats partent vers des tables d'habitués, qui diront franchement ce qu'ils en pensent. Si un plat ne tient pas, il disparaît de l'ardoise avant le deuxième service, et l'ancien revient.

Rien de tout cela n'est improvisé. La cuisine a une procédure pour changer de carte, et elle la suit même quand tout le monde est pressé.

La figure 1 déroule cette procédure.

  • Les premiers plats, puis l'avis des habitués
Figure 1 : le changement de carte, une procédure que la cuisine suit

Le palier 3 commence ici. Les deux premiers paliers ont conçu, construit et testé le logiciel. Celui-ci le fait vivre. Ce premier billet traite du moment où il passe en production : ce qu'on évalue avant, comment on tient sa configuration, comment on livre, où l'on range les données de sécurité, comment on installe, et qui dit oui. Le cas réel montre ce que coûtent quarante-cinq minutes quand une seule de ces étapes manque.

En bref. Ce billet suit un logiciel au moment où il passe en production : l'analyse de risque opérationnel, la configuration, la release, les données de sécurité, l'installation et l'autorisation d'exploiter. Le cas réel est celui de Knight Capital, le 1er août 2012 : plus de 460 millions de dollars perdus en quarante-cinq minutes environ, sans attaque.

Le risque opérationnel : ce qui change le jour de la mise en service

Un logiciel en test et le même logiciel en production ne courent pas les mêmes risques. Les données sont réelles, les utilisateurs aussi, les attaquants également. Les interfaces avec d'autres systèmes ne sont plus simulées. Une erreur ne coûte plus un ticket, elle coûte de l'argent, des données ou de la confiance.

L'analyse de risque opérationnel reprend la méthode du billet P6 et l'applique au système tel qu'il sera exploité. Elle pose des questions que la conception ne posait pas encore.

Question Ce qu'elle cherche Exemple
Que se passe-t-il si la mise en service échoue à mi-chemin ? Les états intermédiaires dangereux Une moitié des serveurs à jour, l'autre non
Peut-on revenir en arrière, et en combien de temps ? La capacité de retour Une migration de base qui ne se défait pas
Qui surveille pendant les premières heures ? La détection d'un comportement anormal Une astreinte prévenue, des alertes actives
Qu'est-ce qui dépend de ce système ? L'impact en cascade Un service aval qui suppose l'ancien format
Quelles anciennes fonctions restent présentes ? Le code mort qui pourrait se réveiller Une fonction désactivée mais encore installée
Que fait-on si tout va mal ? Le geste d'arrêt Couper le service, débrancher l'automate, basculer

La dernière ligne est celle qu'on oublie le plus. Un système qui agit seul, à grande vitesse, doit pouvoir être arrêté par un humain, vite, sans réunion. Ce geste se décide à l'avance, avec le nom de celui qui a le droit de le faire et les conditions qui le déclenchent. La cinquième ligne est le cœur du cas réel de ce billet.

À retenir. Le jour de la mise en service, la question n'est plus « est-ce que ça marche ? » mais « que fait-on si ça ne marche pas ? »

Tenir la configuration

Une grande partie des incidents de production ne vient pas du code. Elle vient de la configuration : un paramètre modifié à la main sur un serveur, une valeur différente entre deux nœuds censés être identiques, un réglage de test resté en production. Le programme du cours consacre trois leçons à la gestion des changements, de la configuration et des versions. Elles se résument en trois règles.

Tout ce qui définit la production est versionné. Le code, bien sûr, mais aussi la configuration de l'application, celle de l'infrastructure, les règles de pare-feu, les politiques d'accès, les schémas de base de données. On doit pouvoir dire, pour n'importe quelle date, ce qui tournait en production et qui l'a décidé.

La production se reconstruit, elle ne se modifie pas. Un serveur qu'on modifie à la main dérive de sa définition. Un serveur qu'on reconstruit depuis sa définition à chaque changement ne dérive pas. C'est l'idée des infrastructures immuables : on ne répare pas un conteneur, on le remplace.

Les écarts se détectent. Un outil compare régulièrement la production réelle à sa définition versionnée et signale toute différence. Une différence est soit un changement non autorisé, soit une définition à mettre à jour. Dans les deux cas, quelqu'un doit le savoir.

La figure 2 fait jouer ces trois règles sur un même serveur.

Dépôtversionnédéfinition de laproduction Production Modification àla main Outil decomparaison définitionversionnée 1 paramètremodifié 2 production réelle 3 4 1 2 3 4 1. À chaque changement, le serveur est reconstruit depuis sa définition versionnée 2. Un paramètre modifié à la main sur un serveur le fait dériver de sa définition 3. Un outil compare régulièrement la production réelle à sa définition versionnée 4. Il signale toute différence : un changement non autorisé, ou une définition à mettreà jour
  1. À chaque changement, le serveur est reconstruit depuis sa définition versionnée
  2. Un paramètre modifié à la main sur un serveur le fait dériver de sa définition
  3. Un outil compare régulièrement la production réelle à sa définition versionnée
  4. Il signale toute différence : un changement non autorisé, ou une définition à mettre à jour
Figure 2 : la production reconstruite depuis sa définition, et l'écart détecté

La configuration de référence du billet P5 prend ici tout son sens. C'est la version minimale et durcie de chaque type de composant : quels services actifs, quels ports, quels comptes, quels journaux. Elle se vérifie automatiquement, à chaque déploiement, comme le prévoyait le billet P17.

Pratique Ce qu'elle empêche En cuisine
Configuration versionnée Ne plus savoir ce qui tournait hier Les fiches techniques datées et archivées
Reconstruction plutôt que modification La dérive silencieuse d'un serveur On refait la sauce, on ne la « rattrape » pas
Détection des écarts Le changement que personne n'a autorisé Le chef qui goûte et reconnaît qu'on a changé la recette
Configuration de référence Les réglages dangereux par défaut Le réglage standard de chaque four
Retrait des anciennes versions Le réveil d'un comportement oublié Les anciennes fiches retirées de l'étagère

La dernière ligne est le sujet de la section suivante.


Le code mort et les drapeaux

Les équipes qui livrent souvent utilisent des drapeaux de fonctionnalité : un paramètre qui active ou désactive une partie du code sans redéployer. La technique est excellente pour livrer progressivement et revenir en arrière vite. Elle a deux dangers, que le plan d'examen range parmi les risques de mise en service.

Le premier est l'accumulation. Un drapeau qu'on a oublié de retirer laisse dans le code une branche que plus personne ne teste. Elle reste installée en production, prête à se réveiller si quelqu'un remet le drapeau à vrai.

Le second est la réutilisation. Un drapeau dont le nom ou la position sert à autre chose après des années peut réveiller l'ancien comportement là où l'ancien code est encore présent.

La figure 3 met ces deux dangers côte à côte.

  • Ancien comportement qui se réveille
Figure 3 : les deux dangers d'un drapeau de fonctionnalité

Trois règles suffisent à tenir ces risques.

  • Chaque drapeau a une date de retrait. Quand la fonctionnalité est généralisée, le drapeau et l'ancienne branche disparaissent du code, dans la même demande de fusion.
  • Un drapeau ne se réutilise jamais. Une nouvelle fonctionnalité reçoit un nouveau drapeau, avec un nouveau nom.
  • Le code inutilisé sort de la production. Une fonction désactivée mais encore installée est une fonction non documentée au sens du billet P17. Elle ne se désactive pas, elle se supprime.
À retenir. Un comportement qu'on a seulement désactivé n'a pas disparu. Il attend qu'on le rallume par erreur.

Livrer : la release sécurisée

Une release sécurisée est la suite de la chaîne de fabrication du billet P16. Le livrable a été construit, signé, testé. Il reste à le mettre en service sans rien perdre de ces garanties.

La figure 4 en donne le trajet, du livrable signé à la vérification finale.

  • Anomalie qui déclenche le retour arrière
Figure 4 : une release sécurisée. Chaque flèche « anomalie » est prévue avant le déploiement.

Cinq pratiques en font une release sécurisée plutôt qu'une simple mise en ligne.

Le déploiement est automatisé. Un humain qui copie des fichiers sur huit serveurs finira par en oublier un. Une chaîne automatisée déploie partout, ou nulle part.

Une seconde personne valide. Le changement en production est approuvé par quelqu'un d'autre que celui qui l'a préparé. C'est la séparation des tâches du billet P2, appliquée à la mise en service.

On déploie par vagues. Le premier cercle reçoit le changement, on observe, puis on étend. Le cas CrowdStrike du billet P17 montrait ce que coûte un envoi à tous à la fois.

Le retour arrière est prévu et répété. On sait, avant de commencer, comment revenir à la version précédente et combien de temps cela prend. Les changements qui ne se défont pas, comme certaines migrations de données, se préparent à part et se découpent.

On vérifie que tout est identique. Après le déploiement, une vérification automatique confirme que toutes les instances exécutent la même version. Un écart arrête tout.

En cuisine, c'est le changement de carte : briefing, fiches distribuées, anciennes fiches retirées, premiers plats aux habitués, retour à l'ancienne recette si besoin. Personne ne découvre la nouvelle carte en lisant un bon de commande.


Ranger les données de sécurité

Un système en production produit et consomme des données dont la seule fonction est sa sécurité. Le plan d'examen leur consacre un objectif, parce qu'elles sont à la fois très sensibles et souvent mal rangées.

Donnée de sécurité Pourquoi elle est sensible Où elle doit vivre
Clés cryptographiques Qui a la clé a tout, comme au billet P3 Un module matériel ou un service de gestion de clés
Certificats et leurs clés privées Usurpation de l'identité du service Le même, avec un renouvellement automatique
Secrets et identifiants techniques Accès aux autres systèmes Un coffre à secrets, comme au billet P14
Journaux de sécurité Preuve et détection ; cible de qui veut effacer ses traces Une plateforme centrale, en écriture seule
Configuration de sécurité Une règle modifiée ouvre une porte Le dépôt versionné, avec revue
Résultats d'analyse et rapports de test Une carte des faiblesses non corrigées Un espace à accès restreint

La dernière ligne est souvent oubliée.

Piège. Un rapport de test d'intrusion qui décrit trois failles ouvertes est le document le plus utile qu'un attaquant puisse trouver. Il se range comme une donnée restreinte, au sens du billet P8.

Les certificats méritent un mot de plus. Un certificat qui expire est une panne programmée, et parfois pire : le cas du billet P20 montre un certificat expiré qui avait rendu aveugle un équipement de surveillance pendant des mois.

En pratique. Un inventaire des certificats, avec leur date d'expiration et un renouvellement automatique, fait partie de la mise en service.

Installer proprement

L'installation est le moment où un système est le plus vulnérable. Il n'est pas encore durci, ses comptes par défaut existent peut-être, ses secrets sont en train d'arriver. Quatre règles la sécurisent.

Partir d'une image durcie. On n'installe pas un système générique pour le durcir ensuite. On part d'une image qui respecte déjà la configuration de référence.

Supprimer les comptes et mots de passe par défaut. Aucun compte livré avec le produit ne survit à l'installation, ou alors avec un secret propre à cette instance. Le billet P11 en faisait une règle pour l'embarqué ; elle vaut partout.

Amorcer les secrets sans les exposer. Le système qui démarre a besoin de ses premiers secrets. Il les obtient de la plateforme, par son identité, et non par un fichier copié à la main ou une variable visible dans la console.

Vérifier avant d'ouvrir. Le système n'est raccordé au trafic réel qu'après une vérification automatique de sa configuration. Un écart avec la référence arrête l'installation.

La figure 5 reprend ces quatre règles, une par image.

  • Ajouté à cette étape
  • Un écart avec la référence arrête l'installation
Figure 5 : quatre règles avant de raccorder un système au trafic réel

Pour un logiciel installé chez des clients, ces règles deviennent des exigences sur le produit lui-même : des réglages sûrs par défaut, un guide d'installation qui dit vrai, comme au billet P17, et aucun mot de passe commun à toutes les installations.


Qui dit oui : l'autorisation d'exploiter

Dans les organisations publiques et les secteurs réglementés, un système n'entre pas en production sur la seule décision de l'équipe qui l'a construit. Une autorité désignée délivre une autorisation d'exploiter. Le programme du cours y consacre une leçon, sous le nom anglais de certification et accreditation.

Deux temps se suivent, et ils sont distincts.

La certification est l'évaluation technique. Une équipe, idéalement indépendante, vérifie que les contrôles prévus sont en place et fonctionnent. Elle produit un dossier : ce qui a été testé, ce qui a été trouvé, ce qui reste ouvert. C'est l'état de ce qui reste, décrit au billet P18.

L'accréditation, ou autorisation, est la décision. Une personne qui porte le risque métier lit le dossier et accepte, par sa signature, de faire fonctionner le système avec les risques résiduels décrits. Elle peut aussi refuser, ou autoriser sous conditions et pour une durée limitée.

La figure 6 suit le dossier, de l'évaluation à la signature.

Systèmecontrôles prévus Évaluateursidéalementindépendants Responsableporte le risquemétier vérification 1 dossierd'évaluation 2 3 décision signée 4 1 2 3 4 1. La certification : une équipe vérifie que les contrôles prévus sont en place etfonctionnent 2. Elle produit un dossier : ce qui a été testé, ce qui a été trouvé, ce qui reste ouvert 3. L'accréditation : celui qui porte le risque métier lit le dossier et les risques résiduelsdécrits 4. Il accepte par sa signature, refuse, ou autorise sous conditions et pour une duréelimitée
  1. La certification : une équipe vérifie que les contrôles prévus sont en place et fonctionnent
  2. Elle produit un dossier : ce qui a été testé, ce qui a été trouvé, ce qui reste ouvert
  3. L'accréditation : celui qui porte le risque métier lit le dossier et les risques résiduels décrits
  4. Il accepte par sa signature, refuse, ou autorise sous conditions et pour une durée limitée
Figure 6 : la certification évalue, l'autorisation décide
Certification Autorisation
La question Les contrôles sont-ils en place et efficaces ? Accepte-t-on les risques qui restent ?
Qui Des évaluateurs, idéalement indépendants Un responsable qui porte le risque métier
Ce qu'elle produit Un dossier d'évaluation Une décision signée, parfois à durée limitée
En cuisine L'inspection qui vérifie le classeur et les équipements Le chef qui décide d'ouvrir ce soir

La distinction compte, parce qu'elle place la décision au bon endroit. L'équipe de sécurité ne « donne pas son feu vert ». Elle décrit les risques. Celui qui répond du métier les accepte ou non, et il le fait en connaissance de cause, comme pour une dérogation au billet P5.

Dans les organisations qui livrent en continu, l'autorisation ne se refait pas à chaque déploiement. Elle porte sur le système et sur sa chaîne de livraison : on autorise une fois un processus qui garantit que chaque changement respecte les règles, puis on surveille en continu qu'il les respecte. C'est le sujet du billet suivant.

À retenir. L'équipe de sécurité décrit les risques. Celui qui porte le métier les accepte. Personne d'autre ne peut le faire à sa place.

Scénario : Knight Capital, le 1er août 2012, ou le huitième serveur

Le 1er août 2012, la société américaine de courtage Knight Capital perd plus de 460 millions de dollars en quarante-cinq minutes environ. Il n'y a pas d'attaque. Le 16 octobre 2013, l'autorité américaine des marchés financiers, la SEC, publie une décision qui reconstitue l'incident et inflige une amende de 12 millions de dollars.

Knight utilise un routeur automatique d'ordres, qui découpe les ordres de ses clients en ordres plus petits et les envoie aux marchés. Pour un nouveau programme de la Bourse de New York, prévu le 1er août, l'entreprise modifie ce routeur.

Dans le même code subsiste une ancienne fonction, appelée Power Peg, que Knight n'utilise plus depuis 2003. Elle n'a jamais été retirée des serveurs. En 2005, une modification ailleurs dans le code a cassé son mécanisme d'arrêt, sans que personne la reteste : si on la réveillait, elle continuerait d'envoyer des ordres même après que l'ordre du client a été entièrement exécuté. Le nouveau code réutilise un drapeau qui servait autrefois à activer Power Peg.

À partir du 27 juillet, un technicien déploie le nouveau code sur les huit serveurs du routeur. Il en oublie un. Personne ne relit le déploiement, et aucune procédure écrite ne l'exige. Sur le huitième serveur, l'ancien code Power Peg est toujours là.

Le 1er août, avant l'ouverture, le système interne envoie 97 courriels automatiques qui mentionnent le routeur et une erreur liée à Power Peg. Ils n'ont pas été conçus comme des alertes, et personne ne les lit.

À l'ouverture, les ordres qui portent le drapeau réutilisé arrivent sur le huitième serveur et réveillent Power Peg. En quarante-cinq minutes environ, le routeur envoie des millions d'ordres pour 212 ordres de clients déjà exécutés. Le résultat : environ 4 millions d'exécutions sur 154 titres, plus de 397 millions d'actions, et des positions de plusieurs milliards de dollars que personne n'avait voulues.

Pour corriger, l'équipe retire le nouveau code des sept serveurs à jour. Cela aggrave la situation : sur ces serveurs aussi, les ordres réveillent désormais l'ancien code.

La figure 7 reprend ce déroulé, du déploiement au retour arrière.

Routeur d'ordres Technicien Sept serveursnouveau code Équipe Ordres desclients Huitième serveurancien code PowerPeg Systèmeinterne97 courriels Marchés nouveau code 1 oubli 2 3 drapeau réutilisé 4 millions d'ordres 5 retrait du code 6 7 1 2 3 4 5 6 7 1. À partir du 27 juillet, un technicien déploie le nouveau code sur les serveurs durouteur 2. Il en oublie un : sur le huitième serveur, l'ancien code Power Peg est toujours là 3. Le 1er août, avant l'ouverture, 97 courriels mentionnent une erreur liée à Power Peg: personne ne les lit 4. À l'ouverture, les ordres qui portent le drapeau réutilisé réveillent Power Peg sur lehuitième serveur 5. En quarante-cinq minutes environ, le routeur envoie des millions d'ordres pour 212ordres déjà exécutés 6. Pour corriger, l'équipe retire le nouveau code des sept serveurs à jour 7. Cela aggrave la situation : sur ces serveurs aussi, les ordres réveillent désormaisl'ancien code
  1. À partir du 27 juillet, un technicien déploie le nouveau code sur les serveurs du routeur
  2. Il en oublie un : sur le huitième serveur, l'ancien code Power Peg est toujours là
  3. Le 1er août, avant l'ouverture, 97 courriels mentionnent une erreur liée à Power Peg : personne ne les lit
  4. À l'ouverture, les ordres qui portent le drapeau réutilisé réveillent Power Peg sur le huitième serveur
  5. En quarante-cinq minutes environ, le routeur envoie des millions d'ordres pour 212 ordres déjà exécutés
  6. Pour corriger, l'équipe retire le nouveau code des sept serveurs à jour
  7. Cela aggrave la situation : sur ces serveurs aussi, les ordres réveillent désormais l'ancien code
Figure 7 : Knight Capital, du serveur oublié au retour arrière qui aggrave la panne

La SEC relève l'absence de contrôles pour arrêter des ordres erronés, l'absence de procédure écrite de déploiement, l'absence de règle pour le code inutilisé en production, et l'absence de procédure de réponse à incident disant quand débrancher un système défaillant du marché.

Relisons l'incident avec ce billet.

Sujet de ce billet Ce que la décision établit Ce qui aurait changé l'issue
Code mort Une fonction abandonnée en 2003, toujours installée, jamais retestée La supprimer, au lieu de la laisser dormir
Drapeaux Un drapeau réutilisé pour une nouvelle fonction Un nouveau drapeau, un nouveau nom
Release automatisée Une copie manuelle, un serveur oublié sur huit Un déploiement automatisé qui touche tout ou rien
Seconde personne Aucune relecture du déploiement Une validation et une vérification par quelqu'un d'autre
Vérifier que tout est identique Sept serveurs à jour, un non, sans que personne le sache Une vérification automatique des versions après déploiement
Supervision 97 courriels d'erreur que personne ne lit Des alertes qui réveillent quelqu'un
Geste d'arrêt Pas de procédure pour débrancher le système Un arrêt d'urgence décidé à l'avance, avec ses conditions
Retour arrière Un retour arrière improvisé qui aggrave la panne Un retour arrière prévu, répété, compris

Aucune ligne de ce tableau ne décrit une faille technique difficile. Chacune décrit une étape de mise en service qui manquait. Prises séparément, aucune n'aurait suffi à causer l'incident. Il fallait la conjonction : le code mort, le drapeau réutilisé, le serveur oublié, les alertes ignorées, l'absence de geste d'arrêt. Chacune des huit lignes, si elle avait été tenue, aurait coupé la chaîne.

La dernière ligne est la plus cruelle. Face à l'urgence, l'équipe a fait le geste le plus naturel : revenir à l'ancienne version. Mais l'ancienne version, sur ces serveurs, était justement celle où le drapeau réveillait Power Peg. Un retour arrière qu'on n'a pas préparé est un second déploiement, fait dans la panique, sans plus de garanties que le premier.

On retrouve la cuisine du début. Une ancienne fiche oubliée sur l'étagère, un nouveau plat qui porte le même numéro qu'un ancien, un seul poste qui n'a pas reçu la nouvelle fiche. Le premier bon de commande qui arrive à ce poste-là part avec l'ancienne recette, et personne ne sait comment l'arrêter.

À retenir. Un déploiement à moitié fait est pire qu'un déploiement pas fait. Au moins, l'ancien système était cohérent.

Testez-vous

Quels sont les deux dangers d'un drapeau de fonctionnalité ?

L'accumulation et la réutilisation. Un drapeau qu'on a oublié de retirer laisse dans le code une branche que plus personne ne teste. Un drapeau réutilisé peut réveiller l'ancien comportement là où l'ancien code est encore présent.

Qu'est-ce qui distingue la certification de l'accréditation ?

La certification est l'évaluation technique : une équipe vérifie que les contrôles prévus sont en place et fonctionnent, et produit un dossier. L'accréditation est la décision : une personne qui porte le risque métier accepte, par sa signature, les risques résiduels décrits.

Chez Knight Capital, pourquoi le retour arrière a-t-il aggravé la situation ?

L'équipe a retiré le nouveau code des sept serveurs à jour. Sur ces serveurs aussi, les ordres ont alors réveillé l'ancien code, celui où le drapeau réveillait Power Peg.


Points clés

  • L'analyse de risque opérationnel se demande ce qui se passe si la mise en service échoue, comment revenir en arrière, et comment tout arrêter.
  • Tout ce qui définit la production est versionné. On reconstruit plutôt que de modifier, et on détecte les écarts.
  • Un drapeau a une date de retrait et ne se réutilise jamais. Le code inutilisé se supprime, il ne se désactive pas.
  • Une release sécurisée est automatisée, validée par une seconde personne, déployée par vagues, réversible et vérifiée.
  • Clés, certificats, secrets, journaux et rapports de test sont des données de sécurité, rangées comme des données restreintes.
  • L'installation part d'une image durcie, sans compte par défaut, avec des secrets amorcés par la plateforme.
  • La certification évalue, l'autorisation décide. Celui qui porte le risque métier signe.

Dans la série

Palier 3 : Assurer le service. Domaine : Exploitation.


Pour aller plus loin