L'assiette qui revient en cuisine
Quand une assiette revient en cuisine, le chef ne se contente pas de la jeter. Il demande ce qui s'est passé. Trop salé : c'est la main du commis, ou le fond qui a réduit trop longtemps ? Si c'est le fond, toutes les assiettes du soir sont concernées. Il note l'incident dans le cahier, avec la table et l'heure. Le lendemain, en briefing, il en parle, et il vérifie que le fond a bien été refait.
Il y a aussi ce qui sert aux essais. Les produits qu'on utilise pour mettre au point une nouvelle recette ne sont pas ceux du service. On ne prend pas le homard réservé pour la table douze pour tester une sauce. Et les restes des essais ne repartent pas en chambre froide avec les produits du service.
Ce billet ferme le palier 2. Le billet P17 a dit comment tester. Celui-ci dit quoi faire de ce qu'on trouve : lire un résultat, en mesurer la portée, le classer, le suivre jusqu'à sa correction. Il traite aussi de ce qu'on utilise pour tester, et en particulier des données. Le cas réel montre qu'une copie de production faite pour un essai peut fuir pendant des années après qu'on l'a oubliée.
Lire un résultat : ce qu'il dit, ce qu'il implique
Un rapport de test de sécurité est une liste de constats. Chacun dit ce que l'outil ou le testeur a observé. Aucun ne dit, à lui seul, ce que cela signifie pour toi. Le travail de lecture consiste à passer de l'un à l'autre.
Quatre questions structurent cette lecture.
| Question | Ce qu'elle cherche | Exemple |
|---|---|---|
| Qu'est-ce qu'un attaquant obtient ? | L'impact réel, en termes de biens et de propriétés | « Lecture des allergies de n'importe quel client » plutôt que « injection SQL » |
| Que lui faut-il pour l'obtenir ? | Les conditions : accès, compétence, compte | Un compte client ordinaire suffit |
| Le constat se combine-t-il avec d'autres ? | Les enchaînements, au sens de l'arbre d'attaque du billet P12 | Une fuite d'identifiants plus un défaut d'autorisation donnent un accès complet |
| Qu'est-ce que le constat révèle du processus ? | La cause qui a laissé passer le défaut | Aucun test d'autorisation par objet dans la suite |
La troisième question est celle que les rapports automatiques ne posent jamais. Deux constats notés « moyen » peuvent former ensemble un chemin critique. Un message d'erreur trop bavard qui révèle une version, plus une faille connue dans cette version, plus un service exposé : aucun des trois n'est grave seul, les trois ensemble le sont. Un testeur humain cherche ces enchaînements. Un tableau de constats triés par score les cache.
La figure 1 dessine cet enchaînement.
- Ce que donnent les trois constats réunis
La quatrième question est celle qui améliore la suite. Un défaut trouvé en test est la preuve qu'un contrôle plus amont l'a laissé passer. On se demande lequel, et on le renforce. C'est la recherche de cause du billet P15, appliquée au processus plutôt qu'au code.
Gravité et priorité ne sont pas la même chose
Une fois lu, chaque défaut reçoit deux attributs qu'il faut se garder de confondre.
La gravité mesure l'impact technique du défaut s'il est exploité. Elle dépend du défaut et du contexte, et elle change peu. Le billet P15 a montré comment un score standard l'estime, et pourquoi il faut l'ajuster au contexte.
La priorité dit dans quel ordre on corrige. Elle dépend de la gravité, mais aussi de l'exposition, de l'existence d'une attaque publique, du coût de la correction et du calendrier. Elle peut changer d'un jour à l'autre : une faille de gravité moyenne devient prioritaire le jour où un outil d'attaque est publié.
La figure 2 rassemble ce dont la priorité dépend.
- L'ordre dans lequel on corrige
| Défaut | Gravité | Exposition | Priorité | Pourquoi |
|---|---|---|---|---|
| Lecture de la commande d'un autre client | Élevée | Service public | Immédiate | Exploitable par n'importe quel client, données personnelles |
| Injection dans un outil interne d'administration | Critique | Réseau d'administration, comptes nominatifs | Haute | Grave, mais l'accès est restreint et journalisé |
| En-tête de sécurité manquant | Faible | Service public | Prochaine itération | Correction triviale, à grouper avec d'autres |
| Bibliothèque vulnérable, fonction concernée jamais appelée | Élevée en théorie | Non atteignable | Mise à jour planifiée | Le chemin n'existe pas aujourd'hui ; il pourrait exister demain |
La deuxième ligne montre qu'un défaut critique n'est pas toujours le premier à corriger. La première montre qu'un défaut « seulement élevé » peut l'être. C'est l'écart entre risque technique et risque métier du billet P6.
En cuisine, c'est la différence entre un plat trop salé et une volaille pas cuite. La seconde est plus grave. Mais si le plat trop salé part en ce moment vers vingt tables et la volaille vers aucune, c'est le sel qu'on corrige d'abord.
Classer les défauts pour apprendre
Un défaut corrigé disparaît. Un défaut classé reste une information. Le plan d'examen demande de classer et suivre les erreurs de sécurité pour une raison précise : c'est la seule façon de voir les motifs.
Une fiche de défaut utile contient peu de champs, mais toujours les mêmes.
| Champ | Ce qu'il permet |
|---|---|
| Type de faiblesse, en référence CWE | Voir qu'une même famille revient, et cibler formation et règles d'analyse |
| Composant concerné | Voir qu'une partie du système concentre les défauts |
| Phase d'introduction | Exigence, conception, code, configuration : où est né le défaut |
| Phase de détection | Revue, build, test, production : où l'a-t-on trouvé |
| Technique qui l'a trouvé | Savoir quels outils rapportent, et lesquels ne trouvent jamais rien |
| Gravité et priorité | Ordonner le travail |
| Exigence ou menace liée | Rattacher le défaut à la matrice de traçabilité |
| Dates : découverte, correction, vérification | Mesurer les délais |
Les troisième et quatrième lignes, lues ensemble, donnent la métrique la plus parlante d'un programme de sécurité : l'écart entre le moment où un défaut naît et celui où on le trouve. Un défaut de conception trouvé en production a traversé toutes les activités des paliers 1 et 2 sans être arrêté. Si c'est fréquent, ces activités ne fonctionnent pas.
La figure 3 relie les phases d'introduction aux phases de détection.
- Défaut qui échappe à tous les contrôles jusqu'à la production
Une autre lecture utile est le taux d'échappement : la part des défauts trouvés en production plutôt qu'avant. Il ne se mesure pas sur une semaine, mais sur un an il dit si la stratégie de test du billet P17 fait son travail.
Suivre jusqu'au bout
Un défaut n'est pas clos quand le développeur dit qu'il l'a corrigé. Il est clos quand quelqu'un a vérifié que la correction tient. Le cycle de vie d'un défaut de sécurité a donc une étape de plus que celui d'un défaut ordinaire.
La figure 4 en donne les états et les transitions.
Trois règles s'y ajoutent.
La vérification est faite par quelqu'un d'autre. Celui qui a corrigé croit sa correction juste. Celui qui a trouvé le défaut, ou un pair, refait l'attaque. C'est encore la séparation des tâches.
Le test de non-régression reste. Le test qui reproduit la faille entre dans la suite et y reste. Une faille qui revient sans déclencher d'alerte est une faille qu'on n'a pas vraiment corrigée.
Les défauts de sécurité ont une visibilité restreinte. Un ticket qui décrit précisément comment exploiter une faille non corrigée est un mode d'emploi. Son accès se limite à ceux qui en ont besoin, jusqu'à la correction.
Les données de test : la seconde production
Pour tester un logiciel, il faut des données. La tentation est toujours la même : copier la production. Les données sont réalistes, complètes, et elles existent déjà. C'est aussi la façon la plus sûre de créer une seconde production, contenant les mêmes données personnelles, mais moins bien gardée que la première. Le billet P8 l'annonçait.
Les environnements de test sont moins protégés par construction. Plus de personnes y ont accès, parfois des prestataires. Les journaux y sont plus bavards. Les contrôles y sont assouplis pour déboguer. Les sauvegardes y sont moins suivies. Personne ne les surveille la nuit.
Cinq approches existent, de la plus sûre à la moins sûre.
| Approche | Ce qu'elle fait | Avantage | Limite |
|---|---|---|---|
| Données synthétiques | Générer des données fictives réalistes | Aucune donnée personnelle | Demande un générateur qui respecte les règles métier |
| Anonymisation | Rendre impossible le retour aux personnes | La donnée sort du champ des données personnelles | Difficile à réussir vraiment, comme le disait le billet P8 |
| Pseudonymisation et masquage | Remplacer les identifiants et les champs sensibles | Garde la structure et les relations | La donnée reste personnelle, avec ses obligations |
| Sous-ensemble minimal | Extraire seulement ce dont le test a besoin | Réduit l'exposition | Reste une copie de production |
| Copie intégrale | Recopier la production | Réalisme total | Une seconde production, moins protégée |
La règle de conception est d'aller aussi haut que possible dans ce tableau. Les données synthétiques suffisent à la plupart des tests fonctionnels et de sécurité. Les tests de performance ou de migration demandent parfois plus de réalisme, et c'est là que la pseudonymisation sert.
Quand une copie de données réelles est inévitable, elle se traite comme une donnée de production, avec cinq règles.
- Une décision écrite. Qui a autorisé la copie, pour quel besoin, pour combien de temps. Le propriétaire des données, au sens du billet P8, signe.
- Le même niveau de protection. Chiffrement, contrôle d'accès, journal des accès, comme en production.
- Une date de destruction. La copie disparaît à la fin du besoin, et la destruction se prouve.
- Un inventaire. On sait à tout moment combien de copies existent et où. Une copie qu'on ne sait plus localiser est une fuite qui n'a pas encore été découverte.
- Le contrat suit la donnée. Si un prestataire fait la copie, il agit dans le cadre de ses instructions, et seulement là.
La figure 5 pose ces cinq règles autour de la copie.
- Le propriétaire des données signe : qui a autorisé la copie, pour quel besoin, pour combien de temps
- La copie reçoit le niveau de protection de la production : chiffrement, contrôle d'accès, journal des accès
- La copie disparaît à la fin du besoin, et la destruction se prouve
- On sait à tout moment combien de copies existent et où
- Si un prestataire fait la copie, il agit dans le cadre de ses instructions, et seulement là
La dernière règle est celle du cas réel de ce billet.
Vérifier, valider, et ce qui reste
Le dernier objectif du domaine Tests tient en deux mots qu'on emploie souvent l'un pour l'autre.
La vérification répond à la question : a-t-on construit le logiciel comme on l'avait décidé ? On compare le produit à ses exigences et à sa conception. Les tests de ce palier en font partie, comme les revues des billets P13 et P15.
La validation répond à une autre question : a-t-on construit le bon logiciel ? On compare le produit au besoin réel, dans son environnement réel. Un logiciel peut passer toutes ses vérifications et échouer à la validation, si les exigences étaient fausses ou incomplètes.
La figure 6 place le produit entre ses deux références.
- La vérification compare le produit à ses exigences et à sa conception : l'a-t-on bien fait ?
- La validation compare le produit au besoin réel, dans son environnement réel : a-t-on fait ce qu'il fallait ?
- Un logiciel peut passer toutes ses vérifications et échouer à la validation
| Vérification | Validation | |
|---|---|---|
| La question | L'a-t-on bien fait ? | A-t-on fait ce qu'il fallait ? |
| La référence | Les exigences et la conception | Le besoin et l'usage réels |
| Qui | L'équipe, des relecteurs, des testeurs | Les utilisateurs, le métier, l'exploitation |
| Exemple de sécurité | Le contrôle d'appartenance est présent sur chaque route | Les rôles définis correspondent à la façon dont la salle travaille vraiment |
| En cuisine | La recette a été suivie à la lettre | Le plat plaît aux clients et convient à leurs allergies |
Pour les systèmes les plus sensibles, on fait appel à une vérification et validation indépendantes, menées par une équipe qui n'a ni conçu ni construit le produit. L'indépendance a la même raison que dans le billet P17 : un contrôle qui partage les hypothèses de ce qu'il vérifie ne peut pas les contester.
Le domaine se termine par un document : l'état de ce qui reste. Avant la mise en service, celui qui porte le risque doit savoir ce qui a été testé, ce qui ne l'a pas été, quels défauts restent ouverts et quelles dérogations ont été signées. Ce document alimente l'autorisation de mise en service, premier sujet du palier 3.
Scénario : Optimove et Deezer, ou la copie oubliée
En novembre 2022, le service de musique en ligne Deezer signale à la CNIL, l'autorité française de protection des données, une fuite de données de ses utilisateurs. Les données sont mises en vente sur des forums criminels.
L'enquête remonte jusqu'à un ancien prestataire : la société israélienne Optimove, qui fournissait à Deezer des services de personnalisation marketing, sous un contrat qui avait couru de décembre 2016 à décembre 2020. Deezer confirme en janvier 2023 que la fuite vient des systèmes de ce prestataire.
Le 11 décembre 2025, la CNIL inflige à Optimove une amende d'un million d'euros. La décision est publiée le 19 décembre. Ce qui suit vient d'un compte rendu détaillé de cette décision.
En avril 2019, des employés d'Optimove avaient copié des données d'utilisateurs de Deezer, non anonymisées, vers un environnement hors production. Cette copie n'a été supprimée que le 1er octobre 2023, soit près de trois ans après la fin du contrat. Elle contenait des identifiants, des dates de naissance, le genre, la langue, des statistiques d'écoute, des listes de lecture, des artistes préférés. La fuite touche 46,9 millions d'utilisateurs dans le monde, dont 9,8 millions en France.
Devant la CNIL, Optimove a fait valoir que des employés avaient fait la copie sans que la direction le sache, pour améliorer les performances du service. La formation de la CNIL a rejeté l'argument : l'entreprise reste responsable de ce que font ses employés.
Elle retient trois manquements. Le prestataire a traité des données en dehors des instructions de son client. Il a conservé ces données après la fin du contrat au lieu de les supprimer. Et il ne tenait pas correctement le registre de ses traitements.
La figure 7 remet ces dates dans l'ordre.
- De décembre 2016 à décembre 2020, Optimove fournit à Deezer des services de personnalisation marketing
- En avril 2019, des employés copient des données d'utilisateurs vers un environnement hors production
- Les données sont mises en vente sur des forums criminels
- En novembre 2022, Deezer signale à la CNIL une fuite de données de ses utilisateurs
- La copie n'est supprimée que le 1er octobre 2023, près de trois ans après la fin du contrat
- Le 11 décembre 2025, la CNIL inflige à Optimove une amende d'un million d'euros
Relisons l'affaire avec les règles des données de test.
| Règle de ce billet | Ce que montre la décision | Ce qui aurait changé l'issue |
|---|---|---|
| Aller le plus haut possible dans le tableau | Une copie intégrale, non anonymisée | Des données synthétiques ou pseudonymisées pour un travail de performance |
| Une décision écrite | Une copie faite sans que la direction le sache | Une autorisation du propriétaire des données, ici le client |
| Une date de destruction | Une copie gardée près de trois ans après la fin du contrat | Une destruction prouvée à la fin du besoin, et au plus tard à la fin du contrat |
| Un inventaire | Une copie que personne ne suivait | Une liste des copies, rapprochée à chaque revue |
| Le contrat suit la donnée | Un traitement hors des instructions du client | Des exigences fournisseurs qui interdisent la copie hors production, et un contrôle |
La deuxième ligne explique la nature de l'incident. Personne n'a voulu nuire. Des employés ont voulu améliorer un service, avec les données les plus réalistes à leur disposition. C'est exactement la tentation décrite plus haut, sans aucune des cinq règles pour l'encadrer.
La troisième ligne est la plus parlante. La copie a survécu au besoin qui l'avait justifiée, puis au contrat qui la couvrait. Elle a existé pendant plus de quatre ans dans un environnement que personne ne surveillait comme une production. On retrouve la leçon du billet P8 : ce qu'on ne détient plus ne peut plus fuir.
La dernière ligne regarde du côté du client, et annonce le palier 3. Deezer n'a pas fait la copie, mais ce sont ses utilisateurs qui ont été exposés. Les exigences fournisseurs du billet P9 ne protègent que si elles couvrent les environnements hors production, et si quelqu'un vérifie qu'elles sont tenues, pendant le contrat et après.
Testez-vous
Quelle différence entre la gravité et la priorité d'un défaut ?
La gravité mesure l'impact technique du défaut s'il est exploité, et elle change peu. La priorité dit dans quel ordre on corrige, et elle peut changer d'un jour à l'autre.
Quand un défaut de sécurité est-il clos ?
Quand quelqu'un a vérifié que la correction tient. Que le développeur dise l'avoir corrigé ne suffit pas.
Que doit dire la décision écrite qui autorise une copie de données réelles pour un test ?
Qui a autorisé la copie, pour quel besoin, pour combien de temps. Le propriétaire des données la signe.
Points clés
- Lire un résultat, c'est passer de ce qu'on a vu à ce qu'un attaquant en ferait : impact, conditions, enchaînements, cause dans le processus.
- La gravité mesure l'impact, la priorité décide de l'ordre. Un défaut critique peu exposé peut passer après un défaut élevé très exposé.
- Classer chaque défaut par type, composant, phase d'introduction et phase de détection fait apparaître les motifs et les échappements.
- Un défaut est clos quand quelqu'un d'autre a vérifié la correction et qu'un test de non-régression la protège.
- Les données de test viennent d'abord de générateurs. Une copie de données réelles se décide, se protège, s'inventorie et se détruit comme une production.
- La vérification compare le produit aux exigences, la validation au besoin réel. Ce qui reste ouvert se documente avant la mise en service.
Dans la série
Palier 2 : Tenir les fourneaux. Domaine : Tests.
- Précédent : Tests de sécurité : stratégie, cas de test, fonctions non documentées
- Suivant : Mise en production sécurisée : configuration, release, autorisation
- Vue d'ensemble : Sécurité du cycle de vie logiciel : par où commencer dans La Brigade
Pour aller plus loin
- CSSLP Certification Exam Outline, ISC2 : objectifs 6.5 à 6.8.
- Deezer's marketing partner hit with €1 million in processor violations, PPC Land, compte rendu de la décision de la CNIL du 11 décembre 2025.
- RGPD : donnée personnelle, anonymisation, pseudonymisation et Choisir un sous-traitant : la due diligence RGPD article 28, sur ce blog.