L'assiette qui revient en cuisine

Quand une assiette revient en cuisine, le chef ne se contente pas de la jeter. Il demande ce qui s'est passé. Trop salé : c'est la main du commis, ou le fond qui a réduit trop longtemps ? Si c'est le fond, toutes les assiettes du soir sont concernées. Il note l'incident dans le cahier, avec la table et l'heure. Le lendemain, en briefing, il en parle, et il vérifie que le fond a bien été refait.

Il y a aussi ce qui sert aux essais. Les produits qu'on utilise pour mettre au point une nouvelle recette ne sont pas ceux du service. On ne prend pas le homard réservé pour la table douze pour tester une sauce. Et les restes des essais ne repartent pas en chambre froide avec les produits du service.

Ce billet ferme le palier 2. Le billet P17 a dit comment tester. Celui-ci dit quoi faire de ce qu'on trouve : lire un résultat, en mesurer la portée, le classer, le suivre jusqu'à sa correction. Il traite aussi de ce qu'on utilise pour tester, et en particulier des données. Le cas réel montre qu'une copie de production faite pour un essai peut fuir pendant des années après qu'on l'a oubliée.

En bref. Ce billet part d'un rapport de test de sécurité : comment le lire, séparer gravité et priorité, classer chaque défaut et le suivre jusqu'à la vérification de sa correction. Il traite ensuite des données de test, puis de la vérification et de la validation. Le cas réel est celui d'Optimove et de Deezer : une copie faite en avril 2019, une amende de la CNIL en décembre 2025.

Lire un résultat : ce qu'il dit, ce qu'il implique

Un rapport de test de sécurité est une liste de constats. Chacun dit ce que l'outil ou le testeur a observé. Aucun ne dit, à lui seul, ce que cela signifie pour toi. Le travail de lecture consiste à passer de l'un à l'autre.

Quatre questions structurent cette lecture.

Question Ce qu'elle cherche Exemple
Qu'est-ce qu'un attaquant obtient ? L'impact réel, en termes de biens et de propriétés « Lecture des allergies de n'importe quel client » plutôt que « injection SQL »
Que lui faut-il pour l'obtenir ? Les conditions : accès, compétence, compte Un compte client ordinaire suffit
Le constat se combine-t-il avec d'autres ? Les enchaînements, au sens de l'arbre d'attaque du billet P12 Une fuite d'identifiants plus un défaut d'autorisation donnent un accès complet
Qu'est-ce que le constat révèle du processus ? La cause qui a laissé passer le défaut Aucun test d'autorisation par objet dans la suite

La troisième question est celle que les rapports automatiques ne posent jamais. Deux constats notés « moyen » peuvent former ensemble un chemin critique. Un message d'erreur trop bavard qui révèle une version, plus une faille connue dans cette version, plus un service exposé : aucun des trois n'est grave seul, les trois ensemble le sont. Un testeur humain cherche ces enchaînements. Un tableau de constats triés par score les cache.

La figure 1 dessine cet enchaînement.

  • Ce que donnent les trois constats réunis
Figure 1 : trois constats sans gravité isolée, un chemin critique une fois réunis

La quatrième question est celle qui améliore la suite. Un défaut trouvé en test est la preuve qu'un contrôle plus amont l'a laissé passer. On se demande lequel, et on le renforce. C'est la recherche de cause du billet P15, appliquée au processus plutôt qu'au code.

À retenir. Un constat dit ce qu'on a vu. Sa lecture dit ce qu'un attaquant en ferait.

Gravité et priorité ne sont pas la même chose

Une fois lu, chaque défaut reçoit deux attributs qu'il faut se garder de confondre.

La gravité mesure l'impact technique du défaut s'il est exploité. Elle dépend du défaut et du contexte, et elle change peu. Le billet P15 a montré comment un score standard l'estime, et pourquoi il faut l'ajuster au contexte.

La priorité dit dans quel ordre on corrige. Elle dépend de la gravité, mais aussi de l'exposition, de l'existence d'une attaque publique, du coût de la correction et du calendrier. Elle peut changer d'un jour à l'autre : une faille de gravité moyenne devient prioritaire le jour où un outil d'attaque est publié.

La figure 2 rassemble ce dont la priorité dépend.

  • L'ordre dans lequel on corrige
Figure 2 : la gravité n'est qu'une des cinq entrées de la priorité
Défaut Gravité Exposition Priorité Pourquoi
Lecture de la commande d'un autre client Élevée Service public Immédiate Exploitable par n'importe quel client, données personnelles
Injection dans un outil interne d'administration Critique Réseau d'administration, comptes nominatifs Haute Grave, mais l'accès est restreint et journalisé
En-tête de sécurité manquant Faible Service public Prochaine itération Correction triviale, à grouper avec d'autres
Bibliothèque vulnérable, fonction concernée jamais appelée Élevée en théorie Non atteignable Mise à jour planifiée Le chemin n'existe pas aujourd'hui ; il pourrait exister demain

La deuxième ligne montre qu'un défaut critique n'est pas toujours le premier à corriger. La première montre qu'un défaut « seulement élevé » peut l'être. C'est l'écart entre risque technique et risque métier du billet P6.

En cuisine, c'est la différence entre un plat trop salé et une volaille pas cuite. La seconde est plus grave. Mais si le plat trop salé part en ce moment vers vingt tables et la volaille vers aucune, c'est le sel qu'on corrige d'abord.


Classer les défauts pour apprendre

Un défaut corrigé disparaît. Un défaut classé reste une information. Le plan d'examen demande de classer et suivre les erreurs de sécurité pour une raison précise : c'est la seule façon de voir les motifs.

Une fiche de défaut utile contient peu de champs, mais toujours les mêmes.

Champ Ce qu'il permet
Type de faiblesse, en référence CWE Voir qu'une même famille revient, et cibler formation et règles d'analyse
Composant concerné Voir qu'une partie du système concentre les défauts
Phase d'introduction Exigence, conception, code, configuration : où est né le défaut
Phase de détection Revue, build, test, production : où l'a-t-on trouvé
Technique qui l'a trouvé Savoir quels outils rapportent, et lesquels ne trouvent jamais rien
Gravité et priorité Ordonner le travail
Exigence ou menace liée Rattacher le défaut à la matrice de traçabilité
Dates : découverte, correction, vérification Mesurer les délais

Les troisième et quatrième lignes, lues ensemble, donnent la métrique la plus parlante d'un programme de sécurité : l'écart entre le moment où un défaut naît et celui où on le trouve. Un défaut de conception trouvé en production a traversé toutes les activités des paliers 1 et 2 sans être arrêté. Si c'est fréquent, ces activités ne fonctionnent pas.

La figure 3 relie les phases d'introduction aux phases de détection.

  • Défaut qui échappe à tous les contrôles jusqu'à la production
Figure 3 : chaque défaut part d'une phase d'introduction et arrive à une phase de détection. Les flèches pointillées sont celles qu'on veut rendre rares

Une autre lecture utile est le taux d'échappement : la part des défauts trouvés en production plutôt qu'avant. Il ne se mesure pas sur une semaine, mais sur un an il dit si la stratégie de test du billet P17 fait son travail.


Suivre jusqu'au bout

Un défaut n'est pas clos quand le développeur dit qu'il l'a corrigé. Il est clos quand quelqu'un a vérifié que la correction tient. Le cycle de vie d'un défaut de sécurité a donc une étape de plus que celui d'un défaut ordinaire.

La figure 4 en donne les états et les transitions.

Figure 4 : le cycle de vie d'un défaut de sécurité. Une dérogation revient en tri à son échéance

Trois règles s'y ajoutent.

La vérification est faite par quelqu'un d'autre. Celui qui a corrigé croit sa correction juste. Celui qui a trouvé le défaut, ou un pair, refait l'attaque. C'est encore la séparation des tâches.

Le test de non-régression reste. Le test qui reproduit la faille entre dans la suite et y reste. Une faille qui revient sans déclencher d'alerte est une faille qu'on n'a pas vraiment corrigée.

Les défauts de sécurité ont une visibilité restreinte. Un ticket qui décrit précisément comment exploiter une faille non corrigée est un mode d'emploi. Son accès se limite à ceux qui en ont besoin, jusqu'à la correction.


Les données de test : la seconde production

Pour tester un logiciel, il faut des données. La tentation est toujours la même : copier la production. Les données sont réalistes, complètes, et elles existent déjà. C'est aussi la façon la plus sûre de créer une seconde production, contenant les mêmes données personnelles, mais moins bien gardée que la première. Le billet P8 l'annonçait.

Les environnements de test sont moins protégés par construction. Plus de personnes y ont accès, parfois des prestataires. Les journaux y sont plus bavards. Les contrôles y sont assouplis pour déboguer. Les sauvegardes y sont moins suivies. Personne ne les surveille la nuit.

Cinq approches existent, de la plus sûre à la moins sûre.

Approche Ce qu'elle fait Avantage Limite
Données synthétiques Générer des données fictives réalistes Aucune donnée personnelle Demande un générateur qui respecte les règles métier
Anonymisation Rendre impossible le retour aux personnes La donnée sort du champ des données personnelles Difficile à réussir vraiment, comme le disait le billet P8
Pseudonymisation et masquage Remplacer les identifiants et les champs sensibles Garde la structure et les relations La donnée reste personnelle, avec ses obligations
Sous-ensemble minimal Extraire seulement ce dont le test a besoin Réduit l'exposition Reste une copie de production
Copie intégrale Recopier la production Réalisme total Une seconde production, moins protégée

La règle de conception est d'aller aussi haut que possible dans ce tableau. Les données synthétiques suffisent à la plupart des tests fonctionnels et de sécurité. Les tests de performance ou de migration demandent parfois plus de réalisme, et c'est là que la pseudonymisation sert.

Quand une copie de données réelles est inévitable, elle se traite comme une donnée de production, avec cinq règles.

  • Une décision écrite. Qui a autorisé la copie, pour quel besoin, pour combien de temps. Le propriétaire des données, au sens du billet P8, signe.
  • Le même niveau de protection. Chiffrement, contrôle d'accès, journal des accès, comme en production.
  • Une date de destruction. La copie disparaît à la fin du besoin, et la destruction se prouve.
  • Un inventaire. On sait à tout moment combien de copies existent et où. Une copie qu'on ne sait plus localiser est une fuite qui n'a pas encore été découverte.
  • Le contrat suit la donnée. Si un prestataire fait la copie, il agit dans le cadre de ses instructions, et seulement là.

La figure 5 pose ces cinq règles autour de la copie.

Production Copie pour lestestsdonnées réelles Inventaire Propriétairedes données Prestataire décision écrite 1 données réelles 2 3 emplacement 4 5 1 2 3 4 5 1. Le propriétaire des données signe : qui a autorisé la copie, pour quel besoin, pourcombien de temps 2. La copie reçoit le niveau de protection de la production : chiffrement, contrôled'accès, journal des accès 3. La copie disparaît à la fin du besoin, et la destruction se prouve 4. On sait à tout moment combien de copies existent et où 5. Si un prestataire fait la copie, il agit dans le cadre de ses instructions, et seulementlà
  1. Le propriétaire des données signe : qui a autorisé la copie, pour quel besoin, pour combien de temps
  2. La copie reçoit le niveau de protection de la production : chiffrement, contrôle d'accès, journal des accès
  3. La copie disparaît à la fin du besoin, et la destruction se prouve
  4. On sait à tout moment combien de copies existent et où
  5. Si un prestataire fait la copie, il agit dans le cadre de ses instructions, et seulement là
Figure 5 : les cinq règles d'une copie de données réelles

La dernière règle est celle du cas réel de ce billet.

À retenir. Une copie de production faite pour tester reste une copie de production. Elle a juste perdu ses gardiens.

Vérifier, valider, et ce qui reste

Le dernier objectif du domaine Tests tient en deux mots qu'on emploie souvent l'un pour l'autre.

La vérification répond à la question : a-t-on construit le logiciel comme on l'avait décidé ? On compare le produit à ses exigences et à sa conception. Les tests de ce palier en font partie, comme les revues des billets P13 et P15.

La validation répond à une autre question : a-t-on construit le bon logiciel ? On compare le produit au besoin réel, dans son environnement réel. Un logiciel peut passer toutes ses vérifications et échouer à la validation, si les exigences étaient fausses ou incomplètes.

La figure 6 place le produit entre ses deux références.

Exigences etconception Produit Besoin et usageréels vérification 1 validation 2 3 1 2 3 1. La vérification compare le produit à ses exigences et à sa conception : l'a-t-on bienfait ? 2. La validation compare le produit au besoin réel, dans son environnement réel :a-t-on fait ce qu'il fallait ? 3. Un logiciel peut passer toutes ses vérifications et échouer à la validation
  1. La vérification compare le produit à ses exigences et à sa conception : l'a-t-on bien fait ?
  2. La validation compare le produit au besoin réel, dans son environnement réel : a-t-on fait ce qu'il fallait ?
  3. Un logiciel peut passer toutes ses vérifications et échouer à la validation
Figure 6 : le même produit, comparé à deux références
Vérification Validation
La question L'a-t-on bien fait ? A-t-on fait ce qu'il fallait ?
La référence Les exigences et la conception Le besoin et l'usage réels
Qui L'équipe, des relecteurs, des testeurs Les utilisateurs, le métier, l'exploitation
Exemple de sécurité Le contrôle d'appartenance est présent sur chaque route Les rôles définis correspondent à la façon dont la salle travaille vraiment
En cuisine La recette a été suivie à la lettre Le plat plaît aux clients et convient à leurs allergies

Pour les systèmes les plus sensibles, on fait appel à une vérification et validation indépendantes, menées par une équipe qui n'a ni conçu ni construit le produit. L'indépendance a la même raison que dans le billet P17 : un contrôle qui partage les hypothèses de ce qu'il vérifie ne peut pas les contester.

Le domaine se termine par un document : l'état de ce qui reste. Avant la mise en service, celui qui porte le risque doit savoir ce qui a été testé, ce qui ne l'a pas été, quels défauts restent ouverts et quelles dérogations ont été signées. Ce document alimente l'autorisation de mise en service, premier sujet du palier 3.


Scénario : Optimove et Deezer, ou la copie oubliée

En novembre 2022, le service de musique en ligne Deezer signale à la CNIL, l'autorité française de protection des données, une fuite de données de ses utilisateurs. Les données sont mises en vente sur des forums criminels.

L'enquête remonte jusqu'à un ancien prestataire : la société israélienne Optimove, qui fournissait à Deezer des services de personnalisation marketing, sous un contrat qui avait couru de décembre 2016 à décembre 2020. Deezer confirme en janvier 2023 que la fuite vient des systèmes de ce prestataire.

Le 11 décembre 2025, la CNIL inflige à Optimove une amende d'un million d'euros. La décision est publiée le 19 décembre. Ce qui suit vient d'un compte rendu détaillé de cette décision.

En avril 2019, des employés d'Optimove avaient copié des données d'utilisateurs de Deezer, non anonymisées, vers un environnement hors production. Cette copie n'a été supprimée que le 1er octobre 2023, soit près de trois ans après la fin du contrat. Elle contenait des identifiants, des dates de naissance, le genre, la langue, des statistiques d'écoute, des listes de lecture, des artistes préférés. La fuite touche 46,9 millions d'utilisateurs dans le monde, dont 9,8 millions en France.

Devant la CNIL, Optimove a fait valoir que des employés avaient fait la copie sans que la direction le sache, pour améliorer les performances du service. La formation de la CNIL a rejeté l'argument : l'entreprise reste responsable de ce que font ses employés.

Elle retient trois manquements. Le prestataire a traité des données en dehors des instructions de son client. Il a conservé ces données après la fin du contrat au lieu de les supprimer. Et il ne tenait pas correctement le registre de ses traitements.

La figure 7 remet ces dates dans l'ordre.

Deezerclient Optimoveprestataire Copie horsproductiondonnées nonanonymisées CNIL Forumscriminels contrat 1 donnéesd'utilisateurs 2 données en vente 3 signalement 4 5 amende 6 1 2 3 4 5 6 1. De décembre 2016 à décembre 2020, Optimove fournit à Deezer des services depersonnalisation marketing 2. En avril 2019, des employés copient des données d'utilisateurs vers unenvironnement hors production 3. Les données sont mises en vente sur des forums criminels 4. En novembre 2022, Deezer signale à la CNIL une fuite de données de sesutilisateurs 5. La copie n'est supprimée que le 1er octobre 2023, près de trois ans après la fin ducontrat 6. Le 11 décembre 2025, la CNIL inflige à Optimove une amende d'un million d'euros
  1. De décembre 2016 à décembre 2020, Optimove fournit à Deezer des services de personnalisation marketing
  2. En avril 2019, des employés copient des données d'utilisateurs vers un environnement hors production
  3. Les données sont mises en vente sur des forums criminels
  4. En novembre 2022, Deezer signale à la CNIL une fuite de données de ses utilisateurs
  5. La copie n'est supprimée que le 1er octobre 2023, près de trois ans après la fin du contrat
  6. Le 11 décembre 2025, la CNIL inflige à Optimove une amende d'un million d'euros
Figure 7 : Optimove et Deezer, de la copie d'avril 2019 à l'amende de décembre 2025

Relisons l'affaire avec les règles des données de test.

Règle de ce billet Ce que montre la décision Ce qui aurait changé l'issue
Aller le plus haut possible dans le tableau Une copie intégrale, non anonymisée Des données synthétiques ou pseudonymisées pour un travail de performance
Une décision écrite Une copie faite sans que la direction le sache Une autorisation du propriétaire des données, ici le client
Une date de destruction Une copie gardée près de trois ans après la fin du contrat Une destruction prouvée à la fin du besoin, et au plus tard à la fin du contrat
Un inventaire Une copie que personne ne suivait Une liste des copies, rapprochée à chaque revue
Le contrat suit la donnée Un traitement hors des instructions du client Des exigences fournisseurs qui interdisent la copie hors production, et un contrôle

La deuxième ligne explique la nature de l'incident. Personne n'a voulu nuire. Des employés ont voulu améliorer un service, avec les données les plus réalistes à leur disposition. C'est exactement la tentation décrite plus haut, sans aucune des cinq règles pour l'encadrer.

La troisième ligne est la plus parlante. La copie a survécu au besoin qui l'avait justifiée, puis au contrat qui la couvrait. Elle a existé pendant plus de quatre ans dans un environnement que personne ne surveillait comme une production. On retrouve la leçon du billet P8 : ce qu'on ne détient plus ne peut plus fuir.

La dernière ligne regarde du côté du client, et annonce le palier 3. Deezer n'a pas fait la copie, mais ce sont ses utilisateurs qui ont été exposés. Les exigences fournisseurs du billet P9 ne protègent que si elles couvrent les environnements hors production, et si quelqu'un vérifie qu'elles sont tenues, pendant le contrat et après.

À retenir. Une copie faite pour un essai survit à l'essai si personne n'a écrit quand elle doit mourir.

Testez-vous

Quelle différence entre la gravité et la priorité d'un défaut ?

La gravité mesure l'impact technique du défaut s'il est exploité, et elle change peu. La priorité dit dans quel ordre on corrige, et elle peut changer d'un jour à l'autre.

Quand un défaut de sécurité est-il clos ?

Quand quelqu'un a vérifié que la correction tient. Que le développeur dise l'avoir corrigé ne suffit pas.

Que doit dire la décision écrite qui autorise une copie de données réelles pour un test ?

Qui a autorisé la copie, pour quel besoin, pour combien de temps. Le propriétaire des données la signe.


Points clés

  • Lire un résultat, c'est passer de ce qu'on a vu à ce qu'un attaquant en ferait : impact, conditions, enchaînements, cause dans le processus.
  • La gravité mesure l'impact, la priorité décide de l'ordre. Un défaut critique peu exposé peut passer après un défaut élevé très exposé.
  • Classer chaque défaut par type, composant, phase d'introduction et phase de détection fait apparaître les motifs et les échappements.
  • Un défaut est clos quand quelqu'un d'autre a vérifié la correction et qu'un test de non-régression la protège.
  • Les données de test viennent d'abord de générateurs. Une copie de données réelles se décide, se protège, s'inventorie et se détruit comme une production.
  • La vérification compare le produit aux exigences, la validation au besoin réel. Ce qui reste ouvert se documente avant la mise en service.

Dans la série

Palier 2 : Tenir les fourneaux. Domaine : Tests.


Pour aller plus loin