Aller au contenu

PD-244 — Cahier de tests (audit documentaire)

1. Portee des tests

Ce qui est teste

  • Conformite structurelle et semantique des fichiers YAML de matrice et de gaps.
  • Completude des exigences ISO 14641 et NF Z42-013 (100% des exigences inventoriees).
  • Tracabilite exigence -> statut -> preuve -> gap/story quand applicable.
  • Fidelite des rendus Markdown par rapport aux sources YAML.
  • Coherence des metriques de synthese (dashboard et registre consolide des gaps).

Ce qui n'est pas teste

  • Validation juridique du contenu des normes PDF source (hors extraction deja inventoriee).
  • Verification technique du code applicatif ProbatioVault.
  • Evaluation de la pertinence metier des decisions de statut (hors conformite formelle aux regles INV/CA).

2. Scenarios de validation YAML

TC-YAML-001 : Validation schema et champs obligatoires

Objectif : Verifier que chaque YAML respecte le schema attendu (champs requis, types, enums). INV/CA couvert : INV-PD244-02, CA-PD244-01, CA-PD244-02

Given : Les fichiers PD-244-iso-14641-matrix.yaml, PD-244-nf-z42-013-matrix.yaml, PD-244-gaps.yaml sont disponibles. When : J'execute un validateur de schema YAML avec regles de types et enum de statuts. Then : Tous les fichiers passent sans erreur; aucun champ obligatoire manquant; aucun statut hors enum.

Automatisable : Oui Methode : Script YAML validator

TC-YAML-002 : Unicite des exigences dans chaque matrice

Objectif : Garantir qu'une exigence normative apparait exactement une seule fois dans sa matrice. INV/CA couvert : INV-PD244-01, CA-PD244-01, CA-PD244-02

Given : Les deux matrices YAML sont chargees en memoire. When : Je calcule les doublons sur l'identifiant d'exigence par norme. Then : Aucun doublon detecte; chaque identifiant est present exactement une fois.

Automatisable : Oui Methode : Script de controle d'unicite

TC-YAML-003 : Statuts applicables valides

Objectif : Verifier que toute exigence applicable a un statut renseigne et valide. INV/CA couvert : INV-PD244-02, CA-PD244-01, CA-PD244-02

Given : Les exigences marquees applicables dans les matrices. When : Je filtre les lignes applicables et controle la presence du champ status dans l'enum autorise. Then : 100% des exigences applicables ont un statut valide.

Automatisable : Oui Methode : Script YAML validator

TC-YAML-004 : Interdiction de CONFORME sans preuve

Objectif : Verifier qu'aucune exigence avec statut CONFORME n'est sans preuve verifiable. INV/CA couvert : INV-PD244-03, CA-PD244-03

Given : Les lignes de matrices ayant status = CONFORME. When : Je controle que chaque ligne contient au moins une preuve avec reference exploitable (fichier, section, URL interne, ticket). Then : Zero occurrence CONFORME sans preuve verifiable.

Automatisable : Oui Methode : Script de regles metier

TC-YAML-005 : HORS_PERIMETRE justifie et testable

Objectif : Verifier que tout HORS_PERIMETRE porte une justification explicite et testable. INV/CA couvert : INV-PD244-05, CA-PD244-08

Given : Les lignes de matrices ayant status = HORS_PERIMETRE. When : Je controle la presence d'une justification, d'un critere de testabilite et d'un element de contexte (scope/projet). Then : Chaque HORS_PERIMETRE est justifie sans ambiguite et peut etre audite.

Automatisable : Oui Methode : Script de regles + revue manuelle echantillonnee

TC-YAML-006 : Tracabilite claims doc 41/42/43

Objectif : Verifier que chaque claim des docs 41/42/43 pointe une exigence et une preuve. INV/CA couvert : INV-PD244-07, CA-PD244-09

Given : Les sections claims presentes dans les artefacts YAML de matrice. When : Je controle la chaine claim -> requirement_id -> proof_ref. Then : 100% des claims sont relies a une exigence et une preuve verifiable.

Automatisable : Oui Methode : Script de tracabilite

3. Scenarios de validation contenu

TC-CONT-001 : Completude ISO 14641 (100%)

Objectif : Verifier que toutes les exigences inventoriees ISO 14641 sont presentes. INV/CA couvert : INV-PD244-01, CA-PD244-01

Given : L'inventaire de reference ISO 14641 et la matrice PD-244-iso-14641-matrix.yaml. When : Je compare les identifiants de l'inventaire avec ceux de la matrice. Then : Taux de couverture = 100%; aucun identifiant manquant.

Automatisable : Oui Methode : Comparaison de listes (diff)

TC-CONT-002 : Completude NF Z42-013 (100%)

Objectif : Verifier que toutes les exigences inventoriees NF Z42-013 sont presentes. INV/CA couvert : INV-PD244-01, CA-PD244-02

Given : L'inventaire de reference NF Z42-013 et la matrice PD-244-nf-z42-013-matrix.yaml. When : Je compare les identifiants de l'inventaire avec ceux de la matrice. Then : Taux de couverture = 100%; aucun identifiant manquant.

Automatisable : Oui Methode : Comparaison de listes (diff)

TC-CONT-003 : Preuve verifiable pour PARTIEL

Objectif : Verifier que toute exigence PARTIEL contient une preuve verifiable. INV/CA couvert : INV-PD244-03, CA-PD244-03

Given : Les lignes des matrices ayant status = PARTIEL. When : Je controle la presence et l'accessibilite des references de preuve. Then : 100% des exigences PARTIEL disposent d'une preuve verifiable.

Automatisable : Oui Methode : Script de validation de references + revue manuelle sur exceptions

TC-CONT-004 : Gap obligatoire pour PARTIEL/NON_IMPLEMENTE

Objectif : Verifier qu'un gap avec story planifiee existe pour chaque exigence PARTIEL ou NON_IMPLEMENTE. INV/CA couvert : INV-PD244-04, CA-PD244-04, CA-PD244-07

Given : Les exigences de matrices en PARTIEL ou NON_IMPLEMENTE et le fichier PD-244-gaps.yaml. When : Je fais la jointure requirement_id entre matrices et gaps. Then : Chaque exigence ciblee a un gap associe avec identifiant de story (format PD-XXX) et statut de planification.

Automatisable : Oui Methode : Script de jointure et controle de format

Objectif : Verifier qu'aucun extrait protege des PDFs normatifs n'est cite textuellement. INV/CA couvert : INV-PD244-08

Given : L'ensemble des artefacts YAML/MD de PD-244. When : Je recherche des citations longues, extraits verbatim et marqueurs de reproduction non autorisee. Then : Aucune citation copyright detectee; uniquement references et paraphrases conformes.

Automatisable : Partiellement Methode : Detection textuelle + revue manuelle juridique

4. Scenarios de validation Markdown

TC-MD-001 : Fidelite ISO YAML -> Markdown

Objectif : Verifier que PD-244-iso-14641-matrix.md est une representation fidele du YAML source. INV/CA couvert : INV-PD244-06, CA-PD244-05

Given : PD-244-iso-14641-matrix.yaml et PD-244-iso-14641-matrix.md. When : Je compare nombre de lignes d'exigences, statuts, preuves, justifications et gaps references. Then : Zero divergence de contenu entre YAML et Markdown.

Automatisable : Oui Methode : Comparaison diff structuree

TC-MD-002 : Fidelite NF YAML -> Markdown

Objectif : Verifier que PD-244-nf-z42-013-matrix.md est fidele au YAML source. INV/CA couvert : INV-PD244-06, CA-PD244-05

Given : PD-244-nf-z42-013-matrix.yaml et PD-244-nf-z42-013-matrix.md. When : Je compare les colonnes de tracabilite et les valeurs ligne a ligne. Then : Zero divergence de contenu entre YAML et Markdown.

Automatisable : Oui Methode : Comparaison diff structuree

TC-MD-003 : Fidelite gaps YAML -> Markdown

Objectif : Verifier que PD-244-gaps.md reprend integralement PD-244-gaps.yaml. INV/CA couvert : INV-PD244-06, CA-PD244-07

Given : PD-244-gaps.yaml et PD-244-gaps.md. When : Je compare ids de gaps, exigences source, stories associees, priorites et statuts. Then : Tous les gaps YAML sont presents en Markdown sans ecart.

Automatisable : Oui Methode : Comparaison diff structuree

5. Scenarios de validation gaps

TC-GAP-001 : Integrite du registre des gaps

Objectif : Verifier la structure et la qualite minimale de chaque gap. INV/CA couvert : INV-PD244-04, CA-PD244-04, CA-PD244-07

Given : PD-244-gaps.yaml. When : Je controle les champs obligatoires (gap_id, requirement_id, story_id, owner, priority, status, target_date). Then : Chaque gap est complet, non ambigu et exploitable pour pilotage.

Automatisable : Oui Methode : Script YAML validator

TC-GAP-002 : Bijectivite exigences en ecart -> gaps

Objectif : Verifier qu'aucune exigence en ecart n'est sans gap et qu'aucun gap n'est orphelin. INV/CA couvert : INV-PD244-04, CA-PD244-04

Given : Les matrices YAML et le registre PD-244-gaps.yaml. When : Je compare l'ensemble des exigences PARTIEL/NON_IMPLEMENTE avec l'ensemble des requirement_id du registre. Then : Correspondance totale dans les deux sens (ni manque, ni surplus).

Automatisable : Oui Methode : Script de reconciliation

TC-GAP-003 : Consolidation des stories de gap

Objectif : Verifier que la liste consolidee des stories de gap est complete et dedupliquee. INV/CA couvert : CA-PD244-07

Given : PD-244-gaps.yaml, PD-244-gaps.md, PD-244-compliance-dashboard.md. When : J'extrais les story_id depuis les sources et compare les ensembles. Then : Meme liste dans tous les artefacts, sans doublon, avec compte coherent.

Automatisable : Oui Methode : Script de comparaison d'ensembles

6. Scenarios de validation dashboard

TC-DASH-001 : Presence du tableau de synthese et score global

Objectif : Verifier que le dashboard contient un tableau de synthese avec score global explicite. INV/CA couvert : CA-PD244-06

Given : PD-244-compliance-dashboard.md. When : Je controle la presence des sections de synthese (totaux, repartition des statuts, score global). Then : Le tableau est present, lisible et le score global est calcule.

Automatisable : Oui Methode : Verification structure Markdown

TC-DASH-002 : Coherence des metriques dashboard vs matrices/gaps

Objectif : Verifier que les indicateurs du dashboard correspondent aux donnees sources. INV/CA couvert : CA-PD244-06, CA-PD244-07

Given : Les deux matrices YAML, PD-244-gaps.yaml et PD-244-compliance-dashboard.md. When : Je recalcule les metriques (totaux, statuts, taux, nombre de gaps, stories associees). Then : Toutes les valeurs du dashboard sont exactes et reproductibles.

Automatisable : Oui Methode : Script de recalcul + comparaison

TC-DASH-003 : Tracabilite claim -> exigence -> preuve dans la synthese

Objectif : Verifier que la synthese expose la tracabilite des claims critiques. INV/CA couvert : INV-PD244-07, CA-PD244-09

Given : PD-244-compliance-dashboard.md et les matrices YAML. When : Je controle un echantillon representatif de claims et leurs liens vers exigence et preuve. Then : La chaine de tracabilite est visible, consistante et auditable.

Automatisable : Partiellement Methode : Revue manuelle guidee par extraction automatique

7. Matrice de tracabilite TC -> CA/INV

Test ID INV couverts CA couverts
TC-YAML-001 INV-PD244-02 CA-PD244-01, CA-PD244-02
TC-YAML-002 INV-PD244-01 CA-PD244-01, CA-PD244-02
TC-YAML-003 INV-PD244-02 CA-PD244-01, CA-PD244-02
TC-YAML-004 INV-PD244-03 CA-PD244-03
TC-YAML-005 INV-PD244-05 CA-PD244-08
TC-YAML-006 INV-PD244-07 CA-PD244-09
TC-CONT-001 INV-PD244-01 CA-PD244-01
TC-CONT-002 INV-PD244-01 CA-PD244-02
TC-CONT-003 INV-PD244-03 CA-PD244-03
TC-CONT-004 INV-PD244-04 CA-PD244-04, CA-PD244-07
TC-CONT-005 INV-PD244-08 -
TC-MD-001 INV-PD244-06 CA-PD244-05
TC-MD-002 INV-PD244-06 CA-PD244-05
TC-MD-003 INV-PD244-06 CA-PD244-07
TC-GAP-001 INV-PD244-04 CA-PD244-04, CA-PD244-07
TC-GAP-002 INV-PD244-04 CA-PD244-04
TC-GAP-003 - CA-PD244-07
TC-DASH-001 - CA-PD244-06
TC-DASH-002 - CA-PD244-06, CA-PD244-07
TC-DASH-003 INV-PD244-07 CA-PD244-09

8. Checklist de revue manuelle

  • Tous les fichiers attendus existent et sont nommes exactement selon la specification PD-244.
  • Aucun test ne reference un INV/CA hors perimetre PD-244.
  • Les statuts utilises sont strictement dans l'enum autorise et coherents entre YAML/MD.
  • Aucun CONFORME ou PARTIEL sans preuve verifiable et consultable.
  • Tous les PARTIEL/NON_IMPLEMENTE ont un gap et une story planifiee.
  • Tous les HORS_PERIMETRE ont une justification testable, factuelle et non generique.
  • Les claims docs 41/42/43 sont tracables vers exigence et preuve.
  • Les matrices Markdown sont des vues fideles des YAML (pas de divergences).
  • Le dashboard contient score global, repartition des statuts et liste consolidee des stories de gap.
  • Aucun extrait des PDFs normatifs ne viole les contraintes de copyright.