PD-EXP-01 — Comparaison de patterns de prompt pour les gates PMO¶

Date : 2026-02-18 Statut : ✅ Complété — 4 phases exécutées Auteur : Claude (orchestration) + GPT-5.3-codex (vérification croisée)

1. Résumé exécutif¶

Question : L'ordre d'injection des instructions de gate (Q) et des documents à analyser (C) influence-t-il la qualité des revues PMO ?

Réponse : Oui, mais différemment selon le modèle revieweur.

Conclusions clés :

1. CQCQ domine quand Claude est le revieweur (+164% TP/call vs CQ statu quo)
2. QC est marginalement meilleur quand GPT est le revieweur (+7% TP/call vs CQ, delta faible)
3. CQCQ est contre-productif pour GPT : 8.5 TP/call vs 10.5 pour QC (−19%)
4. Le pattern gagnant est modèle-dépendant — pas de vainqueur universel

Recommandation par cas d'usage :

Décision GO/NO-GO :

2. Méthodologie¶

2.1 Patterns testés¶

Définitions :

• Q = instructions complètes (rôle + axes d'analyse + format de restitution)
• C = contenu des documents injectés inline (spec, tests, plan selon la gate)

2.2 Stories analysées (10)¶

2.3 Architecture en 4 phases¶

Phase 1 : Claude -p produit 116 reviews (4 patterns × 10 stories × 3 gates)
    ↓
Phase 1.5 : GPT vérifie les issues Claude (TP/FP) — 18 calls G3
    ↓
Phase 2 : GPT produit 116 reviews sur les mêmes 116 prompts
    ↓
Phase 2.5 : Claude -p vérifie les issues GPT (TP/FP) — 8 calls G3 (fixed)

Chaque phase croise le modèle producteur avec un vérificateur indépendant pour éviter le biais d'auto-évaluation.

2.4 Métriques¶

• Métrique primaire : Issues TP/call (vrais positifs par appel, vérifiés indépendamment)
• Métrique secondaire : Précision TP% (proportion d'issues fondées sur les sources)
• Score qualité : TP/call × TP% (pénalise à la fois le sous-détection et la sur-détection)

⚠️ La note de self-scoring (SCORE completeness=X.X ...) est exclue comme métrique qualité primaire car elle reflète la confiance du modèle en son propre output, pas la qualité réelle des issues remontées.

3. Résultats Phase 1 — Claude -p (116 appels)¶

3.1 Classement global par issue count brut¶

Delta max-min : 8.0 → Signal FORT (critère d'arrêt : > 0.2)

3.2 Classement par gate¶

Observations :

• G3 : CQCQ domine (32.4 avg) suivi de QC (28.6)
• G5 : QC domine (36.6 avg) avec forte inflation suspectée
• G8 : toutes très faibles (~5-8) — cohérent avec un contexte très riche limitant les écarts

3.3 Analyse PD-82 (story de référence)¶

Comparaison avec la review officielle G3 (28 issues, confrontation 28 issues) :

→ CQCQ dépasse systématiquement le plafond de la confrontation officielle : signal d'inflation potentielle confirmé par Phase 1.5.

4. Résultats Phase 1.5 — Vérification FP via GPT-5.3-codex (Claude produit)¶

4.1 Protocole¶

• 5 story-gates sélectionnées (plus fort delta Phase 1) : PD-19-G5, PD-107-G5, PD-52-G3, PD-44-G5, PD-53-G3
• 18 appels OpenCode (ChatGPT GPT-5.3-codex) : source docs + issues → TP/FP par issue
• Format de réponse : ID | TP/FP | justification courte

4.2 Limitation découverte : données G5 invalides¶

Les prompts de vérification G5 ne contenaient que spec+tests, sans le plan d'implémentation. Les issues de Gate 5 référencent majoritairement le plan (§10.x, tâches Txx, code contracts CC-44-xx), non vérifiables sans ce document.

→ Tous les résultats G5 (PD-19-G5, PD-44-G5, PD-107-G5) sont invalides et exclus de l'analyse.

4.3 Résultats Gate 3 (données fiables — PD-52 + PD-53)¶

Score qualité = TP/call × TP% (double pénalisation : sous-détection et faux positifs)

4.4 Inversion du classement Phase 1 → Phase 1.5¶

Interprétation : QC produit plus d'issues brutes mais avec une précision faible (44.7%). CQCQ produit des issues plus fiables (65.9% de TP) avec un volume absolu supérieur en vraies issues.

5. Résultats Phase 2 — GPT-5.3-codex (116 appels)¶

5.1 Classement global par issue count brut¶

Delta max-min : 1.0 → Signal MODÉRÉ (vs 8.0 pour Claude Phase 1)

Observations :

• GPT produit ~3× moins d'issues que Claude (7.5-8.5 vs 17-25 par appel)
• G8 essentiellement nul pour GPT (0.2-0.4/call) — modèle très conservateur sur closure review
• Les 4 patterns se distinguent peu en volume brut (delta = 1.0)

5.2 Comparaison producteur¶

6. Résultats Phase 2.5 — Vérification FP via Claude -p (GPT produit)¶

6.1 Protocole¶

• 8 appels G3 seulement (données G5 invalides — plan manquant, même problème que Phase 1.5)
• Stories : PD-52-G3 + PD-53-G3, 4 patterns chacune
• Bug corrigé : format d'extraction des issues GPT (plain-text Type : X / Description : Y vs markdown bold)

6.2 Résultats détaillés¶

6.3 Agrégation par pattern¶

7. Synthèse croisée : CQCQ vs QC selon le modèle¶

7.1 Tableau de synthèse complet (G3 — données fiables)¶

Lecture :

• Claude : le score de précision (TP%) et le volume tous deux augmentent avec CQCQ — double bénéfice
• GPT : QC marginalement meilleur (+7%), mais CQCQ dégrade la qualité (−24%) — la répétition nuit

7.2 Inversion des classements (résumé)¶

7.2 Hypothèse mécanistique¶

L'effet de répétition bénéfique documenté dans arXiv 2512.14982 (papier Google DeepMind, Q Q aide) est asymétrique entre modèles dans un contexte RAG long.

7.3 Impact production¶

Le workflow de governance utilise ChatGPT (GPT-5.3-codex) via OpenCode pour les gates 3, 5, 8. La recommandation de passer à CQCQ (valable pour Claude) serait contre-productive en production.

8. Analyse par gate¶

Gate 3 — Spec Review¶

Recommandation : QC pour production (gates GPT), CQCQ pour confrontations Claude.

Gate 5 — Plan Review¶

Données insuffisantes dans les deux phases (plan document manquant dans les verify prompts). À réexécuter avec le plan injecté.

Gate 8 — Closure Review¶

GPT produit quasi-zéro issues (0.2-0.4/call) pour tous les patterns. Contexte trop riche (spec + tests + acceptabilité) ou modèle trop conservateur. Pas de signal → statu quo CQ.

9. Analyse par complexité (Phase 1, G3)¶

Tendance (Claude producteur) : CQCQ avantage croissant avec la complexité.

10. Comparaison avec la littérature¶

arXiv 2512.14982 — "Prompt Repetition Improves Non-Reasoning LLMs"¶

Auteurs : Leviathan, Kalman, Matias (Google DeepMind, déc. 2025) Référence : arxiv.org/abs/2512.14982

Patterns testés dans le papier¶

Le papier ne teste que la répétition de Q seul (sans contexte intercalé). PD-EXP-01 va plus loin en testant la répétition du couple C+Q (CQCQ) dans un contexte RAG long.

Résultats comparés¶

Mécanisme — convergence théorique (cas Claude)¶

Le papier explique le gain par la contrainte causale des LLMs : "Past tokens cannot attend to future tokens. Repeating the prompt enables each token to attend to every other prompt token."

Dans notre contexte (documents ~30k chars), ce mécanisme est amplifié par le phénomène "Lost in the Middle" (Liu et al. 2023) :

Pattern CQ :
[spec+tests 30k chars]────────────────────► [instructions gate]
        ↑ zone "middle" — faible attention sur les sections centrales

Pattern CQCQ :
[docs] → [instructions] → [docs AGAIN] → [instructions AGAIN]
                                   ↑
                        Docs ré-exposés juste avant l'analyse finale
                        → attention forte sur les sections critiques

CQCQ résout simultanément :

1. Le problème d'attention Q→Q (les instructions sont répétées après le contexte)
2. Le problème "Lost in the Middle" (les documents sont réexposés proches des instructions finales)

Divergence modèle-dépendante¶

PD-EXP-01 ajoute une nuance absente du papier : l'effet de répétition est modèle-dépendant.

• Claude Sonnet 4.5 : CQCQ dominant (+327% vs CQ) — très sensible aux re-reading effects
• GPT-5.3-codex : QC marginalement meilleur (+7% vs CQ), CQCQ dégradé (−24%) — moins bénéficiaire de la double injection en long-context

Le papier arXiv testait des tâches MCQ courtes sans contexte RAG. Sur documents longs (~30k chars), le coût en tokens de la répétition est proportionnel au volume C, ce qui peut annuler le bénéfice pour les modèles moins sensibles à la répétition.

11. Limitations¶

12. Décision et recommandation¶

Décision par contexte d'usage¶

Modification recommandée — Gates production (GPT → QC)¶

Structure actuelle (CQ) :

[Documents injectés]
---
[Gate template (rôle + axes + format)]
[Auto-scoring]

Structure recommandée (QC) :

[Gate template (rôle + axes + format)]
---
[Documents injectés]
[Auto-scoring]

Bénéfice attendu : +7% TP/call sur G3, à confirmer sur G5.

Modification recommandée — Confrontations Claude (CQCQ)¶

Structure recommandée (CQCQ) pour les phases de confrontation orchestrées par Claude :

[Documents injectés]
---
[Gate template (rôle + axes + format)]
---
[Documents injectés — répétition]
---
[Gate template condensé (rôle + axes)]
[Auto-scoring]

Bénéfice attendu : +327% TP/call, +25 pts de précision vs statu quo CQ.

Prochaines étapes¶

1. G5 FP verification (obligatoire) : Re-exécuter avec plan injecté dans les verify prompts
2. Modifier templates gates GPT : CQ → QC pour G3 et G5 (si G5 confirme)
3. Modifier prompts confrontation Claude : CQ → CQCQ pour tous les appels claude -p

Annexe — Fichiers produits¶