Parser le texte du PLF 2027 au dépôt #35

Merged
Paul-henry merged 3 commits from fix/plf-2027-parser into master 2026-10-02 13:57:49 +02:00
Owner

Contexte

Ajout du texte du PLF 2027 au dépôt (n° 3210) aux tests des parseurs PLF (src/parsers/plf/). Les fixtures sont des extraits du HTML source (dyn-opendata.html) ; chaque fixture indique en commentaire les lignes du source dont elle est tirée.

Toutes les valeurs attendues des tests viennent du HTML source (sommaire, corps du texte, lignes des tableaux), et non de la sortie du parseur. Pour chaque défaut, les tests ont été écrits d'abord, et on a vérifié qu'ils échouaient pour la bonne raison avant de corriger.

parsePlfDepot : défauts corrigés

  • Corps des articles perdu : en 2027, le corps est en <p class="assnatFPFprojetloiartexte">, alors qu'il était en <li> jusqu'en 2026. Les deux sont maintenant capturés, et les paragraphes d'espacement vides sont ignorés.

  • En-têtes de page répétés (« Projet de loi de finances | 1 », tableaux avec p.assnatFARTT08Bleu) : ils étaient pris pour du contenu. Le défaut touchait aussi 2025 et 2026.

  • Tableaux d'encadrement à une seule cellule :

    • autour de l'exposé d'article : ils dupliquaient l'exposé, et leur texte gardait des espaces insécables ;
    • autour du titre d'article : le titre de l'article suivant était rangé dans l'exposé de l'article précédent (69 cas dans le PLF 2027).

    Ils sont maintenant ignorés. Les tableaux de données imbriqués (cas de l'article 37) restent capturés.

  • Puces d'exposé (li.assnatFPFexpogentexte) : 33 étaient perdues dans l'exposé général, et 68 ne survivaient qu'à travers le texte brut des encadrements. Elles sont maintenant capturées : les 101 du PLF 2027 le sont toutes.

  • Paragraphes d'exposé vides : ils sont ignorés.

  • Espaces insécables dans le texte des tableaux : extractTableText, partagée avec textes_lois et later_stage, les remplace maintenant par des espaces ordinaires, comme le fait déjà cleanText.

Deux tests 2026 validaient l'en-tête de page et le tableau d'encadrement comme du contenu. Leurs valeurs attendues ont été corrigées à partir du source.

parsePlfCredits

Les États B, C et D complets du PLF 2027 sont ajoutés en fixtures. Ils sont vérifiés contre un relevé du source qui n'utilise pas le parseur : sections, missions avec leur nombre de programmes, totaux AE/CP, lignes « dont titre 2 » et montants nuls. Le parseur était déjà correct sur ces États : 285 lignes, aucun écart.

Résultat sur le PLF 2027 complet

  • 120 subdivisions, dont 90 articles, aucun article sans corps ;
  • 7 images dans l'exposé général ;
  • aucun en-tête de page ni tableau d'encadrement dans le contenu ;
  • aucun espace insécable dans les textes extraits.

Tests d'intégration (PLF_DATA_DIR)

Le PLF 2027 au dépôt (PRJLANR5L17B3210) est ajouté aux tests integration.test.ts et variant_detection.test.ts. Les valeurs attendues ont été relevées dans le document complet, sans passer par le parseur :

Test Valeur attendue
Variante dépôt
Crédits 4 sections à totaux positifs, structure des missions et programmes des États B, C et D
Subdivisions 120 : 1 exposé, 2 parties, 4 titres, 8 chapitres, 15 sections, 90 articles
Images de l'exposé général 7, sans artefact décoratif ni image ailleurs
Articles tous ont un corps, le dernier est l'ARTICLE 89
Limite avant les États annexés « Intitulé de la recette » n'apparaît pas dans le contenu

Les résultats attendus pour les documents 2024, 2025 et 2026 n'ont pas eu besoin d'être modifiés.

Remarque, non traitée dans cette PR : le corps des articles 2027 contient 14 numéros d'alinéa convertis en image (« (23) », 38×32 px). Ces images restent incluses en base64 dans le HTML de l'alinéa concerné.

Vérifications

  • npm run type-check : OK.
  • npm run lint : 0 erreur (73 avertissements, déjà présents avant).
  • npm test : 356 tests passent ; les tests d'intégration sont ignorés sans PLF_DATA_DIR.
  • PLF_DATA_DIR=<données> npm test : 413 tests passent, aucun n'est ignoré.

🤖 Generated with Claude Code

## Contexte Ajout du texte du PLF 2027 au dépôt (n° 3210) aux tests des parseurs PLF (`src/parsers/plf/`). Les fixtures sont des extraits du HTML source (`dyn-opendata.html`) ; chaque fixture indique en commentaire les lignes du source dont elle est tirée. Toutes les valeurs attendues des tests viennent du HTML source (sommaire, corps du texte, lignes des tableaux), et non de la sortie du parseur. Pour chaque défaut, les tests ont été écrits d'abord, et on a vérifié qu'ils échouaient pour la bonne raison avant de corriger. ## `parsePlfDepot` : défauts corrigés - **Corps des articles perdu** : en 2027, le corps est en `<p class="assnatFPFprojetloiartexte">`, alors qu'il était en `<li>` jusqu'en 2026. Les deux sont maintenant capturés, et les paragraphes d'espacement vides sont ignorés. - **En-têtes de page répétés** (« Projet de loi de finances | 1 », tableaux avec `p.assnatFARTT08Bleu`) : ils étaient pris pour du contenu. Le défaut touchait aussi 2025 et 2026. - **Tableaux d'encadrement** à une seule cellule : - autour de l'exposé d'article : ils dupliquaient l'exposé, et leur texte gardait des espaces insécables ; - autour du titre d'article : le titre de l'article suivant était rangé dans l'exposé de l'article précédent (69 cas dans le PLF 2027). Ils sont maintenant ignorés. Les tableaux de données imbriqués (cas de l'article 37) restent capturés. - **Puces d'exposé** (`li.assnatFPFexpogentexte`) : 33 étaient perdues dans l'exposé général, et 68 ne survivaient qu'à travers le texte brut des encadrements. Elles sont maintenant capturées : les 101 du PLF 2027 le sont toutes. - **Paragraphes d'exposé vides** : ils sont ignorés. - **Espaces insécables dans le texte des tableaux** : `extractTableText`, partagée avec `textes_lois` et `later_stage`, les remplace maintenant par des espaces ordinaires, comme le fait déjà `cleanText`. Deux tests 2026 validaient l'en-tête de page et le tableau d'encadrement comme du contenu. Leurs valeurs attendues ont été corrigées à partir du source. ## `parsePlfCredits` Les États B, C et D complets du PLF 2027 sont ajoutés en fixtures. Ils sont vérifiés contre un relevé du source qui n'utilise pas le parseur : sections, missions avec leur nombre de programmes, totaux AE/CP, lignes « dont titre 2 » et montants nuls. Le parseur était déjà correct sur ces États : 285 lignes, aucun écart. ## Résultat sur le PLF 2027 complet - 120 subdivisions, dont 90 articles, aucun article sans corps ; - 7 images dans l'exposé général ; - aucun en-tête de page ni tableau d'encadrement dans le contenu ; - aucun espace insécable dans les textes extraits. ## Tests d'intégration (`PLF_DATA_DIR`) Le PLF 2027 au dépôt (`PRJLANR5L17B3210`) est ajouté aux tests `integration.test.ts` et `variant_detection.test.ts`. Les valeurs attendues ont été relevées dans le document complet, sans passer par le parseur : | Test | Valeur attendue | |---|---| | Variante | dépôt | | Crédits | 4 sections à totaux positifs, structure des missions et programmes des États B, C et D | | Subdivisions | 120 : 1 exposé, 2 parties, 4 titres, 8 chapitres, 15 sections, 90 articles | | Images de l'exposé général | 7, sans artefact décoratif ni image ailleurs | | Articles | tous ont un corps, le dernier est l'ARTICLE 89 | | Limite avant les États annexés | « Intitulé de la recette » n'apparaît pas dans le contenu | Les résultats attendus pour les documents 2024, 2025 et 2026 n'ont pas eu besoin d'être modifiés. Remarque, non traitée dans cette PR : le corps des articles 2027 contient 14 numéros d'alinéa convertis en image (« (23) », 38×32 px). Ces images restent incluses en base64 dans le HTML de l'alinéa concerné. ## Vérifications - `npm run type-check` : OK. - `npm run lint` : 0 erreur (73 avertissements, déjà présents avant). - `npm test` : 356 tests passent ; les tests d'intégration sont ignorés sans `PLF_DATA_DIR`. - `PLF_DATA_DIR=<données> npm test` : 413 tests passent, aucun n'est ignoré. 🤖 Generated with [Claude Code](https://claude.com/claude-code)
Add PLF 2027 dépôt fixtures extracted from the source document and fix
the parser defects they revealed, with expectations taken from the
source HTML:

- capture article bodies written as p.assnatFPFprojetloiartexte
  (PLF 2027) in addition to li (PLF ≤ 2026), skipping empty spacers
- ignore running page headers ("Projet de loi de finances | 1")
- ignore one-cell framing tables around article headings and exposés,
  which duplicated their content or leaked the next article heading
  into the previous exposé; nested data tables are kept
- capture bullet items (li.assnatFPFexpogentexte) in exposés
- skip empty exposé paragraphs
- normalize non-breaking spaces in table cell text

Update the 2026 expectations that encoded the header and framing tables
as content.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Add complete État B and États C/D fixtures extracted from the PLF 2027
dépôt source and test parsePlfCredits against values read from the
source rows: section labels, missions with programme counts, totals,
dont titre 2 lines and zero amounts.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Run the PLF_DATA_DIR integration and variant detection tests on
PRJLANR5L17B3210, with expectations read from the source document:
120 subdivisions (90 articles, 2 parties, 4 titres, 8 chapitres,
15 sections), 7 exposé images, last article 89, and the credit
structure of États B, C and D.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Paul-henry deleted branch fix/plf-2027-parser 2026-10-02 13:57:49 +02:00
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
logiciels/tricoteuses-assemblee!35
No description provided.