Problèmes de citations et références #15
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Bonjour,
Les références en dessous de certains articles sont erronées. Quelques exemples :
Merci @tkon3 de nous remonter ce problème.
La génération des textes consolidés (ici le code général des impôts) est encore très préliminaire. En particulier, les références sont un grand chantier tout juste entamé et qui va faire prochainement, nous l'espérons du moins, l'objet d'un grand nettoyage. Actuellement toutes les références trouvées sont affichées en vrac, sans aucun filtre.
Ceci dit, effectivement, dans le déluge de références de l'article 80 ter du CGI, il manque :
Nous ne sommes pas étonnés qu'il manque des références, car l'algorithme pour les retrouver est encore incomplet, mais nous allons profiter de ce ticket pour en rechercher la cause. À suivre donc…
J'ai creusé pour trouver la cause de la première référence manquante : LOI n°2010-1594 du 20 décembre 2010 - art. 18, v. init. (Noter que bien que le lien soit un lien JORF c'est la version LEGI de consolidation qui est affichée, le vrai lien vers la version JORF se trouve en cliquant sur le bouton "Versions").
Dans l'open data de la Dila, ni la version JORF (XML, JSON, Markdown), ni la version LEGI (XML, JSON, Markdown) ne font référence à l'article 80 ter du CGI.
Pourtant le texte de l'article 18, dans sa version JORF contient bien sur le site Legifrance un lien vers l'article 80 ter, mais ce lien ne figure pas dans l'open data de la Dila, ni dans le texte, ni dans les metadonnées.
Il va donc falloir attendre que nous écrivions le script qui dans le texte d'un article va détecter les références à d'autres articles afin que nous injections dans les données le lien manquant.
La deuxième référence Décision n°2018-767 QPC du 22 février 2019 - art., v. init. fait référence à un article qui n'est pas dans l'open data JORF.
Cet article est disponible dans l'open data CONSTIT du Conseil constitutionnel, mais sous un autre identifiant : CONSTEXT000038472153 (texte sans article) au lieu de JORFARTI000038158608. Pour faire la jointure entre les deux données, il faudra passer par le NOR qui est présent à la fois dans les liens et dans le fichier CONSTIT : CSCX1905804S
À noter que la Décision du Conseil constitutionnel est présente de deux manières différentes dans Légifrance :
L'open data CONSTIT du Conseil constitutionnel n'est pas encore dans Tricoteuses.
La troisième référence manquante a le même problème que la première.
Je me demande comment légifrance capte les références dans les normes et la jurisprudence.
Les données utilisées proviennent des archives DILA ou celles-ci viennent de l'api PISTE ?
Peut être que piste donne des informations supplémentaires.
Quelques ressources utiles : github et huggingface
Suite à une discussion rapide avec un membre de Légifrance, je crois que, pour ajouter les liens dans les textes, la Dila utilise un outil du même genre que metslesliens. Mais c'est à confirmer.
Les données utilisées par Tricoteuses proviennent des archives open data de la Dila. Nous avions testé rapidement l'API Piste, mais elle ne nous avait pas semblé adaptée à nos besoins. Il me semble que cette API ne fournit pas non plus les liens vers les références à l'intérieur du corps des articles, mais ce serait à vérifier.
Nous avions déjà repéré les jeux de données des codes en vigueur mis sur Hugging Face par Louis Brulé Naudet, mais pas le dépôt GitHub, merci. Un de nos membres @LeMoussel a commencé à créer notre propre page Hugging Face. Les résultats sont sans doute assez proches, mais les moyens d'y parvenir sont différents. Côté Tricoteuses nous sommes focalisés sur la vision historique, la validation, la correction et la réconciliation des données Dila, tandis que le script de Louis Brulé Naudet semble montrer que sa priorité est de mettre à disposition, telles quelles, les données fournies par l'API Piste, dans un format bien adapté aux LLM.
D'après ce que j'ai pu tester, PISTE donne les mêmes références que Légifrance (qui ne sont pas forcément les bonnes).
Exemple : Article 345 du Code Civil
"linkOrientation": "cible/source"
permet de trier.@tkon3 wrote in #15 (comment):
Dommage !
Est-ce que par hasard vous avez vu une doc sur les combinaisons "linkType" & "linkOrientation" ? Parce qu'on a encore beaucoup de mal à comprendre les différentes combinaisons.
De ce que j'ai pu observer, il y a 3 clés donnant des références :
lienModifications
qui liste les modifications du texte, dans ce cas il suffit de trier par date pour obtenir la chronologie :linkType
: MODIFIE/CODIFICATIONlinkOrientation
: source/ciblelienCitations
qui liste les citations comme dans légifrance :linkType
: CITATIONlinkOrientation
: source/ciblelienConcordes
qui va lister des anciens/nouveaux textes (onglet version dans légifrance, exemples : 346 code civil et 345-2 code civil)linkType
: CONCORDElinkOrientation
: source/cibleDans les jeux de données JORF et DOLE, nous avons rencontré d'autres types de liens :
C'est pour cela qu'on est à la recherche d'une documentation.
Cet article comme exemple : Article 80 ter
Dans l'article de Legifrance, nous avons 14 liens relatifs. Comme l'indique @tkon3, PISTE donne les mêmes références que Légifrance. Nous avons bien ces 14 liens dans la section
["article"]["lienCitations"]
du JSON de la réponse de PISTE (API:/consult/getArticle
).Références faites par l'article
dans le fichierarticle_80_ter.md
du GitArticles faisant référence à l'article
puisque celle-ci n'est pas présente sur la page Legifrance ?Ces liens ne sont pas présents dans la réponse de PISTE si interrogation par ID de l'article (
consult/getArticle
).Je n'ai pas trouvé une API PISTE Legifrance permettant d'obtenir ces types de liens.
Lorsqu'avec @camille nous avons étudié les textes consolidés, nous nous sommes rendus compte que les liens pouvaient être soit de A vers B avec le sens "source" soit de B vers A avec le sens "cible".
De plus, parfois les liens sont sur la version de l'article publiée au JORF, parfois sur sa version LEGI d'intégration (en vue de la consolidation des articles modifiés, créés ou supprimés par cet article).
Pour compliquer le tout il y a des types de liens qui paraissent être des synonymes (comme MODIFIE ou MODIFICATION).
Enfin, il semblerait que de temps en temps, le lien ne soit pas mis sur l'article, mais sur le texte le contenant, etc.
Tout cela pour dire que, pour l'instant, nous n'y comprenons pas grand chose. C'est pour tenter de nous y retrouver que je suis en train d'ajouter partout les liens entrants et les liens sortants. Il manque encore les liens sur les versions LEGI d'intégration, mais je travaille justement sur ce point en essayant de trouver comment distinguer une version LEGI d'intégration d'une version LEGI de consolidation (comprenne qui pourra :) ).
Légifrance n'affiche que les liens CITE (ou CITATION).