D'une page à un champ structuré : un pipeline de données pour LLM

Que faut-il décider avant qu'un analyseur ne touche la page ?

On décide l'entité et les champs avant de regarder un gabarit. Un produit peut avoir besoin d'un identifiant, d'un nom, d'un prix, d'une devise, d'un indicateur de disponibilité, d'un vendeur, d'une région, d'une URL source et d'un instant d'observation. Un avis peut avoir besoin d'une autorité, d'une date d'effet et d'un statut. Si un champ n'est pas sur cette liste, l'analyseur ne l'invente pas. La liste est aussi la règle de minimisation. Les noms de personnes, les identifiants de compte et les récits en texte libre restent dehors, sauf si une finalité revue les y a mis.

Le canal se décide dans le même passage. Si l'éditeur offre une API ou un fichier sous licence avec ces champs, on l'utilise. L'analyse de page est le chemin résiduel pour un matériau licitement disponible seulement comme page rendue. Ajouter un domaine est un événement de gouvernance, avec un responsable et une date de revue. MetaEdge peut acheminer la requête et renvoyer la réponse que le modèle autorise. Le modèle ne devient pas plus permissif parce qu'une démo a besoin d'une colonne de plus.

L'échec se décide avant le succès. Un prix manquant n'est pas zéro. Une date non analysée n'est pas aujourd'hui. Une page qui renvoie un défi n'est pas un catalogue vide. Chacun de ces résultats a besoin d'un statut sur lequel le système en aval peut brancher. Les équipes qui ne spécifient que le JSON heureux verront un modèle remplir les vides avec des valeurs fluides. On écrit d'abord dans le schéma les nuls, les énumérations et les conditions d'arrêt. Le chemin heureux ne suffit pas.

En quoi l'extraction diffère-t-elle du résumé ?

L'extraction copie une valeur qui est sur la page dans un emplacement typé. Le résumé écrit une phrase nouvelle sur la page. La première se vérifie contre la chaîne source. Le second non, sauf par une autre lecture. Pour les prix, les dates, les identifiants et les statuts, l'extraction est le bon travail. Un résumé peut expliquer un avis une fois les champs existants. C'est un mauvais endroit pour cacher le prix. Si le seul artefact est un paragraphe, le système suivant analysera le paragraphe, et cet analyseur est pire que celui que l'on a sauté.

On garde l'empan de preuve. Pour chaque champ extrait, on conserve la sous-chaîne brute et, lorsqu'elle existe, un pointeur stable dans la page. Un relecteur peut alors voir que 19,90 est devenu 19.90 EUR et non 1990. Sans l'empan, un litige devient une affaire de goût. Avec l'empan, il devient un diff. C'est de l'ingénierie de données ordinaire, et c'est aussi la façon dont une citation d'agent reste honnête. Le modèle cite le champ. Le champ pointe vers l'empan. L'empan pointe vers l'URL et l'heure.

On ne demande pas à un modèle d'extraire et de résumer en un seul appel si l'on a besoin d'un nombre sur lequel calculer. Le chemin attirant est une invite qui renvoie de la prose plus un blob JSON. Le blob dérive alors chaque fois que l'invite dérive. Les analyseurs déterministes vont sur les champs qui ont une grammaire, et un modèle ne sert que là où la page est de la langue et non une valeur. Lorsqu'on utilise un modèle, on valide sa sortie contre le schéma et l'on refuse l'enregistrement en cas d'échec. Un bel objet qui ne valide pas n'est pas un enregistrement.

Quelles normalisations arrêtent les erreurs silencieuses entre marchés ?

Les nombres, les dates et l'argent sont le lieu des erreurs silencieuses. Une virgule peut être une marque décimale ou un séparateur de milliers. Une date écrite 10/06/2026 n'est pas le même jour dans chaque locale. Un prix peut inclure la taxe dans un pays et l'exclure dans un autre. On normalise seulement après avoir connu la locale de la page, et l'on garde la chaîne d'origine à côté de la valeur canonique. Si l'on ne peut pas le dire, le champ reste inconnu. Deviner la place décimale en volume entraînera chaque graphique en aval à faire confiance à une fiction.

Les unités et les identifiants demandent la même discipline. Un lot de six n'est pas la même offre qu'une unité seule à un prix proche. Un sku vendeur n'est pas un identifiant produit global. Des couleurs et des tailles qui se ressemblent d'une langue à l'autre peuvent être des variantes différentes. La résolution d'entités doit refuser une fusion lorsque la clé est faible. Le coût d'une fusion manquée est une ligne en double. Le coût d'une mauvaise fusion est une série de prix qui compare deux produits et appelle la différence un mouvement de marché.

La région reste sur l'enregistrement pendant la normalisation. Un chemin résidentiel ou de centre de données a pu être nécessaire pour voir la page locale, mais le chemin n'est pas la devise. On écrit les deux. MetaEdge peut placer la requête dans la géographie que nomme le modèle et renvoyer la réponse. L'analyseur doit quand même enregistrer ce que la page a montré. Une valeur en euros normalisée sans région et sans indicateur de taxe n'est pas prête pour un assistant qui compare des offres à travers les frontières.

Où un modèle de langue doit-il siéger, et où doit-il rester dehors ?

Un modèle est utile lorsque la page est de la prose : un avis de perturbation, un paragraphe de politique, une description de produit à classer dans un petit ensemble d'étiquettes. On lui donne le texte pertinent, un ensemble fermé d'étiquettes et un schéma. On lui demande de s'abstenir lorsque le texte ne soutient pas une étiquette. Un modèle est un mauvais calculateur et une mauvaise horloge. Il ne doit pas ajouter de taxe, convertir des devises ni décider qu'une page sans date est actuelle. Ce sont des fonctions avec des tests. Elles restent hors de l'invite.

Le modèle reste hors de la récupération. Il ne choisit ni domaines, ni chemins, ni rythmes. Une boucle de planification qui peut modifier le robot élargira le périmètre dès qu'un champ est vide. L'outil de récupération prend une clé de source dans la liste d'autorisation et renvoie des octets plus un statut. L'étape d'analyse est séparée. MetaEdge achemine et collecte dans le périmètre qu'il reçoit. Le modèle de langue voit des champs, non le droit d'élargir la collecte. Cette séparation est la différence entre un pipeline et un navigateur non revu.

On évalue le modèle sur le champ, non sur la fluidité. On échantillonne des pages dont le gabarit a changé, dont la valeur manque et dont deux locales formatent le même nombre différemment. On note la correspondance exacte sur les identifiants et une tolérance écrite sur les prix. Un score élevé sur une grille de résumé peut cacher une erreur décimale systématique. On publie les cas d'échec à côté des cas de succès. Le plan NEST et un plan GPU ultérieur ne notent pas ce test. Les jeux d'essai le font.

Comment garder l'observation brute à côté du champ dérivé ?

On conserve deux couches. La couche brute tient l'URL, l'instant de récupération, le statut, une empreinte du corps et un échantillon ou un pointeur sous une conservation courte. La couche dérivée tient les champs typés, la version de l'analyseur et la sous-chaîne brute de chaque champ. Elles partagent un identifiant de document. Lorsqu'un analyseur change, on peut retraiter depuis l'échantillon brut sans prétendre que la nouvelle analyse est ce qui a été observé le mois dernier. Lorsqu'un juriste demande ce qui a été gardé, on peut montrer la règle de conservation au lieu d'un seau qui a grandi sans règle.

Les empreintes rendent la dérive visible. Si l'empreinte du corps change et que les champs ne changent pas, l'analyseur peut être aveugle à un mouvement de gabarit. Si les champs changent et que l'empreinte ne change pas, quelqu'un a modifié en aval. On alerte sur les deux. Un pipeline qui ne regarde que HTTP 200 reste vert tandis que les prix reviennent vides. La complétude des champs, les violations de schéma et les sauts brusques de valeur sont sur le même tableau que la latence. MetaEdge peut renvoyer la réponse et le chemin. Votre validateur décide si cette réponse est devenue un enregistrement.

La suppression doit traverser les deux couches. Si une source quitte la liste d'autorisation, l'échantillon brut et les champs dérivés partent avec elle, ainsi que les entrées d'index qu'un agent pourrait encore citer. Un identifiant de document rend la recherche possible. Les manifestes d'entraînement qui pointaient vers l'identifiant peuvent être reconstruits sans ces exemples. Ce n'est pas l'affirmation qu'un modèle déjà entraîné oublie. C'est le contrôle qui empêche la prochaine exécution de répéter l'inclusion. Une provenance que l'on ne peut pas interroger est un paragraphe de politique, non un pipeline.

À quoi ressemble un enregistrement de production lorsqu'il atteint la récupération ?

Un enregistrement de production est petit et explicite. Il porte la clé d'entité, les champs typés, la locale, la région de la requête, le type de chemin, l'URL source, l'instant d'observation, la version de l'analyseur et un statut. Le texte facultatif d'explication siège dans un champ séparé, marqué comme texte. La récupération peut filtrer sur l'âge et le statut avant que le modèle ne voie quoi que ce soit. Un outil d'agent renvoie cet objet, non une page. Si un champ obligatoire est nul, le statut dit pourquoi, et l'agent n'est pas libre de le remplir.

Le même enregistrement peut alimenter plus d'un magasin si l'étiquette de finalité voyage avec lui. Un index vivant pour le RAG garde les lignes actuelles. Un instantané statique pour l'évaluation gèle une version. Un mélange d'entraînement ne prend que les lignes dont la finalité et la revue des droits le permettent. Copier la table parce qu'elle est propre est la façon dont une série de prix devient une donnée d'entraînement que personne n'a approuvée. MetaEdge peut livrer la charge structurée. Le registre du client décide quelle porte elle franchit.

L'épreuve du pipeline est une question qu'une personne peut auditer. Quelle page, observée quand, par quel chemin, a produit ce prix, et quel analyseur a transformé la chaîne en nombre ? Si le système peut répondre, un assistant peut le citer et une exécution d'entraînement peut l'inclure ou l'exclure exprès. S'il ne peut pas, le modèle résume une page que personne ne peut reconstruire. Les champs structurés sont la façon dont les données web restent inspectables. Ils ne sont pas l'affirmation que chaque page du web est à prendre.

FAQ