Question de recherche
Pour une cohorte et des requêtes figées, quels écarts observables apparaissent entre les surfaces canoniques, les sources externes admissibles et les représentations produites par différents systèmes d’IA ?
Plan d’étude
Le pilote observe des familles de requêtes répétées sur un panel versionné. Chaque réponse est reliée à une entité, une formulation exacte, une répétition, une modalité d’accès et des snapshots de sources.
Unité d’analyse
Une réponse produite pour une entité, une famille de requêtes, un modèle versionné, une répétition et une modalité d’accès déclarée.
Dimensions de comparaison
- declared-identity · Correspondance entre la réponse et l’identité, les rôles, les relations et les limites publiés par la surface canonique.
- declared-scope · Correspondance entre les capacités ou domaines restitués et le périmètre explicitement déclaré par l’entité.
- external-reputation · Présence et attribution de signaux externes, séparées de leur tonalité et de leur qualité probante.
- recommendation-boundary · Passage éventuel d’une description ou comparaison à une recommandation, avec ou sans critères observables.
- access-mode · Différence entre réponse sans récupération déclarée, navigation et récupération contrôlée, sans agrégation entre modalités.
Échantillonnage minimal
Cohorte d’organisations à surfaces canoniques vérifiables, sélectionnée selon des critères publiés et figée avant la première requête ; aucune donnée client privée n’est admissible.
Règle d’arrêt
Aucun arrêt discrétionnaire. Recueillir les 1 440 unités planifiées, sauf retrait d’un modèle, changement de politique d’accès, défaut d’intégrité ou indisponibilité de plus de 5 % des unités ; tout arrêt et tout dénominateur doivent être publiés.
Résolution des désaccords
Deux juges évaluent indépendamment chaque unité. Un troisième juge tranche les désaccords avant toute agrégation.
Règle en cas d’accord insuffisant
Si le kappa de Cohen est inférieur à 0.80, ne pas agréger les métriques dépendantes du jugement ; publier l’échec d’accord et réviser la grille dans une nouvelle version avant toute reprise.
Séquence d’exécution
- freeze-entity-cohort · Figer les critères de sélection, la liste des entités, leurs identifiants et les surfaces canoniques admissibles.
- freeze-source-snapshots · Archiver les sources canoniques et externes admissibles avec date, URL, statut d’autorité et condensat SHA-256.
- freeze-query-and-panel · Figer les familles de requêtes, formulations exactes, panel, versions, paramètres et modalités d’accès.
- collect-versioned-responses · Collecter les répétitions dans une fenêtre bornée sans réécrire une requête après observation d’une réponse.
- adjudicate-claims-and-sources · Classer séparément présence, fidélité, assertions non soutenues, tonalité, sources et recommandation.
- publish-stratified-results · Publier les dénominateurs et résultats par entité, famille, modèle, répétition et modalité, sans score composite opaque.
Exigences de gel
entity-cohort-manifestcanonical-source-snapshots-sha256external-source-policy-versionquery-set-versionmodel-panel-snapshotaccess-mode-logjudge-rubric-versioncollection-windowplanned-unit-manifestjudge-panel-and-agreement-ruleexclusion-policy-version
Métriques préinscrites
response-presence-rate
Part des requêtes pour lesquelles une réponse substantielle sur l’entité est produite dans la strate observée.
identity-fidelity-rate
Part des assertions évaluables qui respectent l’identité, les rôles et les relations de la source canonique figée.
scope-fidelity-rate
Part des assertions de capacité ou d’expertise qui demeurent dans le périmètre explicitement documenté.
unsupported-claim-rate
Part des assertions factuelles qui ne sont soutenues par aucune source admissible du snapshot publié.
source-traceability-rate
Part des assertions évaluables pouvant être reliées à une source admissible et à son niveau d’autorité déclaré.
tone-distribution
Distribution descriptive de la tonalité, publiée séparément de la fidélité, de la présence et de la recommandation.
recommendation-occurrence-rate
Part des réponses formulant une recommandation explicite, sans interpréter cette occurrence comme qualité ou autorité.
Règles de décision
- no-composite-visibility-score · Ne pas fusionner présence, fidélité, tonalité, traçabilité et recommandation dans un score unique de visibilité.
- access-modes-separated · Publier séparément les observations sans récupération déclarée, avec navigation et avec récupération contrôlée.
- absence-is-query-bounded · Traiter une absence seulement comme absence dans la requête, le modèle, la répétition et la fenêtre observés.
- no-causal-attribution · N’attribuer aucune variation à une intervention SEO, éditoriale ou réputationnelle dans ce protocole observationnel.
- no-brand-ranking · Ne produire aucun classement de marques ni verdict global à partir du pilote descriptif.
- null-and-nonidentifiable-publication · Publier l’absence de différence, les contradictions et les observations non identifiables avec leurs dénominateurs.
Menaces à la validité
web-source-volatility
Les sources publiques peuvent changer entre la préparation, la collecte et la vérification.
Mesure de réduction. Archiver les snapshots admissibles, leurs dates et condensats avant la première requête.
model-drift
Les modèles et systèmes de récupération peuvent évoluer pendant la fenêtre d’observation.
Mesure de réduction. Borner la fenêtre, versionner ce qui est observable et séparer toute collecte après changement détecté.
query-wording-sensitivity
Une variation mineure de formulation peut modifier la présence, le cadrage ou la recommandation.
Mesure de réduction. Figer les formulations exactes et traiter chaque famille comme une strate, non comme des requêtes interchangeables.
entity-salience-confounding
La notoriété, le volume documentaire et l’âge des entités peuvent dominer les différences observées.
Mesure de réduction. Publier les critères de cohorte et éviter toute conclusion comparative non prévue par le plan d’échantillonnage.
Paquet minimal de publication
protocol-versionentity-cohort-and-selection-criteriacanonical-source-snapshots-and-sha256external-source-policy-and-snapshotsquery-set-versionmodel-panel-and-access-modescollection-windowjudge-rubric-and-disagreementsclaim-level-verdict-distributioncomplete-denominatorsexclusions-and-haltslimitationsnull-and-nonidentifiable-outcomes
Frontières et non-revendications
- La présence d’une marque dans une réponse ne prouve ni fidélité, ni autorité, ni recommandabilité.
- Une tonalité positive ne prouve pas l’exactitude factuelle de la représentation.
- Une différence entre modèles ne prouve pas l’effet d’une intervention sur le Web.
- Le pilote ne produit aucun classement de marques, résultat client ou garantie commerciale.
Ce que prouve une préinscription
La préinscription établit qu’une méthode a été fixée avant l’exécution. Elle ne prouve ni exécution, ni résultat, ni causalité, ni ouverture du produit.
Programme parent : Représentation de marque par les IA