Comment GrovlixScanner lit votre boutique
GrovlixScanner est le robot que NoFlag utilise pour analyser une boutique en ligne quand quelqu'un le demande. Il lit uniquement des pages publiques, lentement : les requêtes simples une à la fois, et le navigateur lance un chargement de page à la fois par boutique. Si robots.txt interdit une page à GrovlixScanner, il ne la lit pas du tout.
Dernière mise à jour:
Ce qu'est GrovlixScanner
NoFlag, un produit Grovlix, compare les boutiques en ligne aux règles publiées des plateformes publicitaires et des prestataires de paiement. Lorsqu'une personne saisit l'adresse d'une boutique, GrovlixScanner lit cette seule boutique et NoFlag rédige un rapport. Il ne parcourt pas le web et ne suit pas les liens vers d'autres sites. En dehors des pages de la boutique, il charge les scripts et les conteneurs de balises que ces pages chargent. En mode navigateur, il charge tout ce qu'une page demande, depuis n'importe quel domaine (voir Mode navigateur).
Ce qu'il récupère
Pour une analyse, il demande :
- l'adresse saisie, et les pages du même site vers lesquelles elle redirige. La première requête vers la page d'accueil peut aussi suivre une redirection vers un autre site, pour trouver où se trouve réellement la boutique. Quand une autre page de la boutique redirige vers un autre site, il lit le robots.txt de chaque site par lequel passe la chaîne de redirection, et demande chaque adresse que ce robots.txt autorise (au plus 5 requêtes), seulement pour voir où mène la chaîne. Si robots.txt en refuse une, ou si la chaîne ne peut pas être suivie jusqu'au bout, cette page n'est lue d'aucune façon ;
- la page d'accueil, quelques pages produit (5 pages au plus) et les pages de politiques et de contact : retours, livraison, confidentialité, conditions, contact, à propos, FAQ, mentions légales, réclamations ;
- robots.txt (une redirection de robots.txt est suivie, même vers un autre site) et les plans de site qu'il indique ;
- les données publiques que la plateforme de la boutique offre sans connexion, comme
/products.jsonchez Shopify ou l'API publique de Salla ; - les scripts et conteneurs de balises (mesure d'audience, publicité) que ces pages chargent, pour savoir quelles balises sont installées ;
- des liens vers d'autres pages du même site, pour vérifier qu'ils fonctionnent : des requêtes HEAD, et un GET si la boutique refuse HEAD, au plus 20 requêtes au total par analyse ;
- l'adresse http:// de la page d'accueil (requête HEAD, pour voir si elle redirige vers https) et une connexion TLS pour lire le certificat.
Les requêtes simples n'utilisent que GET et HEAD. En mode navigateur, les scripts de la page de la boutique s'exécutent comme pour un visiteur, avec les requêtes qu'ils font (leurs requêtes en arrière-plan peuvent être des POST). Le robot lui-même n'envoie aucun formulaire, ne se connecte nulle part, n'ajoute rien au panier et n'achète rien.
Comment il se comporte
- Agent utilisateur. Les requêtes simples envoient l'agent utilisateur
GrovlixScanner/1.0 (+https://getnoflag.com/bot), qui renvoie à cette page. - robots.txt. Il suit les règles du jeton
GrovlixScanner, ou celles de*si robots.txt n'a pas de groupe pour lui. Si robots.txt répond 404 ou une autre erreur 4xx, tout est considéré comme autorisé. Font exception un 429 ou une page de vérification sur robots.txt lui-même, qui comptent comme une interdiction. Si robots.txt est inaccessible (erreur 5xx ou délai dépassé), tout le site est considéré comme interdit, comme le prévoit la RFC 9309. - Cadence. Requêtes simples : une requête à la fois vers une boutique, et au moins 1 seconde entre la fin d'une requête et le début de la suivante (au plus 1 requête par seconde et par boutique). Les boutiques Shopify partagent en plus une même limite d'espacement avec toutes les boutiques Shopify, car Shopify limite par adresse sur l'ensemble de ses boutiques : une requête peut attendre plus longtemps, mais une même boutique n'est jamais lue plus vite que cela.
- Nouvelles tentatives. Requêtes simples : après un délai dépassé ou une erreur du serveur, il réessaie une fois. Après un 429 (trop de requêtes), il ne réessaie que si la boutique demande, dans Retry-After, une attente de 10 secondes ou moins ; sinon il cesse de demander cette page à la boutique. En mode navigateur, un chargement de page n'est jamais réessayé.
- Protection anti-robot. Il ne résout jamais une page de vérification, comme celle de Cloudflare, et ne la contourne pas par des astuces. Le rapport indique ce qui n'a pas pu être lu et pourquoi. Un refus de robots.txt met fin à la lecture d'une page, tout comme une réponse 404 ou 410 (la boutique indique que la page n'existe pas). Quand la lecture directe échoue pour une autre raison, par exemple 403, 429, une erreur 5xx, un délai dépassé ou une page de vérification, l'analyse peut interroger Google PageSpeed Insights, qui charge la page depuis les serveurs de Google. Lorsqu'il est configuré, PageSpeed Insights réalise aussi les audits de vitesse et de SEO. L'analyse lit aussi des copies de pages sur archive.org, en lecture seule : elle ne demande jamais à archive.org d'enregistrer une page (pas de Save Page Now).
- Ce qu'il garde. Une preuve est l'extrait ou la capture nécessaire pour montrer un constat ; elle est supprimée après 90 jours (30 jours si elle peut contenir des données personnelles). Les pages brutes récupérées pour une analyse sont gardées 2 jours : le jour de l'analyse et le lendemain.
Mode navigateur
Certaines vérifications ont besoin de la page telle que la voit un visiteur : scripts exécutés, bandeaux de cookies, mise en page. Les analyses peuvent ouvrir ces pages dans un navigateur Chromium sans interface.
- Son agent utilisateur est celui de Chromium, et non celui de GrovlixScanner, car c'est un vrai navigateur. Nous ne le déguisons d'aucune façon : il n'utilise aucun outil de dissimulation et garde l'empreinte de Chromium. Pour l'écarter, utilisez la règle robots.txt ci-dessous : le navigateur consulte robots.txt pour
GrovlixScanneravant chaque page et chaque redirection. Avant chaque chargement de page par le navigateur, des requêtes simples avec l'agent utilisateur GrovlixScanner suivent d'abord la chaîne de redirections, chaque étape avec sa propre requête. - Il lance un chargement de page à la fois par boutique, avec au moins 5 secondes entre deux chargements de la même boutique. Une page précédente peut encore être en cours de chargement quand la suivante commence. Les scripts, feuilles de style, images et requêtes qu'une page lance elle-même pendant son chargement ne sont pas espacés.
- Il n'ouvre que les pages de la boutique. Dans une page, le navigateur charge tout ce que la page demande, depuis n'importe quel domaine, y compris des documents d'iframe (30 documents au plus par chargement de page). Il n'envoie jamais de formulaire, annule les téléchargements et n'ouvre aucune fenêtre surgissante. Le seul clic qu'il fait est sur le bouton d'acceptation d'un bandeau de cookies, pour voir ce qui se charge après le consentement.
- Une page de vérification, ou un 429 en réponse à la page elle-même, met fin à ce chargement. Il n'est pas réessayé et aucune vérification n'est résolue.
- Après un 429 de votre boutique, ou un 503 sur une page qui n'est pas une page de vérification, le navigateur ne charge plus aucune page de votre boutique pour le reste de cette analyse. Cela vaut pour un 429 sur une page (y compris une page de vérification) ou sur tout ce que la page charge depuis le domaine de votre boutique. Un 429 venant du serveur d'une autre entreprise, comme un CDN ou un outil de mesure, ne compte pas.
www.et le domaine sanswww.comptent pour un seul.
Exclusion et suppression
Le bloquer avec robots.txt
Ajoutez ceci au fichier robots.txt de votre boutique :
User-agent: GrovlixScanner
Disallow: /GrovlixScanner lit robots.txt une fois par analyse et le consulte avant chaque page : cela s'applique donc dès la prochaine analyse, pour les requêtes simples comme pour le mode navigateur. Si robots.txt interdit une page à GrovlixScanner, ou à * quand il n'a pas de groupe pour GrovlixScanner, nous ne la lisons d'aucune façon : ni directement, ni via Google PageSpeed Insights, ni depuis archive.org. Le rapport indique alors ce qu'il n'a pas pu lire, sans deviner.
Nous demander de retirer une boutique
Utilisez notre formulaire d'exclusion : vous prouvez que vous gérez le domaine avec un enregistrement DNS ou un fichier sur le site, et le domaine entre dans notre liste d'exclusion. Le robot refuse alors d'analyser ce domaine et ses sous-domaines, y compris lorsqu'une autre adresse redirige vers l'un d'eux. Vous pouvez aussi nous écrire avec le nom de domaine de la boutique, depuis une adresse de ce domaine ou avec un élément montrant que vous gérez la boutique. La suppression des rapports et des preuves que nous détenons déjà reste un travail manuel : nous la faisons sur demande, elle n'est pas instantanée.
Contact
Questions, demandes d'exclusion et de suppression : [email protected].
À propos des données que nous conservons
Grovlix exploite NoFlag. Les pages publiques d'une boutique peuvent montrer des données personnelles de ses responsables, par exemple le nom, le téléphone ou l'adresse d'un entrepreneur individuel. Nous gardons l'extrait ou la capture nécessaire pour montrer un constat, avec sa source et sa date, ainsi que le rapport lui-même, dont le texte peut citer ce que montre une page, comme un nom commercial ou une adresse e-mail. Les pages brutes récupérées pour une analyse sont gardées 2 jours. Pour ses vérifications, le robot peut envoyer l'adresse d'une page de la boutique à Google (PageSpeed Insights) et à archive.org, et, pour les boutiques Salla lorsque le lecteur de captures d'écran est activé, la capture d'écran de la page d'accueil produite par PageSpeed Insights à Anthropic (elle peut montrer des coordonnées). Notre base légale est l'intérêt légitime : aider les propriétaires de boutiques à corriger les problèmes avant qu'une plateforme publicitaire ne suspende leur compte. Les preuves sont supprimées après 90 jours, ou après 30 jours si elles peuvent contenir des données personnelles. Les rapports n'ont pas de date de suppression fixée ; nous les supprimons sur demande. Vous pouvez demander l'accès, la rectification, l'effacement ou vous opposer, à l'adresse ci-dessus.
Ce site compte les pages vues avec Cloudflare Web Analytics, un service qui, selon Cloudflare, ne suit pas un même visiteur d'un site à l'autre.
Questions fréquentes
Pourquoi GrovlixScanner apparaît-il dans les journaux de mon serveur ?
Quelqu'un a saisi l'adresse de votre boutique dans une analyse NoFlag, le plus souvent vous ou une personne qui travaille pour vous. Il lit un ensemble limité de pages et de fichiers pour cette analyse (la liste est ci-dessus), puis s'arrête.
Comment le bloquer ?
Ajoutez une règle robots.txt pour GrovlixScanner (ci-dessus). Si robots.txt interdit une page à GrovlixScanner, ou à * quand il n'a pas de groupe pour GrovlixScanner, nous ne la lisons d'aucune façon : ni directement, ni via Google PageSpeed Insights, ni depuis archive.org. Ou écrivez-nous et nous ajouterons votre domaine à notre liste d'exclusion : le robot refusera alors d'analyser ce domaine et ses sous-domaines, même si une autre adresse redirige vers eux. Les rapports déjà conservés sont supprimés à la main, sur demande.
Modifie-t-il quelque chose sur ma boutique ?
Non. Le robot lui-même ne se connecte jamais, n'envoie aucun formulaire et ne passe aucune commande. Les requêtes simples n'utilisent que GET et HEAD. En mode navigateur, les scripts de votre boutique s'exécutent comme pour un visiteur, avec les requêtes qu'ils font.
Pourquoi utilise-t-il un agent utilisateur de navigateur en mode navigateur ?
Le mode navigateur lance un vrai Chromium, qui envoie sa propre identité. Il respecte quand même votre règle robots.txt pour GrovlixScanner : une page que robots.txt interdit à GrovlixScanner (ou à * s'il n'a pas de groupe pour GrovlixScanner) n'est lue d'aucune façon, navigateur compris.