SellomBot, le robot de Sellom
Ce qu’est SellomBot
SellomBot est le robot de lecture de Sellom, un service d’Enumalon SAS qui mesure la visibilité des marques dans les réponses des IA. Il lit quelques pages publiques d’un site pour écrire les questions de la mesure et relever des signaux techniques : robots.txt, llms.txt, données structurées.
Comment le reconnaître
SellomBot se présente sous son nom, avec cet en-tête :
User-Agent: Mozilla/5.0 (compatible; SellomBot/1.0; +https://sellom.io/bot)Le nom à utiliser dans robots.txt est SellomBot.
Si un site refuse ce nom (erreur 403 ou 406), SellomBot réessaie une fois en se présentant comme un navigateur courant, puis lit les autres pages de ce site de la même façon, pour la même mesure. Il ne contourne pas un filtre qui demande une vérification au visiteur.
Les IA que nous interrogeons peuvent visiter votre site avec leurs propres robots (ChatGPT-User, PerplexityBot…) : ces visites ne viennent pas de SellomBot.
Quand il passe
SellomBot lit un domaine dans trois cas seulement : quelqu’un lance un test de ce domaine sur sellom.io ; un abonné de Sellom prépare ou vérifie une correction sur une page du domaine de son dossier ; une mesure programmée par un abonné arrive à sa date. Le test d’un domaine peut être lancé par toute personne : une visite ne signifie pas que le propriétaire du site l’a demandée.
SellomBot ne parcourt pas le web : il lit le domaine testé, sa variante www et, au plus, l’adresse vers laquelle redirige leur accueil ou leur fichier llms.txt. Il suit au plus trois redirections par adresse. Avant d’entrer sur un autre hôte, il lit le fichier robots.txt de cet hôte.
Ce qu’il lit
D’abord robots.txt. Puis il vérifie, sans lire son contenu, que la page d’accueil ne redirige pas hors du domaine.
Il lit ensuite la page d’accueil, llms.txt, le plan du site (sitemap.xml) et au plus quatre autres pages publiques, choisies de préférence parmi les pages de services, d’offres, de tarifs ou de présentation, que robots.txt les permette ou non. Pendant la mesure, il relit l’accueil et llms.txt.
Limites pour un test :
- 10 pages lues au plus, robots.txt et redirections non compris, et 2 quand les questions du domaine existent déjà dans la même langue ;
- 4 requêtes en même temps au plus ;
- 10 secondes au plus pour lire robots.txt, redirections comprises ;
- 10 secondes d’attente au plus pour une réponse, 800 ko au plus par page ;
- 60 secondes au plus pour la première lecture des pages, 30 secondes pour la relecture pendant la mesure.
Il écarte, d’après leur adresse, les fichiers (images, PDF, styles, scripts) et les pages de compte, de connexion, de panier ou de mentions légales. Il n’exécute pas JavaScript, ne remplit aucun formulaire et ne renvoie aucun cookie. Le texte des pages lues est envoyé à un modèle d’IA pour décrire l’activité et écrire les questions (voir la politique de confidentialité).
À quelle fréquence
Une visite par test, jamais en continu. SellomBot relit robots.txt à chaque test. La directive Crawl-delay n’est pas définie par la norme RFC 9309 : SellomBot ne l’applique pas. Sa lecture reste dans les limites d’un test indiquées plus haut.
Ce que SellomBot fait de robots.txt
SellomBot lit le fichier robots.txt du site avant toute page et en rend compte dans le rapport. Il l’interprète selon la norme RFC 9309 :
- il retient le groupe
User-agent: SellomBots’il existe, sinon le groupeUser-agent: *; - la règle la plus précise l’emporte ; à égalité,
Allowl’emporte ; - seuls les 500 premiers Kio sont analysés, en 10 secondes au plus, redirections comprises, une seule fois par test.
SellomBot lit les pages pour le compte de l’utilisateur de Sellom qui demande la mesure. Un fichier qui lui interdit la page d’accueil, qui interdit des robots de réponse des IA ou qui demande ai-input=no (Content-Signal) n’arrête donc pas la lecture : la mesure a lieu, et le rapport signale ce que le fichier interdit, avec la liste des robots d’IA concernés et les lignes à corriger.
Nommer SellomBot dans robots.txt
Pour signaler que vous refusez SellomBot sur tout le site :
User-agent: SellomBot
Disallow: /Pour l’autoriser sur tout le site :
User-agent: SellomBot
Allow: /Ces lignes sont lues et signalées dans le rapport de la mesure ; elles n’empêchent pas une lecture demandée par un utilisateur de Sellom. Un changement de robots.txt est visible dès le test suivant. Pour que votre site ne soit plus lu par SellomBot, écrivez-nous (voir Contact).
Contact
Une question sur SellomBot, une visite que vous ne comprenez pas : contact@sellom.io. Indiquez le domaine, la date et l’heure de la visite, avec le fuseau horaire.
Éditeur
SellomBot est exploité par Enumalon SAS (SELLOM by Enumalon), 584 Avenue du Lac, 07350 Cruas, France, RCS Aubenas 101 694 347. Voir les mentions légales.