SellomBot, o robô da Sellom
O que é o SellomBot
O SellomBot é o robô de leitura da Sellom, um serviço da Enumalon SAS que mede a visibilidade das marcas nas respostas das IA. Lê algumas páginas públicas de um site para redigir as perguntas da medição e recolher sinais técnicos: robots.txt, llms.txt e dados estruturados.
Como o reconhecer
O SellomBot identifica-se com o seu nome, com este cabeçalho:
User-Agent: Mozilla/5.0 (compatible; SellomBot/1.0; +https://sellom.io/bot)O nome a usar no robots.txt é SellomBot.
Se um site recusar esse nome (erro 403 ou 406), o SellomBot tenta mais uma vez apresentando-se como um navegador comum e depois lê da mesma forma as outras páginas desse site, para a mesma medição. Não contorna um filtro que pede uma verificação ao visitante.
As IA que consultamos podem visitar o seu site com os seus próprios robôs (ChatGPT-User, PerplexityBot…): essas visitas não vêm do SellomBot.
Quando passa
O SellomBot só lê um domínio em três casos: alguém lança um teste desse domínio em sellom.io; um subscritor da Sellom prepara ou verifica uma correção numa página do domínio do seu dossier; uma medição agendada por um subscritor chega à data prevista. Qualquer pessoa pode lançar o teste de um domínio: uma visita não significa que o proprietário do site a pediu.
O SellomBot não percorre a web: lê o domínio testado, a sua variante com www e, no máximo, o endereço para o qual redireciona a página inicial ou o ficheiro llms.txt de qualquer um deles. Segue no máximo três redirecionamentos por endereço. Antes de entrar noutro host, lê o ficheiro robots.txt desse host.
O que lê
Primeiro o robots.txt. Depois verifica, sem ler o seu conteúdo, que a página inicial não redireciona para fora do domínio.
Lê depois a página inicial, o llms.txt, o mapa do site (sitemap.xml) e, no máximo, outras quatro páginas públicas, escolhidas de preferência entre as de serviços, ofertas, preços ou apresentação, quer o robots.txt as permita ou não. Durante a medição, volta a ler a página inicial e o llms.txt.
Limites para um teste:
- no máximo 10 páginas lidas, sem contar o robots.txt nem os redirecionamentos, e 2 quando as perguntas do domínio já existem no mesmo idioma;
- no máximo 4 pedidos em simultâneo;
- no máximo 10 segundos para ler o robots.txt, redirecionamentos incluídos;
- no máximo 10 segundos de espera por resposta e 800 kB por página;
- no máximo 60 segundos para a primeira leitura das páginas e 30 segundos para a nova leitura durante a medição.
Ignora, pelo endereço, os ficheiros (imagens, PDF, estilos, scripts) e as páginas de conta, de início de sessão, de carrinho ou de informação legal. Não executa JavaScript, não preenche formulários e não reenvia cookies. O texto das páginas lidas é enviado a um modelo de IA para descrever a atividade e redigir as perguntas (consulte a política de privacidade).
Com que frequência
Uma visita por teste, nunca em contínuo. O SellomBot volta a ler o robots.txt em cada teste. A diretiva Crawl-delay não está definida na norma RFC 9309: o SellomBot não a aplica. A sua leitura mantém-se dentro dos limites de um teste indicados acima.
O que o SellomBot faz com o robots.txt
O SellomBot lê o ficheiro robots.txt do site antes de qualquer página e dá conta disso no relatório. Interpreta-o segundo a norma RFC 9309:
- aplica o grupo
User-agent: SellomBotse existir e, caso contrário, o grupoUser-agent: *; - prevalece a regra mais precisa; em caso de empate, prevalece
Allow; - só os primeiros 500 KiB são analisados, em 10 segundos no máximo, redirecionamentos incluídos, uma só vez por teste.
O SellomBot lê as páginas por conta do utilizador da Sellom que pede a medição. Um ficheiro que lhe proíbe a página inicial, que proíbe robôs de resposta das IA ou que pede ai-input=no (Content-Signal) não interrompe, portanto, a leitura: a medição realiza-se e o relatório assinala o que o ficheiro proíbe, com a lista dos robôs de IA em causa e as linhas a corrigir.
Nomear o SellomBot no robots.txt
Para indicar que recusa o SellomBot em todo o site:
User-agent: SellomBot
Disallow: /Para o autorizar em todo o site:
User-agent: SellomBot
Allow: /Estas linhas são lidas e assinaladas no relatório da medição; não impedem uma leitura pedida por um utilizador da Sellom. Uma alteração do robots.txt é visível a partir do teste seguinte. Para que o SellomBot deixe de ler o seu site, escreva-nos (ver Contacto).
Contacto
Uma pergunta sobre o SellomBot, uma visita que não compreende: contact@sellom.io. Indique o domínio, a data e a hora da visita, com o fuso horário.
Editor
O SellomBot é explorado pela Enumalon SAS (SELLOM by Enumalon), 584 Avenue du Lac, 07350 Cruas, França, RCS Aubenas 101 694 347. Consulte a informação legal.