Importar um site para a base de conhecimento

O que o coletor lê, o que ele respeita, com que frequência atualiza e quando pausa.

O coletor de sites lê as páginas do seu site e as transforma em conhecimento para a IA. Ele respeita as regras do seu site e atualiza o conteúdo sozinho.

O que o coletor respeita?

  • O arquivo robots.txt do site, inclusive depois de um redirecionamento para outro endereço.
  • Redirecionamentos só dentro do mesmo site.
  • O mapa do site (sitemap), com até 10 MiB e até 50.000 endereços por padrão.

Que limites existem?

LimiteValor
Páginas por siteAté 10.000, igual para todos os planos
Tamanho de cada páginaAté 2 MiB
Tempo de cada páginaAté 15 segundos
Trechos totais da baseConforme o plano

Com que frequência o site é lido de novo?

  • A cada 7 dias, ou a cada 14 dias quando a última leitura passou de 1.000 páginas.
  • Uma verificação roda a cada 15 minutos para ver quais fontes estão no prazo.

O que acontece quando a leitura falha?

  • Depois de uma falha, a Klyro tenta de novo em 24 horas.
  • Se as falhas continuarem por 15 dias seguidos, a fonte é pausada. Ela só volta quando você pede.

Páginas que o coletor não lê

  • Páginas bloqueadas pelo robots.txt do seu site.
  • Endereços fora do site informado, mesmo que sejam alcançados por um link ou redirecionamento.

Resumo: respeita robots.txt, lê até 10.000 páginas, renova a cada 7 dias (14 em sites grandes) e pausa a fonte depois de 15 dias de falhas.

Checklist rápido

  • Confira se o robots.txt não bloqueia as páginas que você quer importar.
  • Tenha um sitemap atualizado.
  • Retome fontes pausadas depois de corrigir o problema do site.