Importar um site para a base de conhecimento
O que o coletor lê, o que ele respeita, com que frequência atualiza e quando pausa.
O coletor de sites lê as páginas do seu site e as transforma em conhecimento para a IA. Ele respeita as regras do seu site e atualiza o conteúdo sozinho.
O que o coletor respeita?
- O arquivo robots.txt do site, inclusive depois de um redirecionamento para outro endereço.
- Redirecionamentos só dentro do mesmo site.
- O mapa do site (sitemap), com até 10 MiB e até 50.000 endereços por padrão.
Que limites existem?
| Limite | Valor |
|---|---|
| Páginas por site | Até 10.000, igual para todos os planos |
| Tamanho de cada página | Até 2 MiB |
| Tempo de cada página | Até 15 segundos |
| Trechos totais da base | Conforme o plano |
Com que frequência o site é lido de novo?
- A cada 7 dias, ou a cada 14 dias quando a última leitura passou de 1.000 páginas.
- Uma verificação roda a cada 15 minutos para ver quais fontes estão no prazo.
O que acontece quando a leitura falha?
- Depois de uma falha, a Klyro tenta de novo em 24 horas.
- Se as falhas continuarem por 15 dias seguidos, a fonte é pausada. Ela só volta quando você pede.
Páginas que o coletor não lê
- Páginas bloqueadas pelo robots.txt do seu site.
- Endereços fora do site informado, mesmo que sejam alcançados por um link ou redirecionamento.
Resumo: respeita robots.txt, lê até 10.000 páginas, renova a cada 7 dias (14 em sites grandes) e pausa a fonte depois de 15 dias de falhas.
Checklist rápido
- Confira se o robots.txt não bloqueia as páginas que você quer importar.
- Tenha um sitemap atualizado.
- Retome fontes pausadas depois de corrigir o problema do site.