Como a Provena se identifica quando visita o seu site.
Se você chegou aqui a partir de uma requisição nos seus logs, este é o rastreador por trás dela. Esta página diz para que ele serve, como se comporta e como permitir ou bloquear. A Provena não esconde o seu rastreador e não tenta contornar um site que diz não.
Situação: o rastreador do Provena Extract está em desenvolvimento e ainda não visita sites. Esta página é publicada antes da primeira requisição para que administradores possam decidir como tratá-lo antes que ele chegue. Ela será atualizada antes do início da operação.
Preservação sob demanda, não indexação.
- O que ele faz
- Visita um conjunto pequeno e definido de páginas públicas a pedido de um cliente da Provena e preserva o que um navegador mostraria: a página renderizada, uma captura de tela, os recursos carregados e o contexto técnico, cada um com a sua própria impressão digital de integridade.
- Por quê
- O cliente precisa de um registro documentado e verificável de como aquelas páginas estavam em determinado momento, para uma questão jurídica, de compliance ou de investigação. Cada visita é um trabalho único, com escopo declarado, não um rastreamento permanente.
- O que ele não faz
- Não monta índice de busca, não treina modelos, não revende nem republica conteúdo e não volta a sites por conta própria. O que ele preserva é entregue apenas ao cliente que pediu.
- O que ele nunca faz
- Não se disfarça de pessoa, não troca de identidade nem de proxy para escapar de detecção e não tenta resolver CAPTCHAs nem contornar desafios de acesso. Bloqueio é bloqueio: é registrado como tal e respeitado.
Um nome, em toda requisição.
Toda requisição leva o token próprio do rastreador no cabeçalho User-Agent, com um link de volta para esta página:
ProvenaExtract/1.0 (+https://provena.legal/bot)
- Renderização em navegador real. As páginas são carregadas em um Chrome padrão, então o padrão de requisições é o de um navegador abrindo uma página: primeiro o HTML, depois as folhas de estilo, scripts e imagens que ela referencia.
- Identificação criptográfica, planejada. A Provena pretende assinar as requisições conforme o rascunho Web Bot Auth (HTTP Message Signatures), para que um site possa verificar que a requisição veio da Provena, e não de alguém copiando o token. O diretório de chaves públicas será vinculado a esta página quando a assinatura estiver em operação.
- Endereços de origem. As requisições partem de infraestrutura em nuvem na região escolhida para o caso do cliente. As faixas de endereço em uso serão listadas nesta página antes do início da operação, para quem mantém listas de permissão.
- Toda visita é registrada. Hora, endereço, páginas requisitadas e respostas recebidas passam a fazer parte do registro de custódia do cliente, de modo que o que o rastreador fez no seu site pode ser reconstruído e conferido depois.
Lento, limitado e educado por desenho.
- Segue o robots.txt. As regras para ProvenaExtract e para * são respeitadas, incluindo Disallow e Crawl-delay.
- Uma página por vez em cada site, com pausa entre páginas. Não há requisições paralelas contra o mesmo host.
- Escopo limitado. Cada trabalho tem uma lista explícita de páginas ou um limite explícito de profundidade e quantidade, definido pelo cliente e registrado. Ele não vagueia pelo site.
- Para em desafios e bloqueios. Um CAPTCHA, uma página intersticial, um 403 ou um 429 encerra a visita automatizada àquela página. A resposta é preservada como o que ela é: evidência de que o site restringiu o acesso automatizado naquele momento.
- Só páginas públicas, a menos que o titular de uma área restrita forneça as próprias credenciais e declare que tem direito de usá-las. Essa autorização fica registrada com o trabalho.
- Sem formulários, sem ações. Ele lê páginas. Não envia formulários, não cria contas, não publica conteúdo nem interage com o site além de carregar o que um visitante veria.
O seu site decide.
Para bloquear o rastreador por completo
User-agent: ProvenaExtract Disallow: /
Para permitir, no todo ou em parte
User-agent: ProvenaExtract Allow: / Disallow: /privado/
Sites atrás da Cloudflare ou de serviço semelhante também podem permitir ou bloquear o rastreador pelo token do User-Agent nas regras de bots. Quando a assinatura de requisições estiver em operação, poderão verificar a assinatura também. Um Disallow: / geral para * é respeitado como qualquer outra regra.
Dúvidas, ou uma requisição nos seus logs que você não esperava?
Escreva para nós com a URL, o horário e o User-Agent que você viu. Respondemos diretamente a administradores, e um relato de comportamento inesperado é tratado como defeito.