AuspexBot
English
AuspexBot is the program that reads web pages for Auspex, a strategy tool for Norwegian businesses. It fetches a public page when an analysis uses that page as a source.
How to recognise it
Every request carries this User-Agent:
AuspexBot/1.0 (+https://auspex.no/bot)What it fetches
It reads single pages: addresses a customer has entered as sources, or results from a web search. It does not follow links it finds on a page, and it does not crawl sites.
robots.txt
Before AuspexBot fetches from a site, it reads that site's robots.txt, once per analysis run. It follows the rules for auspexbot, or the rules for * when there are none for auspexbot. A missing or unreadable robots.txt counts as no restriction.
To block it, add this to your robots.txt:
User-agent: auspexbot
Disallow: /Limits
At most 20 pages per analysis run. Each request stops after 10 seconds, follows at most 3 redirects and reads at most 2 MB. Only HTML and plain text are accepted.
Contact
Questions about AuspexBot: mail@baleyg.no
Norsk
AuspexBot er programmet som leser nettsider for Auspex, et strategiverktøy for norske virksomheter. Den henter en offentlig side når en analyse bruker siden som kilde.
Slik kjenner du den igjen
Hver forespørsel har denne User-Agent:
AuspexBot/1.0 (+https://auspex.no/bot)Hva den henter
Den leser enkeltsider: adresser en kunde har oppgitt som kilder, eller treff fra et nettsøk. Den følger ikke lenker den finner på en side, og den går ikke gjennom hele nettsteder.
robots.txt
Før AuspexBot henter noe fra et nettsted, leser den nettstedets robots.txt, én gang per analysekjøring. Den følger reglene for auspexbot, eller reglene for * når det ikke finnes egne regler for auspexbot. Mangler robots.txt, eller kan den ikke leses, regnes det som ingen begrensning.
Slik stenger du den ute — legg dette i robots.txt:
User-agent: auspexbot
Disallow: /Begrensninger
Høyst 20 sider per analysekjøring. Hver forespørsel avbrytes etter 10 sekunder, følger høyst 3 omdirigeringer og leser høyst 2 MB. Bare HTML og ren tekst godtas.
Kontakt
Spørsmål om AuspexBot: mail@baleyg.no