Web Crawler

Web crawler, niekedy nazývaný aj ako spider alebo robot, je program alebo automatizovaný skript, ktorý systematicky prehľadáva internet alebo konkrétne webové stránky s cieľom indexovať ich obsah. Tento proces sa používa predovšetkým vyhľadávacími službami, ako sú Google, Bing alebo Yahoo, na zbieranie, analyzovanie a indexovanie informácií z internetu. Výsledky tohto indexovania sa potom používajú na zlepšenie presnosti a relevancie odpovedí, ktoré vyhľadávače poskytujú na dopyty užívateľov.

Web crawlery majú široké využitie vo viacerých oblastiach, okrem indexovania obsahu pre vyhľadávače sa používajú aj na:

• Monitorovanie zmen na webových stránkach, čo pomáha majiteľom stránok sledovať aktualizácie a úpravy.
• Zbieranie špecifických údajov, napríklad cien produktov z rôznych e-commerce webov, čo je využívané v porovnávacích štúdiách a analýzach trhu.
• Archivácia informácií na internete, ako je to napríklad v prípade projektu Internet Archive, ktorý ukladá historické verzie webových stránok.

Použitie web crawlerov je však regulované pravidlami definovanými vo robots.txt súbore, ktorý webové stránky poskytujú, aby určili, aké ich časti môžu byť alebo nemôžu byť prehľadané crawlermi. Toto pomáha chrániť citlivé alebo súkromné údaje a znižuje záťaž na serveroch webových stránok.