• http://www.robotstxt.org - The Web Robots Pages
• Robots.txt Einführung

Eine besondere Form von Webcrawlern sind software-Agenten, bei denen eine Menge von autonomen Programmen das Web gemeinsam durchsuchen.

Wie beim internetsurfen gelangt ein Webcrawler über Hyperlinks von einer Webseite zu weiteren URLs. Dabei werden alle bisher bekannten Adressen gespeichert und der Reihe nach besucht. Die neu gefundenen Hyperlinks werden zur Liste aller URLs hinzugefügt. Auf diese Weise können und werden auch als Spinnen bezeichnet, da sie sich wie diese in einem Netz fortbewegen.

Ein Webcrawler (auch Spider oder robot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen eingesetzt. weitere Anwendungen sind beispielsweise das Sammeln von MailAdressen oder anderen informationen.

Je nach Aufgabe des Webcrawlers wird der Inhalt der gefundenen webseiten beispielsweise mittels Indexierung ausgewertet und gespeichert, um ein späteres suchen in den so gesammelten Daten zu ermöglichen. Dabei werden verschiedene Ranking-Algori und zur Untersuchung des internets (Webome) eingesetzt und müssen nicht zwangsläufig auf das WWW beschränkt sein. Ein Großteil des gesamten internets wird jedoch von Webcrawlern und damit auch mit bekannten Suchmaschinen nicht erfasst, da viele Inhalte nicht über einfache Links sondern beispielsweise nur über Suchmasken und zugangsbeschränkte portale erreichbar sind. Man spricht bei diesen Bereichen auch vom "Deep Web".