private Web

Das private Web beschreibt webseiten, die indiziert werden könnten, aber auf Grund von Zugangsbeschränkungen des Webmasters nicht indiziert werden.

Dies können webseiten im Intranet (interne Webseiten) sein, aber auch passwortgeschützte Daten (Registrierung und evtl. Kennwort und Login), Zugang nur für bestimmte IP-Adressen, Schutz vor einer Indizierung durch den Robots Exclusion Standard oder Schutz vor einer Indizierung durch die Meta-Tag-Werte noindex, nofollow und noimageindex im Quelltext der Webseite.

Invisible Web

Unter das Invisible Web fallen webseiten, die indiziert werden könnten, die jedoch aus kaufmännischen oder strategischen Gründen nicht indiziert werden - wie zum Beispiel Datenbanken mit einem Webformular.

Proprietary Web

Mit Proprietary Web sind webseiten gemeint, die indiziert werden könnten, die jedoch nur nach Anerkennung einer Nutzungsbedingung zugänglich sind (kostenlos oder kostenpflichtig).

Derartige webseiten sind üblicherweise erst nach einer Identifizierung (Webbasierte FachDatenbanken) abrufbar.

Datenbanken

Hosts und FachDatenbanken

Hosts sind kommerzielle informationsanbieter, die FachDatenbanken unterschiedlicher informationsproduzenten innerhalb einer Oberfläche bündeln. Manche Datenbankanbieter (Hosts) oder Datenbankproduzenten selbst betreiben relationale Datenbanken, deren Daten nicht ohne eine spezielle Zugriffsmöglichkeit (Retrieval-Sprache, Retrieval-Tool) abgerufen werden können. Webcrawler verstehen weder die Struktur noch die Sprache, die benötigt wird, um informationen aus diesen Datenbanken auszulesen. Viele Hosts sind seit den 1970er jahren als Online-Dienst tätig und betreiben in ihren Datenbanken teilweise Datenbanksysteme, die lange vor dem WWW entstanden sind. Die Vorteile von informationen aus Host-Datenbanken sind unter anderem die hohe Qualität, Relevanz, Aktualität, Authentizität, Integrität und Neutralität.

Beispiele für Datenbanken: Bibliothekskataloge (OPAC), Börsenkurse, Fahrpläne, Gesetzestexte, Jobbörsen, Nachrichten, Patente, telefonbücher, Webshops, Wörterbücher.