Geschichte

Archie kann als ältester Vorfahre der heute allseits bekannten Suchmaschinen und WebVerzeichnisse angesehen werden.

Allerdings verschwand Gopher schon einige Jahre später, vermutlich vor allem wegen der fehlenden Möglichkeit, Bilder und Grafiken einzubinden. Sie wurde als Campuswide information System (CWIS) zur Vernetzung der dortigen informationsserver entwickelt und basiert auf dem Client-Server-Prinzip.Der erste Vorläufer der heutigen Suchmaschinen war eine im Jahr 1991 an der University of Minnesota maßgeblich von Paul Lidner und Mark P. McCahill entwickelte software namens Gopher. Die Struktur von Gopher war für den damaligen Zeitpunkt richtungsweisend; alle Gopher-Seiten wurden katalogisiert und konnten vom Gopher-sucher Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) komplett durchsucht werden.

Im oktober des gleichen Jahres wurde Aliweb (Archie-Like Indexing of the Web) entwickelt, bei dem die Betreiber von Webservern eine Beschreibung ihres Dienstes in einer Datei ablegen mussten, um so ein Teil des durchsuchbaren Index zu werden. The Wanderer durchsuchte und katalogisierte von 1993 bis 1996 halbjährlich das zu dieser Zeit noch sehr übersichtliche Web. Der erste Webcrawler namens The Wanderer wurde im selben Jahr von Mathew Gray programmiert, einem Studenten des Massachusetts Institute of Technology (MIT).Mit der Freigabe des WWW-Standards zur kostenlosen Nutzung 1993 und einer handvoll webseiten begann die einzigartige Erfolgsgeschichte des weltweiten Datennetzes. Im Juni 1993 wurden insgesamt 130 websites gezählt.

Die beiden erstgenannten waren Crawler, die webseiten nach Titel und URL indexierten.Im dezember 1993 gingen die Suchmaschinen Jumpstation, WorldWideWeb Worm und RBSE Spider ans Netz. RBSE Spider war die erste Suchmaschine, die ihre Ergebnisse nach einem eigenen Ranking-System sortiert anzeigte. Keine dieser Suchmaschinen Bietet heute noch ihre Dienste an.

Neben der Worthäufigkeit der Suchbegriffe innerhalb der webseiten durchsuchte Lycos auch die Nähe der Suchbegriffe untereinander im Dokument. Im Mai begann die Arbeit von michael Mauldins an der Suchmaschine Lycos, die im Juli 1994 Online ging. 1995 wurde sie an AOL Verkauft, ein Jahr später weiter an Excite.Im April 1994 ging eine weitere Suchmaschine namens WebCrawler Online, die ebenfalls eine nach Ranking sortierte Trefferliste vorweisen konnte.

Im selben Jahr riefen David Filo und Jerry Yang, beide damals Studenten des Fachbereichs Elektrotechnik an der Stanford University, eine Sammlung ihrer besten Web-Adressen in einem Online verfügbaren Verzeichnisdienst ins Leben – die Geburtsstunde von Yahoo! (für Yet Another Hierarchical Officious Oracle).

Führend in dieser Zeit war der Verzeichnisdienst von Yahoo, aber AltaVista (der Name bedeutet „Blick von oben“, ist aber auch ein Wortspiel den Standort Palo Alto betreffend) wurde zunehmend populär. Ein Jahr später wurde Inktomi Corp. Aus diesen Entwicklungen entstanden infoseek, Architext (wurde später in Excite umbenannt) und AltaVista.Das Jahr 1995 sollte eine bedeutende Trendwende für die erst kurze Geschichte der Suchmaschinen werden: In diesem Jahr wurden erstmals Suchmaschinen von kommerziellen Firmen entwickelt. gegründet, deren gleichnamige Suchmaschine zur Grundlage von Hotbot und anderen Suchseiten wurde.

MetaSuchmaschinen leiten die Abfragen des Nutzers parallel an mehrere Suchmaschinen weiter und fassen die Treffer formatiert zusammen. Bis zur Marktdurchdringung von google galten MetaSuchmaschinen als eine der interessantesten informationsbeschaffer, da der Suchindex der Suchmaschinen meist nur Teilbereiche des internets enthielt.1996 war das Startjahr von zwei MetaSuchmaschinen. MetaCrawler erblickte in den USA das Licht der Welt und - in Deutschland - MetaGer.

Doch google dominiert den Suchmaschinenmarkt nicht allein, durch spektakuläre Aufkäufe im Frühjahr 2003 sicherte sich Yahoo! den Anschluss in diesem Marktsegment. Ihnen folgten in den nächsten jahren bis heute Scharen von neuen internetbenutzern.Ende 1998 veröffentlichten Larry Page und Sergey Brin ihre innovative Suchmaschinen-Technologie in dem Artikel The Anatomy of a Large-Scale Hypertextual Web Search engine. Diese Arbeit stellte den Startschuss für die bisher erfolgreichste Suchmaschine der Welt dar: google. Im september 1999 erreichte google Beta-Status. Die geordnete Benutzeroberfläche, die Geschwindigkeit und die Relevanz der suchergebnisse bildeten die Eckpfeiler auf dem Weg, die Computererfahrenen Nutzer für sich zu gewinnen.

Seit 2004 gibt es nach einigen Firmenübernahmen nur mehr drei große (bezogen auf die Anzahl erfasster Dokumente) indexbasierte kommerzielle WebSuchmaschinen. Neben google sind dies Yahoo! Search und Microsofts MSN Search.