Interview zur Historie von MetaGer

Interview zur Historie von MetaGer

Das folgende Interview habe ich im Frühjahr 2013 Thomas Dominikowski zur Geschichte von MetaGer gegeben. Es ist in überarbeiteter Form auch in dem Buch „Handbuch Internet-Suchmaschinen 3, Suchmaschinen zwischen Technik und Gesellschaft“, herausgegeben von Dirk Lewandowski, unter der Überschrift „MetaGer, der Dauerläufer„, erschienen.

————————————————————————————————————————

Was haben Sie gemacht, bevor Sie MetaGer gemacht haben?

Ich hatte damals gerade zwei Jahre Erziehungsurlaub. In dieser Zeit habe ich zu Hause viel geschrieben, u.a. ein Buch: „Internet kurz und fündig“. Im Frühjahr 1995 habe ich dann an der Uni Hannover im Regionalen Rechenzentrum für Niedersachen als Webmaster wieder angefangen fulltime zu arbeiten. Ich war zuständig für den zentralen Webserver der Uni und „Mädchen für alles“, wenn es irgendwo in der Uni ein Problem mit dem WWW gab.

Sehr bald zeigte es sich, dass es eine der schwierigsten Aufgaben war, auf den Webservern der Uni irgend etwas wiederzufinden. Ich fragte daher im damals aktuellen Usenet/News – heute kennt es kaum jemand noch – ob es eine Software gäbe, die folgendes leistet: im Volltext nach Stichworten über mehrere Webserver hinweg suchen und finden. Prompt bekam ich eine Antwort von einem Studenten der Uni Konstanz mit einem Tipp auf die Software „Harvest“, frisch von der University of Boulder, Colorado, ins Netz gestellt. Das war die erste, richtige Suchmaschinen-Software, die ich dann an der Uni Hannover installierte. Wir waren damals, 1995, die erste deutsche Uni, die so einen vorzüglichen Service hatte: eine Websuche über alle ihre Server.

Es gab damals zwar an der Uni Hannover nur ca. ein Dutzend Webserver, aber ohne die Harvest-Suchmaschine hätte man auch darin kaum etwas wiederfinden können. Sehr bald kam dann die Idee, dass wir auch weitere Server aus akademischen Bereichen, z.B. der Fachhochschule Hannover (heute: Hochschule Hannover, HsH), hinzunehmen könnten. Oder andere Bereiche des Internets damit indexieren. Das alles war mit dieser Suchmaschinen-Software kein Problem. Allerdings waren die Antwortzeiten deutlich länger und je mehr Server wir erfassten, desto länger wurden sie.

Um diese Zeit gingen dann auch die ersten kommerziellen Suchmaschinen ans Netz: Altavista, Lycos, Hotbot usw.

Wie entstand MetaGer?

MetaGer entstand bei einem Mittagessen auf der Cebit 1996. So wie man sich das typischerweise bei Ingenieuren vorstellt. Auf einer Papierserviette.

Ich hatte mich mit einem Bekannten, ebenfalls Ingenieur, verabredet, und wir schwärmten beim Mittagessen von den neuen Möglichkeiten, die das Internet bietet und die die Welt verändern würden. Letzteres ist ja auch genau so eingetroffen. Die meisten Menschen hatten es 1996 nur noch nicht bemerkt.

Natürlich kamen wir auch auf Suchmaschinen zu sprechen und den fantastisch tollen Service, den Altavista bietet. Allerdings konnte man auch mit Altavista nur einen kleinen Teil des Internet absuchen. Wenn man richtig suchen wollte, dann musste man danach noch alle weiteren damals verfügbaren Maschinen absuchen: Lycos, Hotbot, Infoseek usw – insgesamt etwa ein Dutzend.

An dieser Stelle kam uns blitzartig die Idee, dass dieses Nacheinander-Suchen doch viel besser, schneller und gründlicher mit einem Programm zu machen sei. Das war die Geburtsstunde der deutschen Metasuchmaschine, aus der dann später MetaGer wurde – , denn so ein Programm nennt man eine Metasuchmaschine.

Ich habe dann in den nächsten Tagen und Nächten programmiert – und nach drei Nächten hat es tatsächlich funktioniert. Im Rechenzentrum der Uni hatten wir gerade einen neuen studentischen Mitarbeiter, Mario Schomburg, eingestellt. Ihm zeigte ich dieses Ur-MetaGer als erstem – und er war genauso begeistert. Wir dachten für ein paar Wochen, wir wären die ersten auf der Welt, die so etwas erfunden haben. Aber dann kam Mario mit der Nachricht, dass die Kollegen vom Computer Science Department der University of Washington ein paar Wochen vor uns genau so eine Metasuchmaschine bereits öffentlich ins Netz gestellt hatten. Da diese vornehmlich englische Webseiten erfassten, dachten wir uns „ok, dann machen wir das für den deutschsprachigen Raum“.

Daraus wurde dann auch der Name MetaGer (Meta für die Meta-Suche, Ger für Deutschland).

Als ich Mario dann in die damals vorhandene MetaGer-Software einweihte, meinte er nur „das kann man aber viel besser programmieren“ – und da er auch viel besser programmieren konnte, als ich, tat er es. Ohne Mario Schomburg und seine Programmierkünste wäre MetaGer sicherlich nie aus dem Experimentierstadium herausgekommen.

Wie ging es weiter mit MetaGer?

Bis dahin war MetaGer – nun kommen ein paar Details für Insider – ein Unix-Shell-Script, welches die Programmiersprache awk als Parser benutze. Als unsere MetaGer auch bei den Kollegen im Rechenzentrum bekannt und nützlich wurde, gaben uns die Kollegen den guten Rat, dass wir das dringend in einer „ordentlichen Programmiersprache wie Perl“ programmieren sollten. Nur so könnten wir einigermaßen performat damit werden. Das war ein wirklich guter Rat. Wir kauften uns zwei Exemplare des Buches „Teach youself Perl in 21 day“ und auf gings: nach ein paar weiteren Wochen „lief das Baby in Perl“.

Gegen Ende des Jahres 1996 veröffentlichten wir die Webadresse, ab Anfang 1997 hatten wir rasanten Zulauf und stetig steigende Benutzerzahlen. Das ging so weit, dass wir etwa um das Jahr 2001 ein Drittel des gesamten Datenverkehrs der Uni Hannover über MetaGer laufen hatten; was dann auch schon mal zu kritischen Nachfragen führte in der Art: „was macht ihr da eigentlich??“.

Das Ganze war so ein typisches „Uboot-Projekt“: Wir hatten dazu keine Fördermittel, Forschungsaufträge oder irgendwelche Gelder – wir haben das einfach „aus Spass an der Freude“ und mehr oder weniger nebenbei gemacht. Ich bin damals oft morgens zwischen 3 und 4 Uhr ins Rechenzentrum gefahren, und habe vor meiner eigentlichen Arbeit – ich war als Dozent eingestellt – an MetaGer programmiert.

Auf welcher Technik basiert MetaGer?

MetaGer fragt viele andere Suchmaschinen über das Internet in Echtzeit ab. Das kann man sich so vorstellen, wie man es als normaler Nutzer auch tun würde: Man ruft die einzelnen Suchmaschinen nacheinander auf, speichert dann die Ergebnisse, fasst alles zusammen, eleminiert doppelte Ergebnisse, und bringt den Rest nach eigenen Bewertungskriterien in eine neue Reihenfolge. Diese Schritte macht die Meta-Suchmaschine genau so, mit dem Unterschied, dass die Abfragen an die Suchmaschinen parallel erfolgen und die Verarbeitung der Ergebnisse um Größenordnungen schneller geht. Dabei wurde zumeist das tatsächliche User Interface abgefragt. Heutzutage bieten aber viele Suchmaschinen auch eine standardisierte Schnittstelle (API) an, mit der das Verfahren vereinfacht wird.

Trotzdem dauert die Suche mit einer Metasuchmaschine meist etwas länger, als mit einer originären Suchmaschine. Denn die Metasuche muss warten, bis die langsamste Suchmaschine mit dem Antworten fertig ist. Da es bei einer Vielzahl abgefragter Suchmaschinen – derzeit sind es ca. 50 in MetaGer – vorkommen kann, dass manche unzumutbar lange Antwortzeiten haben, ist in MetaGer ein Timeout eingebaut: wenn die gesamte Suche länger als ca. 2 Sekunden dauert, werden alle noch offenen Antworten abgebrochen.

Ein anderer Nachteil der Metasuche ist das, was andererseits ihr Vorteil ist: sie ist davon abhängig, dass die abgefragten Suchmaschinen diese Abfragen auch zulassen. Um das Jahr 2000 bemerkten immer mehr dieser abgefragten Suchmaschinen, dass wir bei ihnen Last generieren. Und wenn ihnen das nicht mehr gefiel, dann waren wir über kurz oder lang abgeklemmt. Da wurde uns klar, dass die Meta-Suchtechnologie allein nicht der Schlüssel zum Erfolg sein kann. Uns wurde klar, dass wir auch eigene, originäre Suchmaschinen mit eigenem Index und eigener Datenbank betreiben müssen.

Wir nahmen also unsere bewährte Harvest-Software und andere, die es mittlerweile gab und setzten damit eigene Suchmaschinen auf, die dann niemand abklemmen konnte. Diese eigenen Suchmaschinen beschränkten wir meist auf bestimmte Themenbereiche; heute nennt man das vertikale Suchmaschinen. Diese unsere eigenen Maschinen waren meist auf universitäre Bereiche bezogen – denn es sollte ja ein Service für die Uni sein.

Im Jahre 2002 erhielten wir einen Forschungsauftrag vom BMBF (Bundesforschungsministerium), eine Suchmaschine zu entwickeln, welche das deutsche wissenschaftliche Internet erfasst. Dazu haben wir dann eigene Suchtechnologien entwickelt, die in der Suchmaschine Forschunsgportal.net resultierten. Nun sind solche Forschungsaufträge an Universitäten immer zeitlich befristet – nach 5 Jahren musste das Projekt leider wieder eingestellt werden.

Mittlerweile gibt es die Suchmaschine Forschunsgportal.net zwar wieder – sie wird im Auftrag des BMBF von einer Firma aus Stuttgart betrieben – aber mit wesentlich geringerem Dateninhalt. Das ist schade.

Was ist das besondere an MetaGer?

Das besondere ist einmal die Metasuche selber: Die Zusammenfassung der Ergebnisse von bis zu 50 weiteren Suchmaschinen aus den verschiedensten Bereichen. Darunter sind auch ALLE großen Suchmaschinen mit globalem Index, wie z.B. Yahoo/Bing und seit dem vorigen Jahr auch die russische Suchmaschine Yandex, die mittlerweile nach Google und Yahoo auf dem Weltmarkt die Nummer drei ist. Seit kurzem ist auch die Suche im Archiv der Wochenzeitung DIE ZEIT und von ZEIT-Online in MetaGer integriert. Damit kann auf Inhalte und zugehörige Metadaten, wie Autor, Kategorien und Schlagwörter zu allen Texten aus dem Archiv der ZEIT seit 1946(!) und von ZEIT ONLINE zugegriffen werden – ein gewaltiger Datenschatz der dank der ZEIT öffentlich gemacht wurde.

Nur Google haben wir nicht dabei, denn dann hätten wir uns vertraglich verpflichten müssen, die jeweiligen Google-Ergebnisse genau so zu übernehmen, wie Google sie liefert. Also in keiner anderen Reihenfolge, keine Anwendung unseres eigenen Rankings, keine Aussortierung von Spam usw. Das ging uns zu weit, dann gäben wir unsere Identität auf und wären nur noch ein weiterer Clone unter Google, wie es mittlerweile so viele gibt.

Aber das ganz besondere an MetaGer ist, dass der Nutzer bei uns die volle Kontrolle über die Suche hat! Er hat die Kontrolle, welche Suchmaschinen abgefragt werden, und viele weitere Selektionskriterien – das bietet keine andere Suchmaschine.

Sodann gehen wir mit den Daten unserer Nutzer sorgsamer um, als fast alle anderen Suchmaschinen: wir speichern keine personenbeziehbaren Daten. Die IP-Adresse des Nutzers wird in der MetaGer-Software bereits während einer laufenden Suchanfrage anonymisiert.

Wurde MetaGer von anderen Suchmaschinen als Konkurrenz gesehen?

MetaGer hatte nie die ganz großen Reichweiten wie Altavista, Fireball, Infoseek etc. , konnte aber ab 1997 beachtliche Steigerungsraten erzielen. Nach zwei Jahren, zu Beginn des Jahres 1999 hatten wir ca. 70.000 Abfragen pro Tag, im April und Mai 2001 sogar um die ca. 500.000 Abfragen täglich. Ab 2002 ging das dann ganz allmählich zurück, derzeit hat sich die Zahl unserer Abfragen seit ca. 2 Jahren auf einem konstanten Level um ca. 30.000 pro Tag eingependelt.

Ab dem Jahr 2000 entdeckten die anderen Suchmaschinen, dass MetaGer Suchanfragen und insofern Serverlast und Kosten verursachte. Viele (u.a. Altavista) untersagten es MetaGer daraufhin, die eigene Suche abzufragen.

Im Jahr 2001 kamen die ersten Anfragen, bei uns Werbung zu schalten. Zunächst haben wir das immer abgelehnt, aber irgendwann wurden dann einerseits die Angebote so gut, und andererseits entstand allmählich auch aus der Uni heraus ein gewisser berechtigter Druck, dass wir zumindest unsere Selbstkosten doch erwirtschaften müssten.

Ist Metager kommerziell ausgerichtet?

Nein, MetaGer war und ist nie kommerziell ausgerichtet. In 2002 haben wir aber angefangen, unsere Kosten durch Online-Werbung selber zu erwirtschaften, ab 2003 sind wir dazu auch eine Kooperation mit Overture, später Yahoo, eingegangen. Ich kann daher von mir sagen, dass ich einer der wenigen Beamten war, die ihr Gehalt quasi selber verdient haben. Und auch meine Mitarbeiter und weitere Kosten wurden allesamt aus eigenem Erwerb finanziert.

Wie ist der Status von MetaGer heute?