Ich will mir eine Suchmaschine für das Web erstellen und wollte mal fragen, womit man so ungefähr rechnen muss, sprich Speicherbedarf, Serverleistung etc.

Grüße

was willst du denn durchsuchen?

nur verschiedene Themen oder das ganze WWW?

Das ganze WWW, irgendwann soll das mal an Google drankommen, frag mich aber, ob das machbar ist.

Für meine Homepages reichen 20 MB. Das restliche Web ist nicht so wichtig!

Googel betreibt mehrere millionen Server weltweit. Genaue Zahlen kennt keiner.
Soviel ich weiß, bevorzugt Google kleine Server in der Klasse Celeron.

Viel Glück !

Ich würde mal bei Yahoo oder Microsoft zwecks einer Kooperation anfragen.
Die beiden würden sich auch freuen, iiiiiiirgendwann mal Konkurrenz für Google zu werden.

edit:
Einem Bericht der New York Times zufolge, soll Google derzeit etwa 450.000 Server haben und bis 2011 auf 800.000 aufstocken wollen.

Danke, werde eine Kontaktaufnahme zu Yahoo bzw. Microsoft wagen.
Kennt jemand eine Kontaktemail oder Adresse?

über irgendwelchen Verbrauch solltest du dir keine Gedanken machen müssen, wenn du auf Skalierbarkeit achtest... denn ohne der bekommst du keine große Reichweite.

Übrigens google benötigte am Anfang für 24 Millionen Seiten:
9 Tage
55.2 GB HD für Index
53.5 GB HD für Cache

Wenn du tatsächlich vor hast einen eigenen Crawler zu bauen, kannst du dich ja mal bei mir melden. Ich habe das schon hinter mir, und evtl. kann ich dir behilflich sein.

Vielen Dank für Dein Angebot. Werde ggf. drauf zurückkommen
Was ist denn aus Deinen Bemühungen geworden?

naja, ich habe versucht es so simpel wie möglich zu halten, das Ergebnis war trotzdem nicht schlecht. Allerdings habe ich dann in einer andere Richtung weitergemacht, weil die Idee zu Contaxe entstand.

Trotzdem habe ich weiterhin an allem Interesse was mit Crawlern zu tun hat. Irgendwann bau ich mir vielleicht wieder mal einen, genug Verbesserungsideen habe ich mittlerweile.

Hi,

du willst irgendwann mal mit G konkurrieren, ist dass ein Witz, da bist du ein paar Jahre zu spät dran.

Am Anfang konnte man G für einhunderttausend Dolar erwerben, interessant nicht?, aber zu dieser Zeit wollte G noch keiner haben, jetzt ist es leider schon zu spät.

Findest du deine Idee nicht lächerlich? Diese Frage ist wirklich ernstgemeint, ich wundere mich bloß???????????


Google hat wie schon erwähnt 10000ende von Servern, hast du so viel Geld??

Hi zusammen

Eine länder- oder themenbezogene Suchmaschine hätte ev. schon Nischenchancen, vielleicht in Kombination mit einer anderen Idee. Dann wäre es wieder etwas Neues. Die bisherigen Suchmaschinen sind ja nicht intelligent. Eine Suchmaschine, welche die relevanten von den irrelevanten Ergebnissen unterscheiden könnte anhand der Struktur der Site-Themen, wäre interessant.

Wenn Yahoo und Microsoft nicht mit Google konkurrieren können, ist es natürlich fast unmöglich.
Man muss aber bedenken, dass Google aufgrund der Publicity und der entsprechenden Suchergebnisse Vorreiter ist.
Wenn man eine Suchmaschine entwickelt, die noch bessere Ergebnisse liefert,
z.B. powerset.com mit der semantischen Suche, könnten Google die Leute davonrennen.
Es kommt halt nur auf die entsprechende Technik an. Und ehrlich gesagt liefert Google auch nicht die Top Ergebnisse.

Ich hab momentan zu wenig Erfahrung mit Suchmaschinen, deshalb bilde ich mir natürlich nicht ein, mit den Großen konkurrieren zu können. Kann aber noch einige lernen.

Z.B. würde mich interessieren, wie Google die Webschnittstelle gesetzt hat. Man spricht ja, dass alles mit C/C++ implementiert wurde. Verwendet Google auch eine C Anbindung für das Web oder handelt es sich einfach nur um eine in C erstellte Bibliothek für PHP?

Nur weil Google jetzt groß ist, heißt das nicht, dass sie es für immer sein werden. Yahoo war auch mal größer als Google Und eine Verdrängung von Google hat zB. Baidu bereits bewießen.

Mal davon abgesehen, von der technischen Seite ist es nicht mal so undenkbar, wenn man davon ausgeht, das googles Server bereits ~5 Jahre alt sind, und sie lieber mehr hinzustellen als alte austauschen.

Das ist völlig egal, früher haben sie einfach Python genommen. Mittlerweile werden sie einen eigenen Webserver zusammengebaut haben (vermutlich aus Apache oder lighttp). Ansonsten läuft jede Kommunikation zwischen den Crawler-Einzelteilen über Sockets, daher ist es völlig egal womit die einzelnen Teile programmiert sind

hmm....
erinnert euch mal daran, wie lange es gedauert hat, bis Google zum SuMa Primus wurde.

Und dann sag mir nochmal einer, dass Google auf Dauer auf Platz 1 bleibt.
Der Thron ist doch schon am Schwanken...
Einfach bisschen Geduld haben oder, wie der Kollege hier, das ganze in die Hand nehmen.

Larry hatte damals auch nur ne verrückte Idee ^^

Google war nie für 100k $ zu haben. DAs war das erste Kapital (wenn ich mich recht erinnere, haben sie das dem SUN Boss auf der Strasse abgeschnorrt, bin aber nicht mehr sicher).

WOllte nur folgenden Buchtipp zum Besten geben:
Managing Gigabyte von Witten, Bell und Moff.. et oder at oder so.

Das hab ich vor 2 Jahren auch mal gesagt. Mal ehrlich, wie lange entwickeln die schon im Dunkelkämmerchen?