Hallo,

hat jemand von euch Erfahrung damit sehr viele Daten in Mysql zu importieren. Spreche da von etwas mehr als 13 Millionen Datensätze. Nach meiner Hochrechnung sind das 3.3 Gigabyte. Das Script, das ich benutze funktioniert wunderbar, nur bei 4.712.944 Datensätzen hatte er plötzlich keine Lust mehr.
Wie stell ich das am besten an, zumal ich im Moment noch lokal operiere, sozusagen als Test, dass sollte am Ende ja noch auf den Webserver.

Hab grad versucht die Arbeit mitten im Sourcefile wiederaufzunehmen, mit fseek() hat aber gar nix gemacht.

Jede Idee ist mir willkommen...

thx
Alain

hm....zeitüberschreitung oder woran liegts?

ein wenig ursachenforschung wär nicht schlecht, dann könnte man vielleicht abhilfe schaffen...

wie liegen die daten denn vor?

Die Quelle ist gz komprimierter Text. Habs jetzt mit dem Filepointer gelöst, dass er Fortschritt speichert und dann dort weiterfährt, falls er unterbricht. Es gibt eben keine Fehlermeldung, er hört einfach auf. Aber es geht um Stunden das alles in die DB zu kriegen, evtl ists auch der Stromsparmodus vom laptop...? Server ist local.
Aber was ich mich frage, ist wie ichs aufn Server kriege. Das gleiche Script wie lokal ausführen... Serverauslastung zu hoch, einzeln uploaden, dauert ja ewig. 3-4 giga erwarte ich jetzt.

also das heisst es funktioniert jetzt? ok.

hmm....ich würde das ganze dann resourcenschonen programmiert (ein paar 'sleep()' hier und da) auf dem server erst importieren, sonst wird ja die uploadzeit gigantisch...selbst bei 2M/bit+X....oder mit was surfst du so rum?

Es läuft.... und läuft... und läuft...
Aber ich hatte glück, hab ein passenden open source Script gefunden und es angepasst, habe in erwägung gezogen einfach eine Woche lang ein Script im Hintergrund zu haben, das stetig uploaded. Ach ja ADSL ~80/14, also nicht der bombenupload mit 14kb/s. Der geringe personelle Aufwand steht im Vordergrund, dh es ist mir egal, wenn der PC macht, solang ich weniger muss.
Ich frag mich einfach, was optimale Kb-Pakete sind, um einem Server zu schicken, nicht überlasten aber trotzdem mögl. gross.