Seite 1 von 1

Fehler beim Import vom Server und großen Dateien

Verfasst: Do 28. Sep 2006, 17:25
von riker09
Hallo!

Ich habe ein Problem bei einem Kunden, der recht große Dateien in WebEdition integrieren muss. Die Dateigröße bewegt sich zwischen 100 und 200 MB. Es ist wichtig, dass diese Dateien in WebEdition vorhanden sind. Ich dachte mir natürlich, ich könnte die Import-Funktion nutzen und die per FTP hochgeladen Dateien in WebEdition importieren, aber irgendwie mag er dass nur bei kleineren Dateien auch zuverlässig erledigen.

Ich habe z.Zt. zwei Dateien (eine 20MB große .bin und eine 120MB große .tar.gz) in einem FTP-Upload Verzeichnis liegen. Wenn ich den Importvorgang anstoße (unbegrenzte Dateigröße, nur sonstige Dateien und Tiefe 0) dann lädt er zwar die 20MB Datei, aber danach will mir der Server die Datei we_cmd.php schicken. Lade ich die dann runter steht nichts drin (leere Datei). Der Import geht natürlich nicht weiter. Ich habe das memory_limit und die execution_time sowie diverse andere Variablen (post_max_size, upload_file_size) auf höhere Werte gesetzt, aber kein Erfolg.
Es macht aus meiner Sicht auch keinen Sinn, die post_max_size zu erhöhen, da die Dateien ja schon auf dem Server liegen und eigentlich ja nur die Inodes im Dateisystem geändert werden müssten sowie ein paar Einträge in die Datenbank.

Oder versucht WebEdition etwa 120 MB in die Tabellen zu schreiben?

Volker

Verfasst: Mi 27. Feb 2008, 15:47
von mausi
Hi!

Würde mich auch mal interessieren. Trotz dieser Einstellungen in einer .htaccess

php_value post_max_size "40M"
php_value upload_max_filesize "40M"
php_value max_input_time "900"

funktioniert es nicht, eine 25MB große Datei hochzuladen! phpinfo zeigt die geänderten Werte an.

ga

Verfasst: Mi 27. Feb 2008, 15:53
von mausi
Fehler gefunden!

Statt 64MB habe ich hier mal 256MB eingesetzt:

php_value memory_limit "256M"

Nun klappts :)

Verfasst: Mi 27. Feb 2008, 20:04
von mausi
Urgh. Nach kurzer Zeit war der Server platt (Load average von >18). Also keine gute Idee :|

Tja, evtl. hat ja jemand noch eine andere Idee?!

Verfasst: Do 28. Feb 2008, 10:15
von Dirk Einecke
Hi,
riker09;43304 hat geschrieben:Oder versucht WebEdition etwa 120 MB in die Tabellen zu schreiben?
Das Posting ist zwar nun schon uralt ... ich möchte trotzdem für alle anderen eine Antwort schreiben: natürlich wird der Inhalt der Datei nicht in die datenbank geschrieben. Es wird nur ein Datenbankeintrag erstellt, der auf die eigentliche datei zeigt.

Verfasst: Do 28. Feb 2008, 10:17
von Dirk Einecke
Hi,
mausi;47610 hat geschrieben:Tja, evtl. hat ja jemand noch eine andere Idee?!
Die ganzen Grenzen die man PHP gibt haben schon einen Sinn. Werden sie so wie hier extrem verändert, dann darf PHP zwar Vollgas geben, der Server wird dadurch aber nach unten gezogen. Die Grenzen sind sozusagen ein Schutzmechanismus.

Was spricht dagegen die Dateien nicht in webEdition zu importieren?

Verfasst: Do 28. Feb 2008, 10:52
von mausi
... wir haben es jetzt so gelöst, dass es ein HREF-Feld im Objekt ist und der Redakteur vorher die großen Dateien (Treiberpakete 4-30MB) per FTP auf den Server schiebt. Ist zwar etwas umständlicher, aber es funktioniert :)

Verfasst: Do 28. Feb 2008, 11:00
von Dirk Einecke
Hi,
mausi;47613 hat geschrieben:... wir haben es jetzt so gelöst, dass es ein HREF-Feld im Objekt ist und der Redakteur vorher die großen Dateien (Treiberpakete 4-30MB) per FTP auf den Server schiebt. Ist zwar etwas umständlicher, aber es funktioniert :)
Ja. Wir haben bei unseren eigenen Website es auch so gemacht. Wichtig ist dabei, dass man alle Dateien, die nicht über webEdition verwaltet werden in ein externes Verzeichnis speichert ... z.B. "_extern". Wenn ein Backup des gesamten Webauftritts gemacht werden soll, dann weiß man genau, welches Verzeichnis neben dem webEdition-Backup noch gesichert werden muss.

Verfasst: Do 28. Feb 2008, 11:47
von mausi
Offtopic: Finde es schön, dass hier wieder vom we-Support geantwortet wird. Das war eine Zeitlang mal anders. Sehr gut :) ByTheWay: Eure Telefonleute sind durchweg in den Jahren immer sehr nett und freundlich. Ich hatte jetzt den krassen Vergleich zu einem Softwarehersteller im xt:Commerce Bereich und musste aber diese Woche zufälligerweise mit jemanden von euch sprechen. Nur mal so als Feedback!

gm

Verfasst: Di 21. Okt 2008, 11:59
von riker09
Um mal wieder ein altes Thema hervorzukramen, ich habe aktuell mal wieder das Problem mit großen Dateien innerhalb von webEdition. Konkret geht es um einen 50MB großen Flash-Film (*.flv). Der Redakteur soll beliebig viele Filme innerhalb von webEdition verwalten können (dazu ist ein Content-Management-System schließlich da - extern mit FTP rumzuwursteln ist KEINE Lösung). Leider bricht der HTTP-Upload bisher immer mit einem Memory-Limit Fehler ab, der Java-Upload lädt zwar durch, aber die Datei erscheint nicht in webEdition. Ebensowenig führt der Import vom Server zum Erfolg.

Und genau den letzten Punkt verstehe ich nicht. Warum kann er die Datei nicht einfach aus einem Upload-Verzeichnis woanders hin schieben und den Eintrag in die Tabellen machen? Der Import vom Server geht jedes mal ratz-fatz und meldet, dass alles erfolgreich lief, aber die Datei ist natürlich nicht importiert worden.

Während ich das hier schrieb, führte ein heraufsetzen des Memory-Limit auf 256MB zum gewünschten Erfolg, aber eine Lösung ist das meiner Meinung nach nicht. Kann der Serverseitige Import bitte verbessert werden?