Fehler beim Import vom Server und großen Dateien

XML/CSV Import- und Exportfunktionen, webEdition XML Import - NICHT Backup
riker09

Fehler beim Import vom Server und großen Dateien

Beitragvon riker09 » Do 28. Sep 2006, 17:25

Hallo!

Ich habe ein Problem bei einem Kunden, der recht große Dateien in WebEdition integrieren muss. Die Dateigröße bewegt sich zwischen 100 und 200 MB. Es ist wichtig, dass diese Dateien in WebEdition vorhanden sind. Ich dachte mir natürlich, ich könnte die Import-Funktion nutzen und die per FTP hochgeladen Dateien in WebEdition importieren, aber irgendwie mag er dass nur bei kleineren Dateien auch zuverlässig erledigen.

Ich habe z.Zt. zwei Dateien (eine 20MB große .bin und eine 120MB große .tar.gz) in einem FTP-Upload Verzeichnis liegen. Wenn ich den Importvorgang anstoße (unbegrenzte Dateigröße, nur sonstige Dateien und Tiefe 0) dann lädt er zwar die 20MB Datei, aber danach will mir der Server die Datei we_cmd.php schicken. Lade ich die dann runter steht nichts drin (leere Datei). Der Import geht natürlich nicht weiter. Ich habe das memory_limit und die execution_time sowie diverse andere Variablen (post_max_size, upload_file_size) auf höhere Werte gesetzt, aber kein Erfolg.
Es macht aus meiner Sicht auch keinen Sinn, die post_max_size zu erhöhen, da die Dateien ja schon auf dem Server liegen und eigentlich ja nur die Inodes im Dateisystem geändert werden müssten sowie ein paar Einträge in die Datenbank.

Oder versucht WebEdition etwa 120 MB in die Tabellen zu schreiben?

Volker

Benutzeravatar
mausi
Senior Member
Beiträge: 449
Registriert: Di 27. Jan 2004, 16:17
Wohnort: Welver
Kontaktdaten:

Beitragvon mausi » Mi 27. Feb 2008, 15:47

Hi!

Würde mich auch mal interessieren. Trotz dieser Einstellungen in einer .htaccess

php_value post_max_size "40M"
php_value upload_max_filesize "40M"
php_value max_input_time "900"

funktioniert es nicht, eine 25MB große Datei hochzuladen! phpinfo zeigt die geänderten Werte an.

ga
OMOC.interactive https://www.omoc.de/ - webEdition e.V. Gründungsmitglied & Ex Fördermitglied

Benutzeravatar
mausi
Senior Member
Beiträge: 449
Registriert: Di 27. Jan 2004, 16:17
Wohnort: Welver
Kontaktdaten:

Beitragvon mausi » Mi 27. Feb 2008, 15:53

Fehler gefunden!

Statt 64MB habe ich hier mal 256MB eingesetzt:

php_value memory_limit "256M"

Nun klappts :)
OMOC.interactive https://www.omoc.de/ - webEdition e.V. Gründungsmitglied & Ex Fördermitglied

Benutzeravatar
mausi
Senior Member
Beiträge: 449
Registriert: Di 27. Jan 2004, 16:17
Wohnort: Welver
Kontaktdaten:

Beitragvon mausi » Mi 27. Feb 2008, 20:04

Urgh. Nach kurzer Zeit war der Server platt (Load average von >18). Also keine gute Idee :|

Tja, evtl. hat ja jemand noch eine andere Idee?!
OMOC.interactive https://www.omoc.de/ - webEdition e.V. Gründungsmitglied & Ex Fördermitglied

Dirk Einecke
Senior Member
Beiträge: 3735
Registriert: Do 1. Jan 1970, 02:00
Wohnort: Karlsruhe
Kontaktdaten:

Beitragvon Dirk Einecke » Do 28. Feb 2008, 10:15

Hi,
riker09;43304 hat geschrieben:Oder versucht WebEdition etwa 120 MB in die Tabellen zu schreiben?
Das Posting ist zwar nun schon uralt ... ich möchte trotzdem für alle anderen eine Antwort schreiben: natürlich wird der Inhalt der Datei nicht in die datenbank geschrieben. Es wird nur ein Datenbankeintrag erstellt, der auf die eigentliche datei zeigt.

Dirk Einecke
Senior Member
Beiträge: 3735
Registriert: Do 1. Jan 1970, 02:00
Wohnort: Karlsruhe
Kontaktdaten:

Beitragvon Dirk Einecke » Do 28. Feb 2008, 10:17

Hi,
mausi;47610 hat geschrieben:Tja, evtl. hat ja jemand noch eine andere Idee?!
Die ganzen Grenzen die man PHP gibt haben schon einen Sinn. Werden sie so wie hier extrem verändert, dann darf PHP zwar Vollgas geben, der Server wird dadurch aber nach unten gezogen. Die Grenzen sind sozusagen ein Schutzmechanismus.

Was spricht dagegen die Dateien nicht in webEdition zu importieren?

Benutzeravatar
mausi
Senior Member
Beiträge: 449
Registriert: Di 27. Jan 2004, 16:17
Wohnort: Welver
Kontaktdaten:

Beitragvon mausi » Do 28. Feb 2008, 10:52

... wir haben es jetzt so gelöst, dass es ein HREF-Feld im Objekt ist und der Redakteur vorher die großen Dateien (Treiberpakete 4-30MB) per FTP auf den Server schiebt. Ist zwar etwas umständlicher, aber es funktioniert :)
OMOC.interactive https://www.omoc.de/ - webEdition e.V. Gründungsmitglied & Ex Fördermitglied

Dirk Einecke
Senior Member
Beiträge: 3735
Registriert: Do 1. Jan 1970, 02:00
Wohnort: Karlsruhe
Kontaktdaten:

Beitragvon Dirk Einecke » Do 28. Feb 2008, 11:00

Hi,
mausi;47613 hat geschrieben:... wir haben es jetzt so gelöst, dass es ein HREF-Feld im Objekt ist und der Redakteur vorher die großen Dateien (Treiberpakete 4-30MB) per FTP auf den Server schiebt. Ist zwar etwas umständlicher, aber es funktioniert :)
Ja. Wir haben bei unseren eigenen Website es auch so gemacht. Wichtig ist dabei, dass man alle Dateien, die nicht über webEdition verwaltet werden in ein externes Verzeichnis speichert ... z.B. "_extern". Wenn ein Backup des gesamten Webauftritts gemacht werden soll, dann weiß man genau, welches Verzeichnis neben dem webEdition-Backup noch gesichert werden muss.

Benutzeravatar
mausi
Senior Member
Beiträge: 449
Registriert: Di 27. Jan 2004, 16:17
Wohnort: Welver
Kontaktdaten:

Beitragvon mausi » Do 28. Feb 2008, 11:47

Offtopic: Finde es schön, dass hier wieder vom we-Support geantwortet wird. Das war eine Zeitlang mal anders. Sehr gut :) ByTheWay: Eure Telefonleute sind durchweg in den Jahren immer sehr nett und freundlich. Ich hatte jetzt den krassen Vergleich zu einem Softwarehersteller im xt:Commerce Bereich und musste aber diese Woche zufälligerweise mit jemanden von euch sprechen. Nur mal so als Feedback!

gm
OMOC.interactive https://www.omoc.de/ - webEdition e.V. Gründungsmitglied & Ex Fördermitglied

riker09

Beitragvon riker09 » Di 21. Okt 2008, 11:59

Um mal wieder ein altes Thema hervorzukramen, ich habe aktuell mal wieder das Problem mit großen Dateien innerhalb von webEdition. Konkret geht es um einen 50MB großen Flash-Film (*.flv). Der Redakteur soll beliebig viele Filme innerhalb von webEdition verwalten können (dazu ist ein Content-Management-System schließlich da - extern mit FTP rumzuwursteln ist KEINE Lösung). Leider bricht der HTTP-Upload bisher immer mit einem Memory-Limit Fehler ab, der Java-Upload lädt zwar durch, aber die Datei erscheint nicht in webEdition. Ebensowenig führt der Import vom Server zum Erfolg.

Und genau den letzten Punkt verstehe ich nicht. Warum kann er die Datei nicht einfach aus einem Upload-Verzeichnis woanders hin schieben und den Eintrag in die Tabellen machen? Der Import vom Server geht jedes mal ratz-fatz und meldet, dass alles erfolgreich lief, aber die Datei ist natürlich nicht importiert worden.

Während ich das hier schrieb, führte ein heraufsetzen des Memory-Limit auf 256MB zum gewünschten Erfolg, aber eine Lösung ist das meiner Meinung nach nicht. Kann der Serverseitige Import bitte verbessert werden?


Zurück zu „Import- /Exportfunktionen“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 7 Gäste