Umlaute zerstört nach Backup

Hier geht es um das Erstellen und Wiederherstellen von Datensicherungen, sowie um den Umzug ganzer webEdition Sites auf einen anderen Server.
urlaubsland-polen
Senior Member
Beiträge: 420
Registriert: Mo 13. Nov 2006, 12:23
Wohnort: Olsztyn, zuvor Warszawa
Kontaktdaten:

Umlaute zerstört nach Backup

Beitragvon urlaubsland-polen » Do 29. Jul 2010, 13:44

Hallo WE-Gemeinde. Mit Problemen der zerstörten Umlaute nach Backups kämpfen einige WE-Nutzer. Oft sind Unterschiede in den Datenbankeinstellungen von Quell- und Zielsystem schuld.

Nun habe ich einen Test gemacht. Backup eines intakten Systems, Wiederherstellung auf dem gleichen Server ohne Änderungen an der Datenbank vorgenommen zu haben (nur "Backup wiederherstellen"). Trotzdem waren in den Objekten die Umlaute zerstört. Die Templates und Dokumente wurden fehlerfrei wieder hergestellt.

Bevor ich das in die Bugbase eintrage, frage mal in die Runde: Hat jemand ähnliche Probleme festgestellt?

Das Interessante ist, dass nachdem ich die Datenbank mit den zerstörten Umlauten durch ein (mit dem Mysqldumper vorab erstellten Backups) ersetze, sofort alle Umlaute wieder korrekt sind.

Da muss irgend etwas beim Backup falsch laufen.

System: 6.0.0.8 (SVN-Revision: 1605), WE-Standard-Charset: UTF-8 Verbindungszeichensatz: utf8 Kollation der MySQL-Verbindung: utf8_general_ci, Provider: Mittwald.

we:willRockYou
Senior Member
Beiträge: 919
Registriert: Fr 22. Mai 2009, 21:40
Wohnort: Berlin
Kontaktdaten:

Re: Umlaute zerstört nach Backup

Beitragvon we:willRockYou » Do 29. Jul 2010, 13:53

Häng Dich mal hier mit dran: http://qa.webedition.org/tracker/view.php?id=4092 Vielleicht kannst Du dort noch interessante Informationen beisteuern.
EOF; //totally retired

urlaubsland-polen
Senior Member
Beiträge: 420
Registriert: Mo 13. Nov 2006, 12:23
Wohnort: Olsztyn, zuvor Warszawa
Kontaktdaten:

Re: Umlaute zerstört nach Backup

Beitragvon urlaubsland-polen » Do 29. Jul 2010, 14:06

Ok, sehe ich mir gleich an. (Habe mich mit rangehangen und Link zu diesem Beitrag dazu gegeben.)

Als ich mir mal die we-Dateien angesehen habe, ist mir in der Datei "backup.inc.php" im Ordner "/webEdition/we/include/we_language/Deutsch_UTF-8" folgendes aufgefallen:
/**
* Language file: backup.inc.php
* Provides language strings.
* Language: Deutsch
*/
$l_backup["save_not_checked"] = "Sie haben noch nicht ausgewählt, wohin die Backup-Datei gespeichert werden soll!";
$l_backup["wizard_title"] = "Backup wiederherstellen Wizard";
$l_backup["wizard_title_export"] = "Backup Wizard";
$l_backup["save_before"] = "Während des Wiederherstellens der Backup-Datei werden die vorhandenen Daten gelöscht! Es wird daher empfohlen, die vorhandenen Daten vorher zu speichern.";
$l_backup["save_question"] = "Möchten Sie dies jetzt tun?";
$l_backup["step1"] = "Schritt 1/4 - Vorhandene Daten speichern";
$l_backup["step2"] = "Schritt 2/4 - Datenquelle auswählen";
Auch hier sind die Umlaute schon zerstört. // Nachtrag: Ruft man aber die Backup-Routine über WE auf, erscheinen die Fehlermeldungen mit korrekten Umlauten. //

Und daher vermute ich ein größeres Problem (entweder in WE selbst oder in der Serverkonfiguration). Könnte auch diese Probleme verursachen:

=> http://forum.webedition.org/viewtopic.php?f=19&t=14670 dazu http://qa.webedition.org/tracker/view.php?id=4444

=> http://qa.webedition.org/tracker/view.php?id=4422

Noch ein Nachtrag: Es sind weitere we-Files mit zerstörten Umlauten vorhanden:
/**
* Language file: enc_we_class.inc.php
* Provides language strings.
* Language: Deutsch
*/
$l_we_class["properties"] = "Eigenschaften";
$l_we_class["path"] = "Pfad";
$l_we_class["adoptToAllInferiorDocuments"] = "fĂĽr alle Dokumente ĂĽbernehmen";
$l_we_class["filename"] = "Dateiname";
$l_we_class["extension"] = "Erweiterung";
$l_we_class["dir"] = "Verzeichnis";
$l_we_class["document"] = "Dokument";
$l_we_class["upload_will_replace"] = "Über den Button \"Hochladen\" können Sie nun die aktuelle Datei ersetzen. Wenn Sie eine weitere, andere Datei oder mehrere Dateien hochladen möchten, so verwenden Sie hierzu bitte die Importfunktion oder rufen diese Seite erneut über das Datei-Menü auf.";
$l_we_class["upload_single_files"] = "ACHTUNG: Bitte beachten Sie, dass über diese Funktion nur einzelne Dateien hochgeladen werden können. Für den Upload mehrerer Dateien verwenden Sie bitte die Importfunktion, welche Sie über das Datei-Menü erreichen.";
$l_we_class["none"] = "--Keine--";
$l_we_class["nodoctype"] = "--Ohne--";
$l_we_class["doctype"] = "Dokument Typ";
$l_we_class["standard_workspace"] = "Standardarbeitsbereich";
$l_we_class["standard_template"] = "Vorlage";
$l_we_class["template"] = "Vorlage";
$l_we_class["no_template"] = "Ohne Vorlage";
$l_we_class["IsDynamic"] = "Seite dynamisch generieren";
$l_we_class["IsSearchable"] = "durchsuchbar";
$l_we_class["InGlossar"] = "Von Glossarersetzung nicht berĂĽcksichtigen";
Noch was: WE wurde heute frisch mit dem neuen OnlineInstaller aufgespielt.

Irgendwie habe ich den Provider in Verdacht. Es könnte durchaus sein, dass dort ein Problem vorhanden ist. Wenn das zutrifft, bitte mal genau mitteilen, wonach ich beim Provider suchen lassen muss.

Weiterer Nachtrag: Die Umlaute in den WE-internen Files sind offenbar doch nicht zerstört. Habe die jetzt anstatt mit dem Wordpad mit dem Windows-Texteditor angesehen. Also muss der Fehler an einer anderen Stelle zu suchen sein.

Die Backup-Datei habe ich jetzt heruntergeladen (über die WE-Backup-Downloadfunktion) und mit dem Notepad++ angesehen... Die Umlaute in den Objekten sind komplett erhalten und als Klartext lesbar. Also scheint es, dass der Verdacht des falsch erstellten Backups damit vom Tisch wäre.

Bleibt nur die Datenbank. Schaut man mit dem phpMyAdmin in die Datenbank ist alles fehlerfrei. Der Datenbankdump (mit mysqldumper) jedoch zeigt zerstörte Umlaute.

Beginnt mit
-- Dump by MySQLDumper 1.24 RC1.9 (http://forum.mysqldumper.de/)
/*!40101 SET NAMES 'utf8' */;
SET FOREIGN_KEY_CHECKS=0;
-- Dump created: 2010-07-29 12:19
und setzt sich so fort
/*!40000 ALTER TABLE `tblContent` DISABLE KEYS */;
INSERT INTO `tblContent` (`ID`,`BDID`,`Dat`,`IsBinary`,`AutoBR`,`LanguageID`) VALUES ('15846','0','Gründliche Reiseplanung nach Polen mit unseren Stadtplänen, Autokarten und touristische Karten','0','','0');
INSERT INTO `tblContent` (`ID`,`BDID`,`Dat`,`IsBinary`,`AutoBR`,`LanguageID`) VALUES ('15847','0','Kartenshop Polen - Stadtpläne, Autokarten, touristische Karten','0','','0');
INSERT INTO `tblContent` (`ID`,`BDID`,`Dat`,`IsBinary`,`AutoBR`,`LanguageID`) VALUES ('15848','0','Polen, Reisen, Reiseführer, Kartenshop, Onlineshop, Stadtpläne, Stadtplan, Autokarte, Autokarten, touristische Karten, Ausflugstipps, Sehenswürdigkeiten, Regionen, Gebirge, Ostsee, Ostseeküste, Ermland und Masuren, Pommern, Kaschubei, Podlasie, Masowien','0','','0');
Dieser Ausschnitt ist aber aus der tblContent und betrifft nicht nur die Objekte.

urlaubsland-polen
Senior Member
Beiträge: 420
Registriert: Mo 13. Nov 2006, 12:23
Wohnort: Olsztyn, zuvor Warszawa
Kontaktdaten:

Re: Umlaute zerstört nach Backup

Beitragvon urlaubsland-polen » Do 29. Jul 2010, 15:40

Zusammenfassung des bisherigen Erkenntnisstandes:

Ausgangssituation:
Backup erstellen und ohne vorherigem Download auf gleichem Server mit unveränderten Datenbankeinstellungen "Backup wiederherstellen" => Umlaute in den Objekten sind zerstört.

Ersetze ich nach "Backup wiederherstellen" die Datenbank mit den zerstörten Umlauten durch ein (mit dem Mysqldumper vorab erstellten Backups), sind sofort alle Umlaute wieder korrekt.

System: 6.0.0.8 (SVN-Revision: 1605), WE-Standard-Charset: UTF-8 Verbindungszeichensatz: utf8 Kollation der MySQL-Verbindung: utf8_general_ci, Provider: Mittwald.

Fehlersuche
WE-Backup enthält (selbst nach dem Download vom Server) intakte Umlaute.
Datenbank mit phpMyAdmin angesehen => intakte Umlaute
Datenbankdump mit mysqldumper angesehen => zerstörte Umlaute

urlaubsland-polen
Senior Member
Beiträge: 420
Registriert: Mo 13. Nov 2006, 12:23
Wohnort: Olsztyn, zuvor Warszawa
Kontaktdaten:

Re: Umlaute zerstört nach Backup

Beitragvon urlaubsland-polen » Fr 30. Jul 2010, 12:58

Ich habe weiter nach Fehlern gesucht...

Aufgabe: Import einer zuvor erstellten Datei auf dem gleichen Server ohne vorherige Manipulation der Backupdatei.

Fehlerbild: Umlaute in Objekte nach Import zerstört. Dokumente mit intakten Umlauten. Rebuild über Objekte brachte auch nichts.

Bemerkenswert: In den Objekten sind Select-Felder vorhanden (mit Umlauten). Diese fehlen in der Klasse nach dem Import. Es bleit die reine Grundform des Select (ein leeres Feld).

Die vorher vorhandene Zeichencodierung der Klasse ist auch leer (war UTF-8 Unicode)

Betrifft Klassen: In den Textarea Feldern waren vorher bei den Einstellungen Haken bei "autobr" vorhanden. Diese fehlen auch. Ebenso die Feldbeschreibungen (Beschreibung), die Textvorgaben und die bei Links eingebenen Vorgaben fehlen nach dem Import.

Die vorher in der Klasse ausgewählten Arbeitsbereiche fehlen nach dem Import auch.

Lösung:
Alle vorher vorhandenen Einträge wurden manuell neu angelegt + Rebuild über Objekte = keine Änderung (Umlaute zerstört)

Ruft man jetzt nacheinander die einzelnen Objekte auf, so sind die Umlaute korrekt (also wurden exakt exportiert).

Ein erneutes Abspeichern der Objekte ergibt eine fehlerfreie Darstellung auf der Webseite.

Zusamenfassung

1. Export fehlerfrei
2. Import zerstört Voreinstellungen, Arbeitsbereiche und Select-Felder in den Klassen.
3. Rebuild über Objekte greift nicht (erst nach manuellem Speichern sind die Objekte korrekt veröffentlicht)

Konfiguration
webEdition-Version 6.0.0.8
PHP-Version 5.2.11
Zend Framework Version 1.8.4
MySql-Version 5.0.90

Ich habe dies in die Bug-Base eingetragen (an vorhandene Fehlermeldung) => http://qa.webedition.org/tracker/view.p ... 2#bugnotes

Es war noch ein Problem vorhanden: in den mit dem alten OnlineInstaller angelegten WE-Installationen fehlten bei mir in der WE-Config-Datei we_conf.inc folgende Einstellungen:

// Charset of tables in database for this webEdition. define("DB_CHARSET",'utf8');
// Collation of tables in database for this webEdition. define("DB_COLLATION","utf8_general_ci");

Auch nachdem ich die Eintragungen gemacht hatte, ergab sich jedoch auch keine Änderung der Fehler. (Neues Backup erstellt und auf dem gleichen Server wieder eingespielt).
Zuletzt geändert von urlaubsland-polen am Sa 31. Jul 2010, 09:45, insgesamt 1-mal geändert.

we:willRockYou
Senior Member
Beiträge: 919
Registriert: Fr 22. Mai 2009, 21:40
Wohnort: Berlin
Kontaktdaten:

Re: Umlaute zerstört nach Backup

Beitragvon we:willRockYou » Fr 30. Jul 2010, 13:12

urlaubsland-polen hat geschrieben:Bemerkenswert: In den Objekten sind Select-Felder vorhanden (mit Umlauten). Diese fehlen in der Klasse nach dem Import. Es bleit die reine Grundform des Select (ein leeres Feld).
Ja, das ist ein anderer (zumindest mir) bekannter Fehler. Ich glaube in der Bugbase gibts den noch nicht. Das liegt aber nicht an Umlauten. Selects überleben den Im/Export nicht. Es fehlt aber nur die Struktur in der Klasse. Die ausgewählten Daten sind in den Objekten vorhanden. Das führt erst mal zu PHP-Fehlern. Nachdem man das Select aber wieder manuell angelegt hat funktioniert wieder alles.
urlaubsland-polen hat geschrieben:Lösung:
Ach so, sorry. Die Lösung hätte ich Dir auch verraten können. :oops: Nutzt Du Firefox? Das liegt meines Erachtens nach an FF, der die Fehlerhaften Zeichen erkennt und korrigiert. Aufmachen -> Speichern reicht deswegen.
EOF; //totally retired

urlaubsland-polen
Senior Member
Beiträge: 420
Registriert: Mo 13. Nov 2006, 12:23
Wohnort: Olsztyn, zuvor Warszawa
Kontaktdaten:

Re: Umlaute zerstört nach Backup

Beitragvon urlaubsland-polen » Fr 30. Jul 2010, 13:21

Hallo Daniel. Ja, ich nutze Firefox. Heute ist in Olsztyn kein Badewetter, also werde ich jetzt mal... IE oder Safari auf WIN XP probieren. Mein 3,5 Jahre altes Macbook Pro hat Probleme mit dem Lüfter... ;)

Interessant ist nur, warum die Umlaute nach dem Import zerstört sind und nach dem Anlegen der Klassen-Struktur wieder korrekt sind... Teufelszeug :)

ArminSchulz
Senior Member
Beiträge: 250
Registriert: Do 1. Jan 1970, 02:00
Wohnort: Berlin
Kontaktdaten:

Re: Umlaute zerstört nach Backup

Beitragvon ArminSchulz » Mo 2. Aug 2010, 12:05

Hi

hab mal versucht ein wenig ein altes WE-Zeichensatz Problem zu dokumentieren, das erst mit dem neuen Installer 2.5, aktuellen Tarball-Setups und Version 6.1.0 usw. (hoffentlich!) gefixt ist

Siehe
http://documentation.webedition.org/wik ... et-problem

und dort verbundene Dokus

Es muss nicht, könnte aber die Ursache sein
Dr. Armin Schulz

Astendo GmbH
www.astendo.de

we:willRockYou
Senior Member
Beiträge: 919
Registriert: Fr 22. Mai 2009, 21:40
Wohnort: Berlin
Kontaktdaten:

Re: Umlaute zerstört nach Backup

Beitragvon we:willRockYou » Mo 2. Aug 2010, 13:02

Ich habe auch gerade ein Zeichensatz-Backup-Problem.

Ausgangssituation: Backup von WE4 in ISO-8859-Format. Nach dem Einspielen in ein WE-6008 System im ISO-Format waren jedoch alle Umlaute kaput in Templates und Dokumenten. (Objekte gibt es bei diesem Projekt nicht) Da dachte ich mir: Gut, dann kann ich das Projekt auch gleich auf UTF-8 umstellen.

Also, WE noch mal als UTF-8 installiert. Backup eingespielt, alles genau gleich, Umlaute kaput in Dokumenten und Vorlagen. Wäre ja auch komisch wenns jetzt funktioniert hätte. Leider klappt das mit öffnen -> speichern -> fertig hier nicht.

Ich habe aber heruasgefunden dass, wenn man alle Textarea auf inlineedit="false" stellt werden die Umlaute repariert. Cool. Also: Dokument öffnen -> Textarea-Popup öffen -> Speichern -> Fertig.

Das Phänomen ist auch (zumindest teilweise) verständlich. Die Textarea-Popups sind ja fälschlicherweise fest in ISO-8859-1 kodiert (*BUG*) auch wenn der Rest von A-Z in UTF-8 gegossen ist.

Hat jetzt natürlich nichts mit dem hier beschriebenen Problem zu tun. Wollte den Tip nur hier für die Nachwelt festhalten.
EOF; //totally retired

we:willRockYou
Senior Member
Beiträge: 919
Registriert: Fr 22. Mai 2009, 21:40
Wohnort: Berlin
Kontaktdaten:

Re: Umlaute zerstört nach Backup

Beitragvon we:willRockYou » Mo 2. Aug 2010, 13:20

Ach verdammt, klappt doch nicht. Es sieht zwar richtig aus, aber schliesst und öffnet man das Dokument wieder, hat sich nichts geändert.
EOF; //totally retired

finzl
Junior Member
Beiträge: 1
Registriert: Di 24. Jan 2012, 14:19

Re: Umlaute zerstört nach Backup

Beitragvon finzl » Di 24. Jan 2012, 14:32

Ich hatte ein ähnliches Problem.

Musste ein webedition 3 Backup auf einer Webedition 6 Installation wiederherstellen und es brach immer bei den Umlauten ab.

Ich habe das ganze dann neu installiert und als Sprache Deutsch_UTF8 benutzt.

Ausserdem habe ich für den Zeichensatz/Kollation der MySQL Verbindung über phpmyadmin VOR der Installation auf latin1_german1_ci umgestellt und das auch bei der WE-Installation so angegeben.

Danach hat das Backup funktioniert, er brach nicht mehr bei Umlauten ab, sogar die Vorlagen hat er ohne Mucken übernommen.

Unser alter Provider war 1und1 und der neue ebenfalls Mittwald.


Zurück zu „Backup und Serverumzug“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste