_Importablauf

Ablauf des Datenimports

Das System importiert die Daten anhand einer Steuerdatei; dort ist festgehalten:

• welche CSVs importiert werden
• welche Spalten in den CSVs genutzt werden
• wohin die Daten verbucht werden

• welches Spalteneinfassung, Trennzeichen und welcher Zeichensatz genutzt werden.

Vorzugsweise sollte genutzt werden:

Umgang mit fehlenden Daten

Das System erkennt fehlende Daten und reagiert NICHT mit einem Abbruch darauf. Stattdessen wird eine fehlende CSV aus dem letzten erfolgreichen Datenimport ergänzt.

Praktisch bedeutet dies bei eventuellen manuellen Datenexporten, dass falls nur eine neue Konditionsdatei importiert wird, der gesamte andere Datenbestand aus dem letzten Import genutzt wird.

Umfang des Datenexports

Die allgemeinen Tabellen sollten mit importiert werden, um auf evtl. Veränderungen automatisch zu reagieren.

Formatierung der CSVs

Grundsätzlich

sollten alle Felder mit Anführungszeichen (") umfasst sein und diese im Text ggfls. escaped werden.(Es gab Kundennamen, die in der Bezeichnung 1 ein öffnendes Anführungszeichen und in Bezeichnung 2 das schließende hatten)

als Feld-Trennzeichen sollte IN ALLEN CSVs IMMER das gleiche Zeichen (Semikolon?) genutzt werden

Spaltentitel sind prinzipiell egal; sollten aber wenn möglich keine Sonder- / Leerzeichen enthalten und KEINESFALLS in der gleichen Tabelle doppelt vergeben werden.

interne Versionierung

Das System importiert die Daten grundsätzlich mit einer Version -1; erst nach erfolgreichem Import aller Daten wird ein Versionsshift auf die gültige Version 0 durchgeführt. Dies reduziert die Probleme mit nicht zueinander passenden Datenbeständen. Der Versionsshift benötigt insgesamt ca. 10 Sekunden; aktuell wird die Preislistenausgabe dafür noch nicht gesperrt.