Mehr Geschwindigkeit kann mehr Fehler erzeugen
Ein Programm lässt möglicherweise nur eine bestimmte Zahl von Anfragen in einem Zeitraum zu. Wenn ein Import alle Datensätze gleichzeitig sendet, können Anfragen abgewiesen werden. Die konkreten Grenzen stehen in der Dokumentation oder im Vertrag des Dienstes.
Unterscheiden Sie diese zeitlichen Limits von Monatskontingenten und maximalen Dateigrößen. Eine Pause löst nicht jedes dieser Probleme.
Den Import in Stapel aufteilen
n8n stellt mit „Loop Over Items“ eine Möglichkeit zur Verarbeitung in Gruppen bereit. Dokumentation. Die passende Stapelgröße muss zu Dienst, Datenmenge und Laufzeit passen.
Beginnen Sie mit einem kleinen Test. Beobachten Sie Antwortzeiten und Fehlermeldungen. Erhöhen Sie die Parallelität erst, wenn klar ist, welche Grenzen tatsächlich greifen.
Fortschritt an Datensätzen festhalten
Im fiktiven Beispiel sollen 800 Artikel übertragen werden. Nach 430 bestätigten Übernahmen bricht die Verbindung ab. Beim Neustart sollte erkennbar sein, welche Artikel sicher angekommen sind und welche noch offen bleiben.
Eine bloße Zählung ist dafür oft zu wenig. Speichern Sie die fachliche Kennung und das bestätigte Ergebnis je Datensatz. Bei unklarem Ausgang wird zuerst im Zielsystem geprüft, bevor erneut geschrieben wird.
Ein fehlerhafter Datensatz darf nicht alles verdecken
Ein ungültiges Feld kann einen einzelnen Eintrag betreffen. Legen Sie fest, ob der übrige Stapel weiterlaufen darf oder der gesamte Lauf angehalten wird. Diese Entscheidung hängt davon ab, ob die Datensätze voneinander abhängen.
Offene Einträge erhalten einen Fehlergrund und einen Bearbeiter. Sie dürfen nicht aus der Abschlussstatistik verschwinden. Die Anzahl bestätigter, zurückgestellter und fehlgeschlagener Datensätze muss zur Eingangsmenge passen.
Den Abschluss fachlich prüfen
Vergleichen Sie neben Mengen auch ausgewählte Schlüssel und Werte im Zielsystem. Ein erfolgreicher HTTP-Status kann eine technisch angenommene Anfrage beschreiben, während die fachliche Verarbeitung noch aussteht.
Planen Sie außerdem eine kontrollierte Unterbrechung im Test. Die Wiederaufnahme sollte nur den offenen Teil bearbeiten und bereits bestätigte Änderungen nicht doppelt ausführen. Damit wird der Import auch bei größeren Datenmengen nachvollziehbar.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.