Business Automation mit einem ETL Prozess

Als Unternehmer nutzt du bestimmt moderne Tools die dir helfen, häufige Prozesse zu automatisieren. Zu den gängigsten Kandidaten gehört dabei das Customer Relation Management System (CRM) was im besten Fall alle Fäden zusammenführt. Große Systeme wie Hubspot, Pipedrive oder Xentral bieten für gängige Usecases fertige App-Integrationen zu anderen, wichtigen Business-Tools an. Was aber, wenn das Tool deiner Wahl nicht dabei ist? Dann ist ein eigner ETL-Prozess vielleicht die richige Lösung für das Problem.

Was versteht man unter ETL?

ETL steht für Extrahieren, Transformieren und Laden. Es handelt sich dabei um einen Prozess, mit dem Daten von einem Systemen zu nächsten übertragen werden, um sie zu bereinigen oder für die Analyse vorzubereiten. Der erste Schritt besteht darin, die Daten aus dem Quellsystem zu extrahieren. Das kann ein CRM-, ein ERP- oder ein anderes System sein. Oftmals wird dazu die API des jeweiligen Systems verwendet. Die Daten werden dann so umgewandelt, dass sie den Anforderungen des Zielsystems entsprechen. Schließlich werden die Daten in das Zielsystem geladen.

Wann brauchst du einen ETL-Prozess?

Immer dann, wenn ein zwei Systeme nicht direkt miteinander kommunizieren können oder die Anbieter kein Plugin oder App zur Integration anbieten, dann braucht man einen ETL-Prozess.

Beispiele dafür sind zum Beispiel:

- Shopify-Bestellungen an ERP-System übertragen

- Workflow-Automatisierung ausgehend von Pipedrive nach Mailchimp

- Migration von Datenbanksystemen

Wie funktioniert ETL?

Am besten lässt sich ein ETL-Prozess anahnd eines Beispiels beschreiben. Nehmen wir dafür die Aufgabe "In Pipedrive neu erstellte Kontakte automatisch einer Mailchimp Audience hinzufügen".

Um diese Aufgabe zu lösen, muss die ETL-Applikation ermitteln können, wann ein Kontakt neu in Pipedrive erstellt wird (extract). Basierend aud den Kontaktdaten und ggf. zusätzlicher Informationen die zum Kontakt gespeichert werden, wie z.B. die bevorzugte Dienstleistung oder Produkt des Kunden, kann entschieden werden, in welche Mailchimp Campagne der Kontakt hinzugefügt werden soll. Aus den erhaltenen Daten wir der neue Datensatz geformt (transform), der an Mailchimp gesendet und dort weiterverarbeitet wird (load).

Damit stellt die ETL-Applikation die Brücke zwischen zwei Systemen dar für die keine Standardlösung verfügbar ist.

ETL im Detail

Wie der Name schon sagt, besteht der ETL-Prozess aus drei verschiedenen Stufen: Extrahieren, Transformieren und Laden. Schauen wir uns jede Stufe genauer an, damit du besser verstehst, wie der Prozess funktioniert.

Extrahieren

Die erste Phase des ETL-Prozesses ist die Extraktion. Hier werden die Daten aus einer oder mehreren Quellen extrahiert und in einem Staging-Bereich abgelegt. Der Staging-Bereich ist in der Regel ein temporärer Ort, an dem die Daten gespeichert werden können, bevor sie umgewandelt werden

Es gibt zwei Hauptmethoden für die Extraktion von Daten: die vollständige Extraktion und die inkrementelle Extraktion. Bei der vollständigen Extraktion werden alle Daten aus einer oder mehreren Quellen extrahiert und in den Staging-Bereich geladen. Bei der inkrementellen Extraktion werden nur neue oder geänderte Daten seit der letzten Extraktion extrahiert

Transformieren

Die zweite Stufe des ETL-Prozesses ist die Transformation. Hier werden die extrahierten Daten in ein Format umgewandelt, das in die Zieldatenbank geladen werden kann. In der Regel werden die Daten bereinigt, um ungültige oder doppelte Datensätze zu entfernen, und die Daten werden in das richtige Format (z. B. Datumsformat) für das Laden umgewandelt

Laden

Die dritte und letzte Phase des ETL-Prozesses ist das Laden. Hier werden die umgewandelten Daten in die Zieldatenbank geladen. Je nach deinen Bedürfnissen möchtest du entweder alle vorhandenen Datensätze in der Zieltabelle löschen, bevor du neue Daten lädst, oder du möchtest die vorhandenen Daten in der Zieltabelle anhängen (d.h. neue Datensätze hinzufügen)

Wir sind dein Partner für ETL Lösungen

Ganz gleich, welches Ziel du verfolgst, wenn du mit Daten aus verschiedenen Quellen arbeiten musst, ist ein ETL-Prozess die flexibelste Lösung.

Wir können helfen wenn es darum geht, Geschäftsprozesse zu digitalisieren und zu automatisieren. Projekte dieser Art haben wir bereits mehrfach umgesetzt und können individuelle und effiziente Lösungen anbieten.