Talend Archive | PRODATO verbindet

Optimierung von Lookups in Talend mit temporären Tabellen

Bei der Entwicklung von Data Integration Jobs mit Talend gibt es meist die Anforderung, Daten aus zwei unterschiedlichen Quellen miteinander zu verknüpfen. Eine beispielhafte Anwendung hierfür ist z.B. das Nachschlagen von Verkaufspreisen für eine (ca. 900 Einträge kurze) Liste von Büchern. Nehmen wir für diesen Beitrag an, dass uns diese Liste als CSV Datei vorliegt. Bücher haben (meist) eine ISBN, mit der sie eindeutig zu identifizieren sind. Hierdurch haben wir für unsere Aufgabe bereits einen Schlüssel, den wir zur Verknüpfung nutzen können. Weiterhin soll für unser Beispiel in einer PostgreSQL Datenbank eine Tabelle books_masterdata existieren, in der wir u.a. [...]

By Linda Goldin-Shmelev|8. Februar 2021|Categories: Aktuelles, Datenintegration, Oracle, Talend|Tags: Datenbank, Datenintegration, Optimierung, Oracle, PostgreSQL, Talend|

11.11.2020: Datenstrategien als Erfolgsfaktor für datengetriebene Organisationen

Veranstaltung im Rahmen des NÜRNBERG DIGITAL FESTIVALS REMOTE Die fortwährende Digitale Transformation führt dazu, dass Ihnen als Unternehmen immer größere Datenmengen immer schneller zur Verfügung stehen. Der zweckmäßiger Umgang mit diesen Daten ist Voraussetzung für gute unternehmerische Entscheidungen. Eine Datenstrategie unter Berücksichtigung ihrer Unternehmensstrategie hilft dabei, die relevanten Datenquellen zu identifizieren, den Umgang mit den Daten zu konzeptionieren und den Beitrag ihrer Daten zur Erreichung der Unternehmensziele zu steuern. In Unternehmen und Organisationen ist die Datenstrategie ein wesentlicher Erfolgsfaktor und sollte die Ausgangsbasis im Design von Business Intelligence, Data Warehouse und Big Data Anwendungen sein. Wir geben in dem [...]

By Andreas J. Dietrich|1. November 2020|Categories: PRODATO|Tags: Couchbase, Datafication, Datenintegration, Talend|

Continuous Integration, Continuous Delivery und Deployment mit TIBCO Jaspersoft

Wie Sie dem Blog-Beitrag Continuous Integration, Continuous Delivery und Deployment in BI-Projekten entnehmen können, ist uns durch die Betreuung aktueller Kundenprojekte klargeworden, dass in BI-Projekten die neu entwickelten bzw. angepassten Artefakte noch häufig mittels händischer Prozesse bereitgestellt werden und dies neben Mehraufwand immer auch eine potentielle Fehlerquelle darstellt. Im Folgendem stellen Wir Ihnen einen Lösungsansatz für die Berichtsentwicklung und -wartung mit TIBCO Jaspersoft unter Einsatz von automatisierten Prozessen vor. Dieser Beitrag fokussiert die Verwendung des TIBCO Jaspersoft Studios sowie des Jaspersoft Reportservers. Beim Einsatz der JasperReports Library zur Ausführung von Berichten ist das im Folgenden beschriebene Verfahren nicht relevant. [...]

By Linda Goldin-Shmelev|20. März 2020|Categories: Aktuelles, Talend, TIBCO, TIBCO Jaspersoft|Tags: Continuous Delivery, Continuous Integration, Deployment mit TIBCO Jaspersoft, Talend|

Parallelisierungsmöglichkeiten mit Talend

In Hinsicht auf Talend bedeutet Parallelisierung das parallele Ausführen von Prozessen. Damit können die zur Verfügung stehenden Ressourcen genutzt und die Performance verbessert werden. Bei umfangreichen Prozessen ist die Parallelisierung ein wichtiger Aspekt. Bevor man mit der Parallelisierung eines Jobs beginnt, sollte man sich allerdings über den einzelnen Talend Job und den dazugehörigen Prozess im Klaren sein. Der Workflow und die Prozessschritte sollten definiert sein. Daraus kann die Kenntnis gewonnen werden, an welchen Stellen eine Parallelisierung überhaupt möglich ist, ohne das Ergebnis des Talend Jobs zu verfälschen oder die erfolgreiche Ausführung gar zu gefährden. Im Weiteren werden die verschiedenen [...]

By Linda Goldin-Shmelev|21. Februar 2020|Categories: Aktuelles, Talend|Tags: Parallelisierung, Talend|

Nutzung von Jasper Scriptlets in Kombination mit der Talend MetaServlet API

In diesem Blogbeitrag geht es zum einen um die Erstellung von Jasper Scriptlets. Innerhalb eines solchen Scriptlets wird anschließend beschrieben, wie die Talend MetaServlet API, welche vom TAC bereitgestellt wird, genutzt werden kann. Diese ermöglicht es, Talend Jobs welche auf dem TAC deployed sind, von außerhalb aufzurufen. Damit können Jobs zum Beispiel vor dem Aufrufen eines Berichtes ausgeführt werden. Mit Jasper Scriptlets und der MetaServlet API von Talend lässt sich dies geschickt lösen. Erstellung und Nutzung eines JasperSoft Scriptlets Zunächst wird ein einfaches Scriptlet-Beispiel gezeigt, mit welchem ein String im Summary-Band des Berichts angedruckt werden kann. Für die Erstellung [...]

By Linda Goldin-Shmelev|10. Januar 2020|Categories: Aktuelles, Talend, TIBCO, TIBCO Jaspersoft|Tags: Jaspersoft, metaServlet, REST, Scriptlet, Talend|

Data Integration mit dem Talend Data Mapper – Verarbeitung komplex strukturierter Datenformate

Mit dem Data Mapper bietet Talend ein Tool zur Verarbeitung von Datensätzen mit komplexen Strukturen an. Verfügt die Struktur eines gegebenen Datensatzes über verschachtelte Schleifen, so erweist sich die Verwendung von üblichen Talend-Komponenten (wie tXMLMap) zur Verarbeitung des Datensatzes häufig als aufwändig und komplex. Der Data Mapper kann diverse Formate und Strukturen von Datensätzen einlesen und bietet sich sowohl für das Mapping von Daten zwischen verschiedenen Dokumentstrukturen als auch für das Transformieren von Daten durch Einsatz der zur Verfügung gestellten Funktionen an. In diesem Beitrag wird anhand von Beispielen eine kleine Auswahl an Funktionalitäten des Data Mappers präsentiert und [...]

By Linda Goldin-Shmelev|29. Mai 2019|Categories: Aktuelles, Talend|Tags: Data Integration, Datenverarbeitung, ETL, Loop, Mapping, Talend, Talend Data Mapper, XML|

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 3)

Im letzten Blog-Eintrag haben wir gezeigt, wie DbUnit und WireMock verwendet werden können, um externe Abhängigkeiten für Komponententests von Talend-Jobs zu mocken. Vorrausetzung dabei war ein herkömmlicher Talend-Job, der als Nexus Artefakt vorliegt. Die ESB Variante von Talend erlaubt es aber nun auch, Services, z.B. REST-Services, mit Talend zu erstellen. Diese werden dann als OSGI-Bundle in einer Talend-Runtime deployed. In einer klassischen Java EE Anwendung können Services per Arquillian getestet werden. Arquillian ermöglicht es, JARs und WARs zum Testen zu generieren, auf einen Applikationserver zu deployen und dort Tests auszuführen. Glücklicherweise basiert die Talend-Runtime auf einem Apache Karaf Server [...]

By Linda Goldin-Shmelev|2. Mai 2019|Categories: Aktuelles, Talend|Tags: Datentest, JUnit, Talend|

Datenzentrierte Tests mit Talend: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 2)

Der erste Teil dieser Blogreihe lieferte einen Überblick über Ebenen, auf denen automatisierte Tests durchgeführt werden können. Neben Unit-Tests, für die Talend bereits Möglichkeiten bereitstellt, wurde besonders auf Komponenten-, Integrations- und End-to-End-Tests eingegangen. Allein die Tatsache, dass sich ein Talend-Job aus JUnit heraus testen lässt, bietet noch keinen Mehrwert gegenüber der Alternative einen dedizierten Test-Talend-Job zu verwenden. In diesem Teil der Blogreihe sollen nun mit DbUnit und WireMock zwei Techniken aus dem Java-Test-Umfeld vorgestellt werden, die das Testen eines Talend-Jobs vereinfachen. Techniken zum datenzentrierten Testen aus dem Java-Test-Umfeld - Ein Beispiel Im folgenden Beispiel wird ein einfacher Testjob verwendet, [...]

By Linda Goldin-Shmelev|2. April 2019|Categories: Aktuelles, Talend|Tags: Data Testing, JUnit, Talend|

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 1)

Individuelle Wünsche der Kunden stellen einen Entwickler immer wieder aufs Neue vor Herausforderungen bei der Konzipierung neuer Systemlösungen. Häufig müssen Technologien entsprechend modelliert und angepasst werden, um den Anforderungen des Kunden nachzukommen. Unsere Consultants und Engineers konzipieren im Projektgeschäft passgenaue IT-Lösungen entsprechend der Wünsche im Kundenauftrag. Hierbei setzen wir auf die Produkte unserer Technologiepartner: Als wertvolles Tool für das Datenmanagement haben sich die Softwarelösungen von Talend bewährt, die wir strategisch kombinieren und nach den Anforderungen des Kunden anpassen. Im Anschluss an die Ausarbeitung des Lösungskonzepts steht die Entwicklung des Prototypen im Vordergrund. Um eine möglichst überzeugende Lösung anbieten zu [...]

By Linda Goldin-Shmelev|25. März 2019|Categories: Aktuelles, Talend|Tags: Data Testing, JUnit, Talend|

24. – 26.06.2019: Messeauftritte in Kooperation mit Talend und TIBCO auf der TDWI Konferenz in München

Gemeinsam stark auf der TDWI München. Zum ersten Mal präsentiert sich PRODATO in Kooperation mit unserem Technologiepartner Talend und mit unserem Technologiepartner TIBCO auf der jährlichen Messe für BI-Lösungen und Data Analytics. Vom 24. Juni bis zum 26. Juni 2019 treffen sich Experten aus der Branche und profitieren vom fachlichen Informationsaustausch und vielen Weiterbildungsmöglichkeiten. Das Konferenzprogramm 2019 ist ab sofort auf der offiziellen Website der TDWI einsehbar. Spannende Fachvorträge erwarten Sie auf dem Branchentreffen Drei Tage lang präsentieren Experten neuste Erkenntnisse, Strategien und Technologien aus verschiedenen Industriezweigen. Interessierte Besucher erhalten Einblicke in innovative BI-Lösungen in den Bereichen Handel, Automobile [...]

By Linda Goldin-Shmelev|28. Februar 2019|Categories: Talend|Tags: BI, Data Analytics, Talend, TDWI|

Optimierung von Lookups in Talend mit temporären Tabellen

11.11.2020: Datenstrategien als Erfolgsfaktor für datengetriebene Organisationen

Continuous Integration, Continuous Delivery und Deployment mit TIBCO Jaspersoft

Parallelisierungsmöglichkeiten mit Talend

Nutzung von Jasper Scriptlets in Kombination mit der Talend MetaServlet API

Data Integration mit dem Talend Data Mapper – Verarbeitung komplex strukturierter Datenformate

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 3)

Datenzentrierte Tests mit Talend: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 2)

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 1)

24. – 26.06.2019: Messeauftritte in Kooperation mit Talend und TIBCO auf der TDWI Konferenz in München

Herderstraße 5-9
90427 Nürnberg
Fax: +49 (0) 911/994 730 - 99

Immer auf dem Laufenden
mit dem PRODATO-Newsletter.

Herderstraße 5-9 90427 Nürnberg Fax: +49 (0) 911/994 730 - 99

Immer auf dem Laufenden mit dem PRODATO-Newsletter.

Herderstraße 5-9
90427 Nürnberg
Fax: +49 (0) 911/994 730 - 99

Immer auf dem Laufenden
mit dem PRODATO-Newsletter.