W Promity realizujemy mnóstwo projektów związanych z Big Data. Nasi klienci to duże organizacje z branży m.in finansowej i ubezpieczeniowej, dla których rozwiązania szyte na miarę wymagają specyficznego połączenia skali danych oraz szybkości ich przetwarzania. Kilka lat temu postawiliśmy na ścisłą współpracę z Talend, ponieważ jako jedyny dostawca narzędzi do procesów ETL spełniał oczekiwania naszych klientów. Teraz wyszła nowa wersja oprogramowania – Data Fabric Winter’20, czyli najnowszy upgrade 7.3.

Czym jest platforma Data Fabric?

Zanim przedstawię co nowego wypuścił Talend, chcielibysmy przypomnieć czym jest narzędzie, z którego korzystamy we współpracy z naszymi Klientami. Platforma Data Fabric służy do przetwarzania i zarządzania każdego rodzaju danymi wykorzystywanymi w przedsiębiorstwie. Z wykorzystaniem Data Fabric prowadzimy Klienta przez integrację klasycznych źródeł danych jakim są relacyjne bazy danych, systemy plikowe czy wybranych źródeł w chmurze. Z technologią Talend możemy wykorzystać pełny potencjał danych gromadzonych przez Klienta.

Dla wsparcia organizacji powstało narzędzie umożliwiające przygotowanie transformacji możliwych do wykorzystania w procesach ETL (implementacja koncepcji Self-Service). Organizacja wprowadzająca zaś zarządzanie danymi (Data Governance) może skorzystać z rozwiązań umożliwiających zarządzanie metadanymi i danymi podstawowymi. Dzięki zastosowaniu jednej platformy danych, rozwiązanie MDM (Master Data Management) może w łatwy sposób wykorzystywać działające już w organizacji procesy przetwarzania danych, jak również może być rozwijane w oparciu procesy ETL czy usługi.

Najważniejszymi komponentami Talend Data Fabric są:

  • Big Data Integration – zapewnia szybkie przetwarzanie danych w pamięci (in-memory), Umożliwia przetwarzanie w trybie batch i real-time.
  • Data Integration – graficzne narzędzia i kreatory pomagające oczyszczać, maskować i wdrażać zadania integracji danych 10 razy szybciej niż ręczne kodowanie.
  • Data Preparation – narzędzie do współpracy z danymi dedykowane analitykom oraz biznesowi.
  • Cloud Integration – Integracja wszystkich danych z chmury i lokalnej bazy danych za pomocą bezpiecznej platformy integracji w chmurze.
  • Application Integration – platforma integracji aplikacji i integracji danych będąca szkieletem usług, umożliwiającym firmom budowę architektury zorientowanej na usługi w celu łączenia, pośrednictwa i zarządzania usługami w czasie rzeczywistym.
  • Data Quality – pozwala na ocenę i poprawę jakości danych przetwarzanych w organizacji.
  • Metadata Manager – umożliwia stworzenie przejrzystych procesów zarządzania ryzykiem i Compliance.

Co nowego?

Zimowa aktualizacja zawiera kilka nowych elementów, które znacznie ułatwiają pracę biznesu na danych, a co za tym idzie, pomagają one pośrednio zwiększać przychody, wdrażać innowacje wewnątrz organizacji oraz zmieniać jakość obsługi klienta przy równoczesnym obniżeniu kosztów i ryzyka.

Data Inventory – aplikacja działająca w chmurze, która automatycznie inwentaryzuje i sprawdza jakość danych w celu szybkiego i łatwego ustalenia data intelligence. Odblokowuje silosy danych oraz sprzyja współpracy w organizacji i ponownemu wykorzystaniu wybranych danych, dzięki czemu specjaliści nie muszą wielokrotnie budować tych samych zestawów danych.  

Najważniejsze funkcje Data Inventory:

  • Nawigacja fasetowa, sampling danych, wykrywanie semantyczne i automatyczne profilowanie
  • Social Curation – dzięki udostępnianiu danych, tagowaniem, ocenami i rekomendacjami
  • Trust Score – do automatycznej oceny zdrowia danych na podstawie jakości, ocen i popularności.
  • Dataset ID – z automatycznym przechwytywaniem i crowdsourcingiem dokumentacji i jakości danych.
  • Niestandardowe atrybuty i tagi dla wzbogacenia i rozszerzenia zestawów danych o niestandardowe metadane i poprawy możliwości wyszukiwania.
  • Integracja z Talend Data Preparation i Talend Pipeline Designer.

Talend Pipeline Designer – oparte na chmurze rozwiązanie do budowania i wdrażania pipeline’ów danych, zawierające funkcję „jakości danych w locie”, która eliminuje problemy z jakością przed ich zużyciem lub replikacją. Dzięki wizualnej formie, nie wymagającej kodowania, aby korzystać z narzędzia, wspomaga wzrost produktywności. Tworzenie pipeline’ów danych odbywać się będzie znacznie szybciej zarówno przy projektowaniu wsadowo czy strumieniowo, a także natywnym skalowaniu za pomocą technologii multi-cloud czy hybrydowych.

Proste, szybkie i inteligentne projektowanie pipeline’ów danych

Pipeline Designer umożliwia integrację dowolnych danych – ustrukturyzowanych lub nieustrukturyzowanych. Umożliwia zaprojektowanie integracji wsadowo lub strumieniowo z jednego interfejsu webowego. Możemy projektować i budować pipeline’y danych przy użyciu schematu do odczytu, umożliwiając dynamiczne wykrywanie i dostosowywanie się do zmian schematu. Duży ułatwieniem przy developmencie i debugowaniu w czasie rzeczywistym jest funkcja podglądu na żywo, która pokazuje zmiany danych na każdym kroku pracy.

Mobilność rozwiązania

Wbudowana „przenośność” umożliwia natywne uruchamianie pipeline’ów w dowolnym miejscu danych. Pipeline Designer można uruchomić na takich platformach big data jak Spark, Amazon EMR czy Databricks.

Ulepszenia i nowe integracje

Aktualizacja Winter’20 zawiera wiele ulepszeń wydajności dla wszystkich produktów, a także daje możliwość szybszego dostarczania danych w celu podejmowania szybkich i trafnych decyzji biznesowych w organizacji.

Nowy Talend posiada szereg pomniejszych usprawnień przydatnych przy przygotowywaniu danych. Poprawiona funkcja Magic Fill o formatowanie danych z rozpoznawaniem wielkości znaków czy szybką konwersję danych adresowych i daty na format amerykański i na odwrót.

Nowa wersja Data Fabric to także zoptymalizowane integracje z większą liczbą aplikacji m.in AWS, Azure, Cloudera, Databricks, Google, Snowflake czy Workday. Integracje umożliwiają szybszy proces przejścia ze swoją technologią do chmury.  Prócz samych połączeń z chmurami, najnowsza wersja Talend posiada też narzędzie do testowania API  (Cloud API Tester) w postaci wtyczki do przeglądarki Chrome.

Więcej informacji o nowej wersji Data Fabric na Talend – whats’s new?