Przygotuj się na AI – zalety architektury Data Fabric

Większość firm, mierzy się z podobnymi wyzwaniami w kontekście zarządzania danymi, ograniczającymi efektywne wykorzystanie możliwości AI. Oto niektóre z nich:

1. Niska jakość danych – dane wejściowe wymagają czyszczenia, klasyfikacji, przypisania kontekstu biznesowego itp. Bez tego obowiązuje zasada: “garbage in, garbage out”

2. Zapewnienie bezpieczeństwa danych – wrażliwe dane należy identyfikować i egzekwować polityki bezpieczeństwa

3. “Silosy” danych – rozproszone, odizolowane źródła danych uniemożliwiają uzyskanie ujednoliconej informacji

4. Brak katalogu danych – użytkownicy nie mogą odkryć kto jest właścicielem biznesowym danych, zawnioskować o uzyskanie dostępu do danych

5. Niejasne pochodzenie danych – użytkownicy nie mogą prześledzić rodowodu, przekształceń i przepływu danych w systemie

6. Złożoność architektury danych – mnogość rozwiązań i usług związanych z danymi w organizacji powoduje wzrost kosztów oraz czasochłonności zarządzania ekosystemem danych i projektów integracyjnych

7. Infrastruktura on-premise – w niektórych organizacjach, ze względów bezpieczeństwa nie ma możliwości skorzystania z rozwiązań dostępnych w chmurze publicznej. Inne organizacje z kolei, chciałyby zmigrować dane do chmury, ale byłby to dla nich długotrwały i kosztowny proces.

Aby zaadresować powyższe problemy, firmy inwestują we wdrażanie dedykowanych rozwiązań do integracji, przetwarzania, czyszczenia, katalogowania, analizy i wizualizacji danych. Dodatkowo potrzebują osobnych narzędzi do MDM (master data management), zapewniania polityk bezpieczeństwa danych czy budowania modeli statystycznych i językowych. Wszystko to generuje ogromne koszty dla działów IT, na które składają się koszty licencji, wdrożeń i administracji każdego z takich rozwiązań.

Z naszego punktu widzenia, lepszym rozwiązaniem jest tutaj wykorzystanie zunifikowanego podejścia Data Fabric. Data Fabric to zcentralizowana architektura zarządzania danymi w zróżnicowanych środowiskach. Polega ona na gromadzeniu danych (ustrukturyzowanych bądź nieustrukturyzowanych) pochodzących z różnych źródeł: aplikacji biznesowych, biur, sklepów, serwerów i wielu innych. Dane te są łączone w jednolitą warstwę, która następnie podlega centralnym procesom kontroli, dostępu, klasyfikacji, analizy i odkrywania. Procesy te wspierane są najczęściej przez algorytmy sztucznej inteligencji. Dzięki zunifikowanemu podejściu łatwiej wyeliminować silosy danych w organizacji, zapewniając pracownikom różnych działów pełniejszy wgląd w wyniki organizacji (demokratyzacja danych). Użytkownicy mogą w wygodny sposób odkrywać i wyszukiwać interesujące ich zasoby dzięki centralnym katalogom (jeśli mają do tego wymagane uprawnienia). Jednocześnie prostsze staje się też centralne zarządzanie modelami metadanych, egzekwowanie polityk bezpieczeństwa i zapewnienie wysokiej jakości danych.

Jednym z rozwiązań umożliwiających wdrożenie architektury AI Data Fabric jest IBM CloudPak for Data. Jest to modułowa platforma oferująca szeroki zakres usług wspierających pełny cykl życia danych – od gromadzenia i przetwarzania, po analizę i budowę modelów AI. Oto niektóre z kluczowych usług, pogrupowane w kategorie:

Magazynowanie danych: 

• Db2 Warehouse: Przechowywanie dużych ilości danych analitycznych.

Integracja danych:

• DataStage: Narzędzie do integracji danych (ETL).
• Data Refinery: Przygotowywanie danych, zapewnianie jakości danych.

Zarządzanie danymi:

• IBM Knowledge Catalog: Zarządzanie metadanymi, katalogowanie i klasyfikacja danych.
• MANTA Automated Data Lineage: zapewnia informację o pochodzeniu danych i o zmianach.
• IBM Match 360: Master Data Management (MDM).

Zarządzanie dostępem i bezpieczeństwem:

• IAM Access Groups: Zarządzanie dostępem użytkowników do różnych usług.
• Budowa modeli AI:
• Watson Studio: Środowisko do analizy danych i budowy modeli uczenia maszynowego.
• Watson Machine Learning: Narzędzie do trenowania i wdrażania modeli AI.

Analiza i wizualizacja danych:

• IBM Cognos Analytics: narzędzie BI do budowy raportów i dashboardów.
• IBM Planning Analytics: gromadzenie i raportowanie danych finansowych (planowanie, budżetowanie, konsolidacja).

Jest to jedynie podzbiór usług dostępnych w ramach IBM CloudPak for Data. Istotne jest, że te narzędzia działają w jednym ekosystemie, co eliminuje problemem kosztownych integracji oraz zapobiega powstawaniu silosów danych w organizacji. Platforma oferuje odbiorcom dużą elastyczność. Firmy mogą korzystać jedynie z tych usług, których obecnie potrzebują. Przykładowo, w danym okresie wykorzystują wyłącznie narzędzia do integracji, przechowywania i wizualizacji danych. W przyszłości mogą jednak zdecydować się dodatkowo na uruchomienie projektu AI. Technicznie ogranicza się to tylko do włączenia odpowiedniej usługi – dostęp do pełnych zasobów dobrej jakości danych odbędzie się już automatycznie.

Dużą zaletą IBM CloudPak for Data wyróżniającą tą platformę na tle konkurencji jest dostępność on-premise oraz łatwość wdrożenia i utrzymania. Jest ona dystrybuowana w postaci kontenerów opartych na Red Hat OpenShift. Dzięki temu instalacja oraz aktualizacje są łatwo zarządzalne i nieskomplikowane. Dodatkowo potencjalne przejście do chmury w przyszłości także nie stanowi dużego problemu.

Podsumowując, aby realnie czerpać wartość z inwestycji w sztuczną inteligencję, firmy powinny zacząć od uporządkowania własnych danych. Bez tego – nawet najlepsze algorytmy nie przyniosą oczekiwanych rezultatów. Architektura Data Fabric, wspierana przez platformy takie jak IBM CloudPak for Data, pozwala budować nowoczesne, zintegrowane środowisko danych, w którym wszystkie procesy – od integracji po zaawansowaną analitykę – działają w ramach jednego, spójnego ekosystemu.

Z perspektywy CFO to konkretna korzyść – redukcja kosztów operacyjnych, większa kontrola nad wydatkami i szybszy dostęp do wiarygodnych danych finansowych. Dla CTO – możliwość skalowania projektów bez konieczności tworzenia odrębnych, kosztownych rozwiązań technologicznych.

Inwestycja w zarządzanie danymi przestaje być domeną działów IT – staje się elementem długofalowej strategii biznesowej. Firmy, które zadbają dziś o fundamenty, będą jutro gotowe na pełne wdrożenie AI – szybciej, taniej i z wymierną przewagą nad konkurencją.