Chaos danych utopimy w jeziorach?

Przeczytaj także: 2018 rok, czyli sztuczna inteligencja i data lakes

Praktyka pokazuje, że już dziś w większości firm w danych panuje spory bałagan. Dowodem na to są m.in. wyniki badania zrealizowanego przez Enterprise Strategy Group (ESG), które pokazują, że wg deklaracji 47% firm połowa posiadanych przez nie informacji jest nieustrukturyzowane. Co więcej, 46 proc. respondentów wskazuje, że roczna dynamika wzrostu nieuporządkowanych danych to aż 20%.

Większość organizacji agreguje zbierane przez siebie dane w kilkunastu albo nawet kilkudziesięciu różnych systemach, platformach, a nawet nośnikach pamięci masowej. To rozproszenie wprowadza niespotykany dotąd chaos. Wyszukiwanie informacji często trwa nie dni, a tygodnie, co oczywiście niesie ze sobą dodatkowe koszty. Z roku na rok liczba danych wzrasta, a problemy się powiększają – mówi Michał Grams, Prezes Zarządu TogetherData.

Badanie zrealizowane przez TogetherData pokazuje, że w kontekście dużych zbiorów danych najistotniejszym problemem polskich firm jest nieumiejętne zarządzanie, niewykorzystywanie pełnej wydajności, a także niezabezpieczanie zbiorów oraz brak monetyzacji danych. Okazuje się również, że więcej niż co druga polska firma nadal korzysta z tzw. hurtowni danych, a więc gromadzi dane w plikach i folderach, przez co znacznie wydłuża i komplikuje proces ich porządkowania.

Rozwiązaniem problemu strukturyzacji danych jest korzystanie z tzw. data lakes – jezior danych. Pozwala to na szybką oraz bardzo zaawansowaną analizę danych nie tylko archiwalnych, ale również tych, które generowane są w czasie rzeczywistym. Popyt na technologie jezior danych zaczyna rosnąć, z naszych obserwacji wynika, iż coraz więcej firm zaczyna się interesować tą technologią – dodaje Michał Grams.

Rok 2018 będzie należał do tzw. data lakes. W stosunku do ubiegłego roku aż o 27 proc. więcej firm ankietowanych przez firmę Synscrot uważa integrowanie danych w „jeziora danych” za istotne. Data lakes stanowią swoiste repozytorium, gdzie przechowywana jest ogromna ilość jeszcze nieprzetworzonych danych. W przeciwieństwie do hurtowni danych w „jeziorach” stosuję płaską niezhierarchizowaną strukturę.

Obecnie firmy dysponują zettabajtami danych, które zostały zgromadzone w stosunkowo szybkim tempie. Z szacunków IBM wynika, iż 90 procent z nich zostało wygenerowanych w ciągu ostatnich 3 lat. Opublikowane w tym roku badanie przeprowadzone przez firmę AtScale pokazało, iż pomimo postępów dokonanych w dziedzinie analityki danych, globalne przedsiębiorstwa wciąż nie osiągnęły dostatecznego poziomu dojrzałości w tej kwestii. Jedynie 12 procent spośród ponad 5 tys. firm biorących udział w badaniu osiągnęło wysoki poziom dojrzałości technologicznej w przypadku analizy dużych zbiorów danych.