Polskie firmy a jakość danych

Przeczytaj także: Procesy biznesowe ograniczają procesy decyzyjne

Realizację kompleksowych programów poprawy jakości danych w ramach całej organizacji zadeklarowało jedynie 11% ankietowanych firm. W większości przypadków działania związane z czyszczeniem danych są realizowane w wybranych obszarach biznesowych, przy okazji prowadzonych projektów. 51% badanych potwierdziło, że tego typu działania są realizowane w ich organizacjach, w przypadku 37% respondentów działania te są związane z migracją systemu klasy ERP lub innej aplikacji. Najczęściej (48% wskazań) za jakość danych odpowiadają departamenty odpowiedzialne za dany system lub obszar merytoryczny, według 16% ankietowanych jest to odpowiedzialność działu IT.

W odpowiedzi na pytanie dotyczące konkretnych przykładów problemów związanych z jakością danych w działalności biznesowej, 50% firm wskazało nieprawdziwe lub nieaktualne wartości danych, natomiast 44% respondentów trudności w powiązaniu danych z różnych źródeł dla potrzeb analiz. Istotnym problemem jest również brak dostępności danych w odpowiednim czasie (29% wskazań). Najczęściej wskazywane obszary niekompletnych i błędnych danych to dane kontaktowe dotyczące klientów lub kontrahentów (44% wskazań) oraz dane osobowe dotyczące tych samych grup (37% wskazań). Zdaniem 80% badanych najczęstszą przyczyną problemów z jakością danych są błędy ludzkie.

W czasach, gdy ilość przetwarzanych danych rośnie lawinowo, brak kompleksowego podejścia do zapewnienia ich jakości może kosztować bardzo wiele. Alarmujące są wyliczenia przytaczane przez firmy analityczne, które mówią o stratach rzędu miliardów dolarów rocznie. Wymiar strat zawsze jest rozpatrywany w wymiarze finansowym, jednak równie istotny jest wpływ złej jakości danych na opóźnienia w realizacji procesów biznesowych oraz dynamikę i rozwój organizacji. 70% ankietowanych jako główny problem wynikający ze złej jakości danych wskazało dodatkowy czas potrzebny na ręczne ich poprawianie, 63% wymieniło trudności w realizacji procesów raportowania i analiz, 46% opóźnienia we wdrożeniach systemów informatycznych.

Zapewnienie odpowiedniej jakości danych jest jednym z głównych wyzwań, z którym musi zmierzyć się zarówno organizacja biznesowa, jak i instytucja publiczna. Należy pomyśleć o zbudowaniu spójnej strategii w zakresie jakości danych dla całej organizacji, zdecydowanie odchodząc od podejścia fragmentarycznego.

„Aby uzyskać realne korzyści, narzędzia do zapewnienia jakości danych powinny być wyposażone w predefiniowaną, ale również rozszerzalną bazę reguł jakości danych dostosowaną do lokalnych warunków (np. języka polskiego, standardowych zasad zapisu adresów, numerów telefonów), zestaw danych referencyjnych (np. słownik polskich imion, referencyjną bazę adresową zgodną ze standardem TERYT, bazę kodów pocztowych).

Ważne jest, aby wykorzystanie tych narzędzi nie wymagało zaawansowanej wiedzy informatycznej, bowiem ostatecznym autorytetem w dziedzinie jakości danego zbioru danych jest najczęściej jego merytoryczny właściciel. To on powinien mieć możliwość szybkiej oceny poziomu jakości i obszarów problemów, a także zdefiniowania reguły poprawy (np. standaryzacji zapisów czy usuwania duplikatów). Dlatego raczej nie wchodzą w grę rozwiązania wymagające kodowania, znajomości SQL itd.” - powiedział Adam Bartos, Dyrektor ds. Technologii, SAS Institute Polska

Zmiana warunków prowadzenia biznesu wymaga tworzenia nowych lub modyfikacji istniejących reguł czyszczenia danych. Konieczne jest również wdrożenie mechanizmów monitorowania jakości danych znajdujących się w systemach. Technologia wykorzystywana do zapewnienia jakości danych powinna być kompletna, łatwa w dostosowaniu, zintegrowana i sprawdzona. SAS Institute oferuje taką technologię wraz z praktycznym doświadczeniem jej zastosowania.

„Trzeba pamiętać, że zagadnienia jakości danych pojawiają się podczas realizacji różnego rodzaju projektów, nie tylko tak prostych jak czyszczenie baz marketingowych, ale np. przy budowie hurtowni danych, repozytoriów analitycznych, centralnych baz kontrahentów lub klientów, migracji systemów, czy w końcu rozwiązań do zarządzania danymi podstawowymi (MDM). Warto przemyśleć, jakie przedsięwzięcia planujemy realizować i tak wybrać technologię, aby dała się zastosować w różnych architekturach systemów przetwarzania danych.” – dodaje Adam Bartos.

Informacje o badaniu
Badanie zostało przeprowadzone przez redakcję Computerworld we współpracy z SAS Institute na początku 2012 roku. Jest to pierwsze w Polsce badanie ankietowe poświęcone zagadnieniu jakości danych w biznesie. Wzięło w nim udział ponad 100 firm i instytucji z różnych branż (finanse, przemysł, telekomunikacja, sektor publiczny). Respondentami byli w głównej mierze szefowie działów IT.