Co warto wiedzieć o analityce danych?

Współcześni poszukiwacze złota pracują przed komputerem — data is the new gold. Analitycy danych szukają tego złota w zbiorach pozyskanych z różnych źródeł: od klientów, użytkowników, twórców treści, generowanych przez maszyny, sensory, aplikacje. Big Data znajduje zastosowanie niemalże w każdej dziedzinie życia i w każdym segmencie rynku. Może posłużyć do optymalizacji procesów, odkrywania nowych zjawisk i wspierania kluczowych decyzji poprzez dostarczanie informacji opartych na faktach, a nie wrażeniach lub przeczuciach.

Dużo, czyli ile dokładnie?

Szacuje się, że około 90% danych cyfrowych zostało wygenerowanych w ciągu ostatnich kilku lat. Duża ilość danych to podstawowa cecha ekosystemu Big Data. Operuje się już nie na gigabajtach czy terabajtach danych ale petabajtach. Gdzie jeden petabajt muzyki zapisanej w formacie MP3 grałby nieustannie przez dwa tysiące lat. Przytoczę dwa przykłady do zobrazowania ilości generowania danych: użytkownicy YouTube wgrywają tam około 300 godzin wideo co minutę, a wyszukiwarka Google obsługuje około 63 tysiące zapytań na sekundę.

Nietrudno wyobrazić sobie, że te dane są bardzo zróżnicowane. W zależności od ich typu i natury możemy je podzielić na ustrukturyzowane i nieustrukturyzowane. Kolejną ważną rzeczą jest pozyskiwanie wartości i informacji nie tylko z tabelarycznych danych, ale również z tekstu, obrazu, nagrań audio i wideo. Big Data jest generowane z bardzo dużą prędkością i równie szybko przetwarzane. Informacje te są pozyskiwane i analizowane w zasadzie w momencie, gdy są wytwarzane. Małe zbiory zazwyczaj są aktualizowane ad hoc lub cyklicznie w zależności od potrzeby.

Zebranie to nie wszystko

Pozyskiwanie z danych wartość i wiedzy wymaga odpowiednio dobranej technologii i umiejętności. A od firm i organizacji, wymaga inwestycji w systemy i infrastrukturę oraz specjalistów. Jakie kroki należy poczynić, by z chaosu informacji wyciągnąć wartość i wiedzę?

Pierwszym krokiem jest zbieranie i upewnienie się, że dane potrzebne do rozwiązania problemu są możliwe do pozyskania. Następnie, że dane są właściwie przechowywane, co wymaga inwestycji w niezawodną i łatwo dostępną infrastrukturę. W kolejnym etapie następuje przesyłanie danych do baz. Należy włączyć w ten proces element transformacji danych, w celu przygotowania zbiorów w formacie przyjaznym dla użytkownika. Na tym etapie kluczowi są inżynierowie danych i inżynierowie od infrastruktury danych. Następnie do działania wkraczają analitycy danych. Ci specjaliści dogłębnie analizują, czyszczą, weryfikują, wyłapują anomalie w danych, a także sprawdzają, czy pozyskane informacje odzwierciedlają rzeczywistość i znajdą zastosowanie w rozwiązaniu danego problemu. Dopiero tak przygotowane dane mogą zostać użyte w analizach, agregacji, segmentacji, tworzeniu metryk i rekomendacjach dla biznesu. W kolejnych etapach mogą zostać wykorzystywane do trenowania modeli uczenia maszynowego.

Jak z tego korzystać?

Proces pozyskiwania Big Data bywa czasochłonny i kosztowny, ale jest wart każdej zainwestowanej złotówki. Dopasowywanie kampanii marketingowych, przeciwdziałanie praniu pieniędzy, wspieranie decyzji biznesowych, diagnostyka medyczna, śledzenie preferencji politycznych, optymalizacja trasy dla firm logistycznych i kurierskich, predykcje odnośnie do wygranych sportowych, pojazdy autonomiczne czy translatory to tylko niektóre przykłady zastosowania zaawansowanej analityki danych w życiu i biznesie. Od transformacji cyfrowej nie ma odwrotu.

Autor

Magda Kotowska-Gawrylczyk, Data & Analytics Manager w NatWest Polska