Dane nieustrukturyzowane to informacje, w wielu różnych formach, które nie są zgodne z konwencjonalnymi modelami danych i dlatego zazwyczaj nie pasują do głównych relacyjnych baz danych. Dzięki pojawieniu się alternatywnych platform do przechowywania i zarządzania takimi danymi, są one coraz częściej spotykane w systemach informatycznych i wykorzystywane przez organizacje w różnych aplikacjach analitycznych i analityki biznesowej.
Tradycyjne dane ustrukturyzowane, takie jak dane transakcyjne w systemach finansowych i innych aplikacjach biznesowych, są zgodne ze sztywnym formatem, aby zapewnić spójność podczas ich przetwarzania i analizowania. Z drugiej strony, zbiory danych nieustrukturyzowanych mogą być przechowywane w formatach, które nie są jednolite, co pozwala zespołom analitycznym pracować na wszystkich dostępnych danych bez konieczności ich wcześniejszej konsolidacji i standaryzacji. Umożliwia to bardziej wszechstronne analizy niż byłoby to możliwe w innym przypadku.
Typy danych nieustrukturyzowanych
Jednym z najbardziej powszechnych typów danych nieustrukturyzowanych jest tekst. Tekst nieustrukturyzowany jest generowany i gromadzony w szerokim zakresie form, w tym w dokumentach Word, wiadomościach e-mail, prezentacjach PowerPoint, odpowiedziach na ankiety, transkrypcjach interakcji z call center oraz postach na blogach i w serwisach społecznościowych.
Inne rodzaje danych nieustrukturyzowanych obejmują obrazy, pliki audio i wideo. Dane maszynowe to kolejna kategoria, która szybko rośnie w wielu organizacjach. Na przykład pliki logowania z witryn internetowych, serwerów, sieci i aplikacji – zwłaszcza mobilnych – są źródłem wielu danych dotyczących aktywności i wydajności. Ponadto, firmy coraz częściej przechwytują i analizują dane z czujników w sprzęcie produkcyjnym i innych urządzeniach podłączonych do Internetu rzeczy (IoT).
W niektórych przypadkach takie dane można uznać za częściowo ustrukturyzowane – na przykład, jeśli dodano znaczniki metadanych w celu zapewnienia informacji i kontekstu na temat zawartości danych. Granica między danymi nieustrukturyzowanymi a częściowo ustrukturyzowanymi nie jest jednak absolutna; niektórzy konsultanci ds. zarządzania danymi twierdzą, że wszystkie dane, nawet te nieustrukturyzowane, mają pewien poziom struktury.
Analityka danych nieustrukturyzowanych
Z powodu swojej natury, dane nieustrukturyzowane nie nadają się do zastosowań związanych z przetwarzaniem transakcji, które są domeną danych ustrukturyzowanych. Zamiast tego, są one głównie wykorzystywane w BI i analityce. Jednym z popularnych zastosowań jest analityka kliencka. Sprzedawcy detaliczni, producenci i inne firmy analizują dane nieustrukturyzowane w celu usprawnienia procesów zarządzania relacjami z klientem i umożliwienia bardziej ukierunkowanego marketingu; przeprowadzają również analizę sentymentu w celu zidentyfikowania zarówno pozytywnych, jak i negatywnych opinii na temat produktów, obsługi klienta i podmiotów korporacyjnych, wyrażanych przez klientów w sieciach społecznościowych i na innych forach.
Predictive maintenance to nowe zastosowanie analityczne dla danych nieustrukturyzowanych. Na przykład, producenci mogą analizować dane z czujników, aby wykryć awarie sprzętu zanim wystąpią one w systemach na hali produkcyjnej lub w produktach gotowych w terenie. Rurociągi energetyczne mogą być również monitorowane i sprawdzane pod kątem potencjalnych problemów przy użyciu nieustrukturyzowanych danych zebranych z czujników IoT.
Analiza danych dziennika z systemów IT podkreśla trendy użytkowania, identyfikuje ograniczenia przepustowości i wskazuje przyczyny błędów aplikacji, awarii systemu, wąskich gardeł wydajności i innych problemów. Analityka danych nieustrukturyzowanych wspomaga również wysiłki związane z zachowaniem zgodności z przepisami, w szczególności pomagając organizacjom zrozumieć, co zawierają dokumenty i zapisy korporacyjne.
Techniki i platformy danych nieustrukturyzowanych
Firmy analityczne donoszą, że zdecydowana większość nowych generowanych danych jest nieustrukturyzowana. W przeszłości tego typu informacje były często zamykane w silosowych systemach zarządzania dokumentami, indywidualnych urządzeniach produkcyjnych i tym podobnych – co czyniło je tak zwanymi ciemnymi danymi, niedostępnymi do analizy.
Ale sytuacja zmieniła się wraz z rozwojem platform big data, głównie klastrów Hadoop, baz danych NoSQL i Amazon Simple Storage Service (S3). Zapewniają one niezbędną infrastrukturę do przetwarzania, przechowywania i zarządzania dużymi ilościami nieustrukturyzowanych danych bez narzucania wspólnego modelu danych i jednego schematu bazy danych, jak ma to miejsce w relacyjnych bazach danych i hurtowniach danych.
Do analizy nieustrukturyzowanych danych w środowiskach big data wykorzystuje się różne techniki i narzędzia analityczne. Na bardziej zaawansowanym poziomie, technologia przetwarzania języka naturalnego jest formą sztucznej inteligencji, która stara się zrozumieć znaczenie i kontekst w tekście i ludzkiej mowie, coraz częściej przy pomocy algorytmów głębokiego uczenia, które wykorzystują sieci neuronowe do analizy danych. Inne techniki, które odgrywają rolę w analizie danych nieustrukturyzowanych, obejmują eksplorację danych, uczenie maszynowe i analitykę predykcyjną.