Zarządzanie danymi

wróć do grup produktów

Bazy grafowe

Bazy grafowe to jedno z „najgorętszych” zjawisk w świecie zarządzania danymi. Stworzone są według innej koncepcji niż bazy relacyjne, gromadząc informację w węzłach (odpowiednik rekordu w RDBMS) oraz za pomocą relacji (odpowiednik powiązań między tabelami w RDBMS). Każdy węzeł i relacja mogą mieć skojarzone atrybuty (odpowiednik kolumn w RDBMS), ale lista atrybutów może się różnić nawet pomiędzy węzłami i relacjami tego samego typu. AZ Frame oferuje bazy grafowe lidera wśród dostawców tego rodzaju rozwiązań – Neo4J, jak również proponuje własne narzędzie, GraphIQ.

Anti-Fraud oraz Anti-Money Laundry: Kluczowe zastosowanie baz grafowych

Budowa baz Neo4J i Graph IQ umożliwia dostosowanie struktur danych do zmieniających się wymogów (np. taktyki walki z fraudami).

Przestępstwa finansowe są coraz trudniejsze do wykrycia. Oszuści tworzą bowiem:

sztuczne tożsamości – na podstawie prawdziwych danych z różnych źródeł tworzone są nowe tożsamości,
sieci powiązań zarówno małe i duże. Im większa liczba powiązanych osób lub firm, tym większa skala oszustw.

Standardowe mechanizmy wykrywania fraudów (również te oparte na Machine Learning) w dużym stopniu nie wykrywają powyższych sytuacji. Dzieje się tak, ponieważ analizowane są dane, a nie powiązania. Jeśli powiążemy osoby posługujące się tym samym numerem dowodu lub PESELem, osoby, które posiadają ten sam numer telefonu lub e-mail czy osoby, które mają te same adresy zamieszkania okaże się, że te osoby uzyskają status powiązanych (mimo, że w konwencjonalnych bazach danych są sobie obce). Algorytmy wbudowane w bazę grafową pozwalają na wykrycie powiązań i grup informacji, a to z kolei pozwala na wykrycie łańcuchów przestępstw.

Cechy baz grafowych

Wydajność – przy zapytaniach angażujących wiele tabel – konstrukcja baz grafowych pozwala na osiągnięcie wydajności o kilka rzędów lepszej, niż w przypadku baz relacyjnych. Dzieje się tak pomimo braku dedykowanych indeksów.

Szybki development – brak predefiniowanego modelu danych – tworzenie modelu przy napływie danych. Intuicyjne „czytanie” danych w modelu – zarówno przez specjalistów IT, jak i przez biznes.

Responsywność biznesowa – brak predefiniowanego schematu powoduje szybkie reakcje na potrzeby zmian w aplikacjach (CR). Dane w bazie grafowej mogą być kształtowane zgodnie z wymaganiami.

Od laptopa po klastry – bazy grafowe charakteryzują się wysoką dostępnością, transakcyjnością, skalowalnością. Można w nich przechowywać miliardy węzłów i relacji. Można ich używać lokalnie na laptopie/stacji roboczej i w korporacjach, jako masowe magazyny danych.

Może być używana przez IT i biznes – dzięki narzędziom wbudowanym w bazę danych – ekstrakcja i analiza danych może być prowadzona przez osoby niemające wiedzy informatycznej.

Powiązania między podmiotami

Na podstawie informacji o rzeczywistych beneficjentach firm i relacjach z tymi firmami możemy stworzyć sieć powiązań w postaci grafu. Możemy wyszukiwać powiązania pomiędzy różnymi osobami i/lub firmami definiując warunek (warunkiem może być konkretne imię i nazwisko bądź nazwa firmy lub np. liczba relacji wychodząca z węzła) oraz liczbę relacji oddalenia obiektów (np. szukamy najkrótszą ścieżkę pomiędzy użytkownikiem Jan Kowalski a firmą Alfa z maksymalnym oddaleniem 5 relacji). Możemy utworzyć graf zawierający miliony węzłów i relacji (Neo4j obsługuje wiele miliardów węzłów w jednej bazie) i poddawać go analizom.

Możemy też wprowadzić do grafu osoby lub relacje nie wynikające bezpośrednio z rejestrów sądowych, np. pokrewieństwo, sąsiedztwo, bliska współpraca firm niepowiązanych formalnie, transakcje łańcucha dostaw. Tworzenie dodatkowych relacji może się odbyć przez definicję reguł dla danych w bazie i ich implementację. Dane te mogą pochodzić z bazy instytucji lub ze źródeł zewnętrznych.

Wsparcie w zarządzaniu ryzykiem

Definiując odpowiednie warunki, np.:

Prowadzenie tej samej działaności,
Obrót tymi samymi towarami,
Ten sam wystawca zabezpieczenia,
Powiązania w ramach grup kapitałowych:
- identyfikujące stosunek kontroli (np.: sporządzanie sprawozdań skonsolidowanych, prawo głosu, uprawnienia decyzyjne),
- identyfikujące zależność ekonomiczną (np.: wzajemne gwarantowanie, znaczne powiązanie z jednym odbiorcą , klientem, wspólni właściciele),

przy pomocy narzędzia Neo4J lub GraphIQ możemy utworzyć przejrzysty graf zawierający węzły i relacje w ramach wskazanych transakcji i warunków i poddawać go dalszym analizom. Możliwe jest również wykorzystanie danych ze źródeł zewnętrznych.

Użycie bibliotek i funkcji baz Neo4J

Baza Neo4j ma zaimplementowanych ponad 500 funkcji. Dodatkowo w bibliotece APOC mamy dostępnych ponad 600 dodatkowych funkcji. Dzięki budowie baz grafowych i mechanizmów (Biblioteka Neo4j Graph Data Science Library) w nich zaimplementowanych, możemy:

zidentyfikować niepowiązane grupy, które używają tych samych identyfikatorów (np. numerów telefonów) (Algorytm Louvain Modularity);
zidentyfikować grupy, które często mają z sobą styczność (np. wypłaty odszkodowań ZUS) (Algorytm Components (Union Find);
zbadać podobieństwo rachunków lub podobieństwo łańcuchów powiązań (Algorytm Jaccard),
zbadać wpływ na innych i wysokość transakcji (Algorytm PageRank);
znaleźć dodatkowe relacje i dodać je do swoich danych (np. sąsiedztwa, korzystanie z tych samych adresów IP) (Algorytm Common Neighbors);
znaleźć transakcje lub powiązania o bardzo krótkich ścieżkach (Algorytm Shortest Path).