Opracowanie i walidacja w rzeczywistych warunkach systemu do szybkiego przyjmowania, skompresowanego przechowywania i analizy dużych ilości danych alfanumerycznych (bardzo długich logów) w oparciu o bazujący na technikach sztucznej inteligencji silnik kwerend aproksymacyjnych.
Numer_referencyjny_programu_pomocowego: SA.41471(2015/X) Przeznaczenie_pomocy_publicznej: art. 25 rozporządzenia KE nr 651/2014 z dnia 17 czerwca 2014 r. uznające niektóre rodzaje pomocy za zgodne z rynkiem wewnętrznym w stosowaniu art. 107 i 108 Traktatu (Dz. Urz. UE L 187/1 z 26.06.2014). Rozwiązaniem opracowanym w projekcie będzie silnik AQ+, tj. silnik bazodanowy kwerend aproksymacyjnych, zdolny do przetwarzania logów reprezentowanych jako bardzo długie ciągi znaków oraz platforma AQ+ jako usługa analizy logów (chmury) wykorzystująca silnik AQ+ jako backend i zapewniająca zaawansowane i skalowalne funkcje, np. wykrywanie anomalii na danych aproksymowanych. Chodzi o system wspierający nowatorskie podejście do przetwarzania i zapytań o ogromne ilości logów reprezentowanych jako wiersze o bardzo długich ciągach alfanumerycznych. Długość każdego pojedynczego ciągu przekracza 50 000 znaków; liczba logów przekracza 1 000 000 000 (1 miliard) i może osiągnąć nawet 1 000 000 000 000 (1 bilion). Logi będą organizowane w paczkach. Każda pojedyncza paczka logów gromadzi domyślnie 2^16 (65 536) pojedynczych logów. Każda paczka jest następnie podsumowywana – agregowana z dużym współczynnikiem kompresji. Rezultat projektu będzie obejmował zarówno nowe metody, które automatycznie generują wysoce skompaktowane podsumowania paczek logów, jak i nowe metody, które w przybliżeniu wykonują operacje na danych podsumowanych w taki sposób, że wyniki tych operacji są prawie takie same, jak gdyby system wykonywał analogiczne operacje na oryginalnych logach. Metody te zapewnią, że ślad podsumowań na dysku będzie 50-100 razy mniejszy od śladu oryginalnych danych. Wyniki rozpatrywanych operacji SQL, a także inteligentne algorytmy mające na celu wykrywanie anomalii – będą prawie takie same, gdy będą wykonywane na zgranulowanych podsumowaniach logów oraz na oryginalnych danych. W ten sposób system dostarczy na rynek unikalną możliwość znaczącego zmniejszenia dużej ilości danych (…)
Your project description
To add a photo, description, specify a location or attach other materials about the project, you should fill out the form below. After clicking the “send” button, a message will be sent to you e-mail asking for confirmation. You must accept to submit the form. The EU Dot Map Guidelines and consent to the processing of personal data. materials will be sent to the editor of the site, who will publish it on the website after verification test.