Teradata, wiodąca światowa firma zajmującą się analityką danych, wprowadziła funkcje Teradata Columnar, która stanowi istotny postęp w technologii baz danych, pozwalający na pełną integrację tabel opartych na kolumnach i wierszach, osiągając dzięki temu nowe poziomy elastyczności, wydajności i kompresji. Teradata Columnar pozwala na szybszą pracę bazy danych Teradata i umożliwia osiągnięcie wyższych stopni kompresji niż produkty konkurencji. Dzięki zaawansowanej architekturze stanowi ona najbardziej kompletne, gotowe do użycia środowisko dla organizacji stojących przed problemem dostarczania analiz z coraz szybciej rosnących wolumenów danych typu Big Data.

Inaczej niż w przypadku relacyjnych baz danych, które przechowują dane jedynie w wierszach, kolumnowa baza danych przechowuje informacje w kolumnach. Działając niezależnie każda z tych metod daje wyjątkowe korzyści, w zależności od konkretnego zastosowania i rodzaju danych. Nowe funkcje obsługi baz kolumnowych oferowane przez Teradata pozwalają użytkownikom na odpowiedni dobór kolumnowych i wierszowych metod przechowywania danych, w zależności od potrzeb danej aplikacji. Dzięki systemowi Teradata aplikacje uzyskują teraz dostęp do danych ułożonych w wiersze i kolumny oferując wysoką elastyczność i wydajność.

Ta elastyczność wspiera organizacje zmagające się z wielkimi zbiorami danych, z rosnącą rzeszą użytkowników oraz wymaganiami dotyczącymi wydajności. Teradata Columnar pozwala naszym użytkownikom na szybsze dostarczenie lepszych analiz do większej liczby użytkowników - powiedział Scott Gnau, prezes Teradata Labs w Teradata Corporation. Elastyczność Teradata Columnar pozwala na obsługę analitycznych aplikacji przez odpowiednią strukturę tabel, optymalizując czasy odpowiedzi z centralnej, wspólnej hurtowni danych. Dodatkowo, baza danych automatycznie dobiera najlepszą metodę kompresji oraz dynamicznie dostosowuje mechanizm kompresji stosownie do zmian danych w czasie. Branże, które skorzystają na funkcjach Columnar Teradata Columnar jest wsparciem dla użytkowników korporacyjnych, umożliwiając im podjęcie najtrafniejszych decyzji z wykorzystaniem nowej analityki danych, dla ustanowienia trwałej przewagi konkurencyjnej, niezależnie od branży.

Telekomunikacja – Podczas gdy klient czeka przy telefonie w trakcie rozmowy z przedstawicielem obsługi klienta, doradca musi przeszukać informacje zawarte w szczegółowej ewidencji połączeń (ang. Call Detail Records, CDR), które mogą obejmować ponad sto kolumn. Jednakże by udzielić odpowiedzi na pytania rozmówcy, zwykle wystarczą dane jedynie z kilku kolumn. Teradata Columnar potrafi obniżyć o 90 procent objętość danych wymaganych do wykonania zapytania To znacznie skraca czas reakcji na pytanie klienta przez obniżeniu objętości przetwarzanych danych.

Sektor Finansowy – Kiedy kierownik działu marketingu w banku korzysta z danych aplikacji CRM, aby personalizować oferty dla klientów banku, potrzebuje on mniej niż dziesięciu atrybutów dla każdego klienta, takich jak numer klienta, dane demograficzne, ostatni zakupiony produkt oraz ostatni wykorzystywany kanał. Jednakże, system CRM wychwytuje setki danych o kliencie. Dzięki Columnar, objętość danych odczytywanych z rejestru klienta jest obniżona o 90 procent, bowiem wybranych zostanie tylko dziesięć wymaganych atrybutów zamiast całego wiersza składającego się z wielu atrybutów. Także dzięki Teradata Columnar uzyskuje się wydajny, liczony w milisekundach, czas reakcji na zapytania związane z masową obsługą zapytań o pojedynczych klientów (np. inbound marketing).

Sprzedaż – Pracownik działu zakupów zamawia produkty dla sieci sklepów i jest on zainteresowany jedynie zamówieniem wybranej liczby asortymentu w oparciu o konkretne numery jednostek magazynowych (ang. store-keeping unit, SKU). Jednakże, systemy zarządzania popytem sprzedażowym dla sieci przechowują obszerny wachlarz atrybutów dla każdego asortymentu w celu sprostania szeregowi wymagań sprawozdawczych i analitycznych. Użytkownik potrzebuje jedynie danych odnoszących się do jego zapytania, nie są mu potrzebne wszystkie wartości. Dzięki funkcjonalności Teradata Columnar, baza danych odczytuje jedynie dane, do których odnosi się zapytanie pracownika, oferując wyższą wydajność i obniżając koszty przetwarzania w stosunku do konieczności odczytu wszystkich kolumn tabeli.

Teradata Columnar to strategiczny skok naprzód i pierwsze w branży rozwiązanie najszerzej implementujące system hybrydowego przechowywania kolumnowego. Dotychczas, rozwiązania wykorzystujące koncepcję kolumnowego przechowywania danych były albo systemami obsługujące jedynie kolumny, z wszystkimi ograniczeniami, jakimi się one cechują albo niezgrabnymi nakładkami. Teradata Columnar to rozwiązanie ściśle zintegrowane z wiodącą na świecie relacyjną analityczną bazą danych, powiedział Scott Gnau.

Jesteśmy zdania, że zdolność do przechowywania danych w kolumnach ma charakter ewolucyjny, -powiedział Donald Feinberg, wiceprezes i uznany analityk w Gartner Inc. Columnar to kluczowa technologia dostarczająca ogromną wartość biznesową poprzez wsparcie przedsiębiorstw w dostosowaniu wewnętrznej struktury ich danych do rozwijających się wymagań w zakresie dostarczania na czas rzetelnych informacji analitycznych, pozwalających na efektywne prowadzenie działalności biznesowej. Dodatkowo, będzie miała ona daleko idące znaczenie dla projektowania systemów i przyniesie ze sobą znaczne oszczędności wpływając na możliwość spełniania wymagań dotyczące wyższej wydajności i niższej konsumpcji na energię elektryczną i chłodzenia centrów danych obsługujących systemy analityczne.

Spełniona obietnica Columnar

Teradata Columnar rozwiązuje problemy związane z tzw. wąskimi gardłami przetwarzania, dzięki przechowywaniu danych w kolumnach zamiast w wierszach. Do pamięci, w celu przetwarzania, wczytywane są wyłącznie dane z kolumn odnoszących się do zapytania, co znacznie obniża rozmiar i czasochłonnych operacji wejścia/wyjścia (ang. I/O) w stosunku do rozwiązań opartych na wierszach wymagających odczytania danych z wszystkich kolumn.

Dzięki Teradata Columnar klienci będą mogli uczynić zdecydowany krok naprzód, wiedząc, że jego dopracowana hybrydowa struktura posiada możliwości wspierania aplikacji krytycznych do prowadzenia biznesu, wykorzystując wielkie objętości danych w tabelach kolumnowych. W przeciwieństwie do hybrydowych rozwiązań konkurencji, Teradata Columnar wspiera zaawansowane zarządzania obciążeniem, wysoką dostępność, złożone zapytania SQL, analitykę typu in-database, zaawansowany optymalizator wykonywania zapytań i niezrównaną skalowalność.

Doskonała automatyczna kompresja

Oprócz znacznych korzyści w zakresie wydajności wynikających z przechowywania danych w kolumnach, Teradata Columnar rozwiązuje problem nadmiaru operacji wejścia/wyjścia jeszcze w inny sposób: przez kompresję. Kompresja obniża obciążenie operacji wejścia/wyjścia wymaganych w celu wczytania danych do pamięci, bowiem dane konieczne dla odpowiedzi na pytanie, kompresowane są do ułamka jego rozmiaru. Co więcej, Teradata Columnar automatyzuje zarządzanie kompresją, zwalniając administratora bazy danych z obowiązku analizy i doboru konkretnego rozwiązania z kilkunastu możliwych do zastosowania. Baza danych automatycznie wybiera najlepiej dostosowany do danej sytuacji mechanizm kompresji.

Ponadto Teradata Columnar dynamicznie dostosowuje mechanizm kompresji, aby uzyskać optymalne warunki przechowywania w miarę ewolucji danych w czasie, obniżając ilość pracy administratora bazy danych, który musi reagować na stale zmieniające się i rosnące wymagania dotyczące kompresji. Wyjątkowe architektura Teradata obejmuje tworzenie zbiorów w każdej kolumnie, co umożliwia bardziej wydajną kompresję. Na przykład, wartości danych w jednym zbiorze wewnątrz kolumny mogą korzystać z jednego algorytmu kompresji, a wartości w innym zbiorze dodanym pół roku później, zostaną lepiej obsłużone przez inny algorytm. Dzięki automatycznemu doborowi odpowiedniego algorytmu dla każdego zbioru, aplikacja Teradata Columnar maksymalizuje kompresję możliwą dla danej kolumny, znacznie podnosząc wydajność wejścia/wyjścia oraz całego systemu, w porównaniu z mniej zaawansowanymi rozwiązaniami konkurencji.

System Teradata automatycznie dobiera jeden z sześciu rodzajów kompresji: kodowanie długości serii (ang. run length encoding, RLE), kompresję na podstawie słownika, przycinanie, delta i średnia, kompresję opartą na zerze oraz kompresję opartą na kodowaniu UTF8 w zależności od charakterystyki danych kolumny. Przykładowo, sklep z napojami może często sprzedawać specjalny, świąteczny napój w grudniu, dzięki czemu kodowanie długości serii powiązane z kompresją słownikową może przynieść najlepsze wyniki. W maju sprzedaż napojów jest bardziej losowa i rozproszona i redukuje powtórzenia, dla których najlepsze będzie kodowanie długości serii. Zatem algorytm kodowania długości serii będzie dodawany automatycznie do algorytmów stosowanych w grudniu, ale nie w maju.

Teradata Columnar dostępny będzie w grudniu 2011, jako element systemu Teradata Database 14. Rozszerzenie to dodatkowo umacnia pozycję firmy Teradata w obszarze wysokowydajnych silników analitycznych i jest udostępniona w rodzinie platform Teradata Purpose-Built Platform family. Każda z platform może korzystać z Teradata Columnar. Teradata Database 14 w wersji Data Mart Edition dostępna jest także, jako oprogramowanie instalowane na platformach sprzętowych firm trzecich, oraz jako Teradata Express dla rozwiązań przetwarzania w chmurze.

Źródło: Terdata