Pokaźne archiwum danych ESA w oparciu o polskie usługi chmurowe

Archiwum Długoterminowe ESA (LTA) to miejsce przechowywania satelitarnych danych obrazowych z unijnego programu obserwacji Ziemi Copernicus. LTA zapewnia dostęp do danych archiwalnych w chmurze obliczeniowej, które służą naukowcom, badaczom czy urzędnikom administracji publicznej m.in. do realizacji projektów z zakresu analiz ekosystemów obszarów morskich i lądowych, ochrony środowiska, atmosfery, zmian klimatycznych, zarządzania kryzysowego czy bezpieczeństwa.

„Long Term Archive to kolejny projekt, który realizujemy dla Europejskiej Agencji Kosmicznej. Poprzednie przedsięwzięcia są związane z platformami dostępnymi online, które gromadzą dane obserwacji Ziemi oraz umożliwiają ich analizę i przetwarzanie w infrastrukturze chmurowej” – wskazał Przemysław Mujta, Dyrektor Technicznego Wsparcia Sprzedaży w CloudFerro. Podkreślił przy tym, że LTA jest projektem zapewniającym ujednolicony i ustandaryzowany dostęp do wszystkich danych z satelitów Sentinel, nie tylko tych archiwalnych.

Stworzenie zasobnego archiwum danych z obserwacji Ziemi związane jest z wieloma wyzwaniami: stałym przyrostem wolumenu informacji, rosnącą liczbą użytkowników oraz zastosowaniem do analizy big data wymagających, innowacyjnych technologii, takich jak sztuczna inteligencja czy machine learning.

50 PB danych, ich stały przyrost oraz umożliwienie otwartego dostępu do historycznych informacji z obserwacji Ziemi to spore wyzwanie, któremu sprosta tylko odpowiednio wydajna i elastyczna chmura obliczeniowa. Co ważne, usługa dostarczana przez CloudFerro zapewnia pełną zgodność z wymaganymi standardami ESA wraz z pełną, natychmiastową dostępnością zarchiwizowanych danych praktycznie w czasie rzeczywistym.

Zakres zadań CloudFerro w ramach serwisu dla ESA obejmuje kompleksowe wdrożenie i zapewnianie ciągłości usług archiwizacyjnych, a także zapewnienie natychmiastowego dostępu online do zarchiwizowanych danych ESA (niemalże w czasie rzeczywistym, przy zachowaniu wymaganych standardów), które można przeszukiwać i generować za pomocą interfejsu API REST. Infrastruktura chmurowa dostarczana przez CloudFerro oparta jest na oprogramowaniu open source – OpenStack oraz CEPH, które z założenia daje dużą elastyczność i skalowalność w oparciu o dyski twarde dużej pojemności oraz transparentne dla klienta schematy replikacji danych zapewniających pełne bezpieczeństwo gromadzonych informacji.

CloudFerro dostarcza innowacyjną technologię polegającą na wyłącznym wykorzystaniu pamięci dyskowej zamiast tradycyjnej biblioteki taśmowej lub rozwiązania hybrydowego. „Takie rozwiązanie, oparte wyłącznie na dyskach, jest zdecydowanie wydajniejsze niż dotychczasowe technologie stosowane do archiwizacji danych, łatwe w implementacji, konkurencyjne kosztowo i zapewnia wysokowydajny dostęp do całego archiwum danych – wewnętrzne testy potwierdzają możliwość wydawania nawet 2PB danych dziennie” – podkreślają przedstawiciele CloudFerro w okolicznościowym komunikacie.

Źródło: CloudFerro