Supersprzęt nad Wisłą i Odrą

Na tle światowych centrów obliczeniowych polskie wypadają bardzo przyzwoicie. Nie możemy się oczywiście poszczycić komputerami na miarę amerykańskich czy chińskich, ale nasze maszyny regularnie pojawiają się na liście TOP500, określanej także mianem testu LINPACK. To aktualizowane co pół roku zestawienie zawiera pięćset najszybszych systemów komputerowych na świecie. Aktualnie na TOP500 notowane są cztery nasze komputery, ale w przeszłości bywało ich więcej. Najwyższa lokata, jaką zajął polski superkomputer, należy do krakowskiego Prometheusa. Było to 38. miejsce w zestawieniu z listopada 2015 roku.

Równie dobrze wygląda efektywność naszych systemów. Wszystkie polskie superkomputery plasują się w drugiej setce rankingu Green500, układanego na podstawie wydajności obliczeniowej uzyskanej z jednego wata mocy zasilającej. W historii tego zestawienia jedna z naszych maszyn zajmowała nawet pierwsze miejsce.

Najszybszy polski superkomputer, Prometheus, został zbudowany dla Akademii Górniczo-Hutniczej przez HP i kosztował w momencie uruchomienia, w 2015 roku, ponad 40 milionów złotych. Tworzące go 2200 węzłów serwerowych HP Apollo 8000 z procesorami Intel Xeon E5-2680v3 daje do dyspozycji ponad 55 000 rdzeni obliczeniowych. Komputer wyposażony jest też w karty Nvidia Tesla z procesorami graficznymi GPGPU umożliwiającymi wykonywanie obliczeń ogólnego przeznaczenia (takimi jak CPU). W sumie daje to wydajność maksymalną rzędu 1700 TFLOPS. Poszczególne elementy połączone są superszybką siecią InfiniBand FDR o przepustowości 56 Gbit/s. Prometheus ma 282 TB pamięci operacyjnej w technologii DDR4 oraz dwa systemy plików o łącznej pojemności 10 petabajtów i szybkości dostępu 180 GB/s.

Nasz najszybszy superkomputer w chwili uruchomienia był na 48. miejscu, a krótko po tym, po rozbudowie, zajmował najwyższą w historii 38. lokatę. Prof. Kazimierz Wiatr, dyrektor ACK Cyfronet AGH, mówił o nim tak: Dla zobrazowania szybkości pracy Prometheusa można powiedzieć, że w celu dorównania jego możliwościom należałoby wykorzystać moc ponad 50 000 najwyższej klasy komputerów PC w najmocniejszej konfiguracji, dodatkowo połączonych superszybką siecią i zarządzanych specjalnym oprogramowaniem.

CPU i GPU oraz moduły pamięci chłodzone są cieczą za pomocą specjalnego systemu rurek cieplnych. Serwery pozostają suche i w każdej chwili można wyjąć bez obawy zalania cieczą. Stosowane zazwyczaj w taki instalacjach energochłonne generatory wody lodowej zostały zastąpione o wiele tańszymi wymiennikami ciepła. To wystarcza w naszej strefie klimatycznej. Dzięki takim rozwiązaniom udało się uzyskać jedną z oszczędniejszych konstrukcji na świecie. Efektywne chłodzenie pozwoliło też zainstalować aż 144 serwerów w pojedynczej szafie, a cały system zmieścić jedynie w 20 szafach. Dzięki temu ważąca ponad 40 ton jednostka obliczeniowa zajmuje powierzchnię tylko 18 metrów kwadratowych. Prawidłowe funkcjonowanie zapewnia też system gwarantowanego zasilania, awaryjny agregat oraz instalacje klimatyzacji i gazowe instalacje przeciwpożarowe. Prof. Wiatr tak podkreślał zalety konstrukcji Prometheusa: By osiągnąć analogiczne moce obliczeniowe, poprzednik Prometheusa, Zeus musiałby zajmować aż 160 szaf. Poprzednikiem Zeusa był umieszczony w ośmiu szafach Baribal o mocy obliczeniowej 1,5 teraflopa – Prometheus zbudowany w tamtej technologii zajmowałby ponad 12 000 szaf!

Pracę Prometheusa wspomaga cały czas jego poprzednik – Zeus, który był notowany na liście TOP500 w latach 2008–2015. Najwyżej znajdował się na 81 pozycji tej listy. Zeus ma łącznie ponad 25 000 rdzeni obliczeniowych i ponad 200 procesorów graficznych GPGPU. Jego wydajność wynosi około 270 TFLOPS. Wyposażony został w 60 TB pamięci operacyjnej i sieć InfiniBand łączącą poszczególne komponenty systemu. Magazyn danych Zeusa to pamięć dyskowa o pojemności 2,3 PB.

Prometheus i Zeus używane są między innymi do przewidywania struktur białek oraz symulacji rynków finansowych. Superkomputery Cyfronetu pomagają w badaniach nad nowotworami, analizują konstrukcje inżynierskie, modelują zjawiska fizyczne. Systemy biorą też udział w projektach międzynarodowych. Wspomagają między innymi superkomputer zainstalowany w CERN-ie oraz badania nad falami grawitacyjnymi.

Poznański Eagle zajmuje 416. miejsce wśród najszybszych komputerów na świecie i 83. w Europie. To również jeden z dwóch polskich superkomputerów klasyfikowanych w rankingu HPCG (High Performance Conjugate Gradient). Zajmuje w nim bardzo wysoką 61. lokatę. Orzeł zapewnia także niezłą efektywność energetyczną. Producent, Huawei, uzyskał w nim wydajność 1,8 gigaflopa z jednego wata zużytej mocy. Daje to komputerowi z Poznania 133. miejsce na liście Green500. Komputer został zaprojektowany tak, by można było odzyskać ponad 80 proc. generowanego przez niego ciepła i wykorzystać je do ogrzewania laboratoriów. Tylko dwa procent pobieranej przez system energii służy tradycyjnemu chłodzeniu.

Eagle ma na pokładzie nowocześniejsze procesory niż Prometheus. Pracują z większą częstotliwością i mają więcej rdzeni, ale jest ich mniej. W przypadku tego komputera są to układy Xeon E5-2697v3. Łącznie wykorzystano ponad dwa tysiące procesorów, które mają 33 tysiące rdzeni. W efekcie Poznańskie Centrum Superkomputerowo-Sieciowe uzyskało wydajność maksymalną 1013 TFLOPS i teoretyczną 1372 TFLOPS. Pomiar w teście HPCG pokazuje zaś 8,5 TFLOPS. Za przesyłanie danych odpowiada w komputerze Huawei magistrala InfiniBand FDR 56 Gbit/s. Do dyspozycji systemu jest ponad 120 TB pamięci.

Zaraz za systemem Eagle, jedynie pięć miejsc dalej na TOP500, znajduje się Tryton z Akademickiego Centrum Komputerowego w Gdańsku. Ta maszyna bazuje na procesorach Xeon E5-2670v3. To praktycznie ten sam układ, co w przypadku Prometheusa, ale o niższej częstotliwości pracy. 38 400 rdzeni pozwoliło na uzyskanie w teście LINPACK wydajności na poziomie 1010 TFLOPS i wydajności teoretycznej 1413 TFLOPS. Tak jak w poprzednich konstrukcjach za przesyłanie danych odpowiada tu magistrala InfiniBand. Tryton nie był klasyfikowany w teście HPCG, a na liście Green500 okupuje 181 pozycję. Kosztował około 30 milionów złotych

Ostatni z polskich superkomputerów klasyfikowanych aktualnie w teście LINPACK to Okeanos zainstalowany w Interdyscyplinarnym Centrum Modelowania Matematycznego i Komputerowego Uniwersytetu Warszawskiego. Na TOP500 zajmuje 480. pozycję, na liście Green500 164 pozycję. Nie był klasyfikowany w rankingu HPCG.

Okeanos to konstrukcja Craya, legendarnego producenta superkomputerów. System bazuje na procesorach Xeon E5-2690v3 i ma ponad 26 tysięcy rdzeni obliczeniowych. Jego wynik w teście LINPACK to 909 TFLOPS i 1082 TFLOPS wydajności teoretycznej. Komputer ICM-u ma ponad tysiąc serwerów Cray XC40 połączonych siecią Cray Aries. Każdy węzeł wyposażony jest w 128 GB pamięci, węzły nie mają jednak dysków. Dane przechowywane są w sieciowym systemie plików. Okeaons waży około 10 ton.

Cztery polskie superkomputery z listy TOP500 pracują w czterech z pięciu największych polskich ośrodków obliczeniowych. Poza aktualną klasyfikacją znalazł się system o nazwie Bem rezydujący we wrocławskim centrum sieciowo-superkomputerowym. W momencie uruchomienia zajmował jednak 135. lokatę. Ten klaster to ponad 700 serwerów Actina wyposażonych w 1600 procesorów Intel Xeon. System oddaje do dyspozycji użytkowników ponad 17 tysięcy rdzeni i moc obliczeniową rzędu 650 TFLOPS.

Pisząc o najwydajniejszych maszynach w naszym kraju, trzeba też wspomnieć o klastrze działającym w Narodowym Centrum Badań Jądrowych w Otwocku. System uruchomiony w Świerku w 2014 roku niewiele ustępuje swoim potężniejszym braciom. Centrum Informatyczne Świerk zajmuje się analizą bezpieczeństwa reaktorów jądrowych oraz projektowaniem i optymalizacją urządzeń energetycznych. Współpracuje także z CERN-em. Ten superkomputer wyposażony został w prawie 2000 procesorów Intel Xeon o łącznej liczbie 19 880 rdzeni obliczeniowych, ponad 100 TB pamięci RAM oraz prawie 3 PB przestrzeni dyskowej. Zapewnia on moc obliczeniową rzędu 420 TFLOPS. W chwili uruchomienia w teście LINPACK został sklasyfikowany na 155. Miejscu, ale, jak zaznaczył kierujący wtedy działem Infrastruktury Obliczeniowej CI Świerk doktor Adam Padée, w momencie rozpoczęcia budowy klastra jego teoretyczna wydajność dawała pierwszej miejsce wśród sześćdziesięciu najszybszych instalacji obliczeniowych na świecie. Niestety rynek superkomputerów rozwija się bardzo dynamicznie i okazało się, że po skompletowaniu sprzętu ostatecznie znaleźliśmy się w drugiej setce.

Pisząc o najwydajniejszych maszynach w naszym kraju, trzeba też wspomnieć o klastrze działającym w Narodowym Centrum Badań Jądrowych w Otwocku. System uruchomiony w Świerku w 2014 roku niewiele ustępuje swoim potężniejszym braciom. Centrum Informatyczne Świerk zajmuje się analizą bezpieczeństwa reaktorów jądrowych oraz projektowaniem i optymalizacją urządzeń energetycznych. Współpracuje także z CERN-em. Ten superkomputer wyposażony został w prawie 2000 procesorów Intel Xeon o łącznej liczbie 19 880 rdzeni obliczeniowych, ponad 100 TB pamięci RAM oraz prawie 3 PB przestrzeni dyskowej. Zapewnia on moc obliczeniową rzędu 420 TFLOPS. W chwili uruchomienia w teście LINPACK został sklasyfikowany na 155. Miejscu, ale, jak zaznaczył kierujący wtedy działem Infrastruktury Obliczeniowej CI Świerk doktor Adam Padée, w momencie rozpoczęcia budowy klastra jego teoretyczna wydajność dawała pierwszej miejsce wśród sześćdziesięciu najszybszych instalacji obliczeniowych na świecie. Niestety rynek superkomputerów rozwija się bardzo dynamicznie i okazało się, że po skompletowaniu sprzętu ostatecznie znaleźliśmy się w drugiej setce.

Prometheus – od 2015 roku najszybszy superkomputer w Polsce, zainstalowany w Akademickim Centrum Komputerowym Cyfronet AGH, sześciokrotnie znalazł się wśród stu najszybszych superkomputerów świata. Jest wykorzystywany do naukowych obliczeń wielkiej skali, modelowania wieloaspektowego, równoległego przetwarzania potężnych zbiorów danych i obliczeń sztucznej inteligencji. O zapotrzebowaniu nauki na moc obliczeniową świadczy to, że maszyna działa non stop z obciążeniem bliskim 100 proc. W samym tylko 2018 roku Prometheus wykonał ponad pięć milionów zadań o łącznym czasie obliczeń 39 946 lat.

Dobrym przykładem wykorzystania Prometheusa są prace prowadzone przez naukowców z Borexino Collaboration – grupę kilkudziesięciu badaczy z wielu krajów, którzy zbierają i analizują dane na temat neutrin rodzących się w Słońcu. Dziesięcioletnie badania z wykorzystaniem detektora Borexino, umieszczonego w największym na świecie podziemnym laboratorium Laboratori Nazionali del Gran Sasso we Włoszech, doprowadziły do lepszego zrozumienia procesów produkcji energii w Słońcu. Efekt pracy został opublikowany na łamach prestiżowego czasopisma „Nature”. Prometheus wspiera również analizę danych detektorów fal grawitacyjnych LIGO i Virgo. Wykorzystanie w innych obliczeniach to wsparcie rozwoju medycyny spersonalizowanej, obliczenia fizyki wysokich energii, prognozowanie zmian pogodowych, projektowanie nowych materiałów. Dziś obliczenia naukowe są prawie tak samo ważne jak niegdyś ogień, który wykradł dla naszych przodków Prometeusz.

Moc obliczeniowa Prometheusa i specjalistyczne oprogramowanie są też intensywnie wykorzystywane przez młodych naukowców. Tutaj warto wspomnieć chociażby obliczenia dynamiki cieczy wykonywane za pomocą oprogramowania ANSYS przez zespół studentów AGH, którzy zaprojektowali i zbudowali łódź napędzaną energią słoneczną. AGH Solarboat „Baśka” odnosi sukcesy w międzynarodowych zawodach. Podobne osiągnięcia uzyskał zespół AGH Racing, którego bolid wyścigowy powstał m.in w oparciu o obliczenia z wykorzystaniem Prometheusa.

Dostęp do zasobów Cyfronetu – w tym do Prometheusa – jest nieodpłatnie realizowany poprzez platformę PLGrid. Rodzina projektów PLGrid doprowadziła do stworzenia funkcjonalnej infrastruktury łączącej zasoby wszystkich Centrów Komputerów Dużej Mocy w Polsce (Cyfronet, ICM, PCSS, WCSS, TASK). Sam Prometheus ma w PLGrid prawie 450 różnych aplikacji, narzędzi i bibliotek oprogramowania naukowego. Przetwarzanie danych wymaga wysokowydajnych wewnętrznych sieci komunikacyjnych pozwalających procesorom na wymianę dużych ilości informacji z minimalnymi opóźnieniami. Dla zobrazowania problemu warto zaznaczyć, że taka wewnętrzna sieć komunikacyjna superkomputera Prometheus (interconnect) składa się z ponad 30 km światłowodów i około 10 000 portów Infiniband 56 Gbit/s.

Kamil Mucha

Dział Użytkowników Komputerów Dużej Mocy

ACK Cyfronet AGH

Uwaga wszystkich skupia się zazwyczaj na naszych najszybszych i najbardziej wydajnych systemach komputerowych. Tymczasem poprzednicy tych maszyn z reguły nadal pracują. I choć te komputery nie są już klasyfikowane na TOP500, to w momencie uruchamiania zajmowały wysokie miejsca w tym rankingu. Są to między innymi warszawski Nautilus, wrocławska Nova czy gdańska Galera uruchomione w latach 2007-2008. Systemy te mają moc obliczeniową w przedziale od 20 do 65 TFLOPS. Jeszcze starsze systemy trudno już w tej chwili nazwać superkomputerami. To maszyny, których możliwości obliczeniowe porównywalne są z dzisiejszą konsolą PlayStation 4.

Pojedynczy superkomputer to potężne narzędzie, ale zestaw takich maszyn funkcjonujących razem może dać znacznie więcej. Dlatego największe polskie centra obliczeniowe i znajdujące się w nich maszyny funkcjonują ramach jednej infrastruktury sieciowej pod nazwą PLGrid. PLGrid to platforma informatyczna wspierająca badania naukowe bazujące na symulacjach i obliczeniach dużej skali. Połączenie systemów umożliwiło powiększenie dostępnych zasobów obliczeniowych oraz dyskowych i ich efektywniejsze wykorzystanie. Z mocy obliczeniowej mogą korzystać nieodpłatnie wszystkie osoby prowadzące działalność naukową związaną z uczelnią lub instytutem naukowym w Polsce. Infrastruktura PLGrid zarządzana jest przez konsorcjum, w skład którego wchodzi pięć instytucji: krakowski CYFRONET, warszawskie ICM, poznański PCSS, CI TASK z Gdańska i wrocławski WCSS. Działania konsorcjum koordynowane są przez centrum znajdujące się w Krakowie. Nasza krajowa sieć jest również częścią infrastruktury paneuropejskiej.