Dyskusja o sztucznej inteligencji koncentruje się na dużych modelach językowych, chatbotach i strategiach korporacyjnych. Tymczasem AI zależy od tego, co znajduje się pod nią: od infrastruktury sprzętowej. To sprzęt decyduje, jakie rozwiązania będą dostępne i jak wydajnie będą działać. Właśnie o infrastrukturze AI rozmawiam z Adamem Tomczakiem z AMD.
Rozmawiają: Paweł Pilarczyk, dziennikarz technologiczny i Adam Tomczak, Territory Development Executive CEE w AMD.
Paweł Pilarczyk: Gdy mówimy o sztucznej inteligencji, myślimy o OpenAI, Mecie, Google’u czy Microsofcie. Rzadziej o AMD. Co AMD ma wspólnego z AI?
Adam Tomczak: Użytkownicy korzystają z AI głównie przez usługi dużych dostawców chmurowych. Ale to wszystko musi na czymś działać. Gdzieś w data center, na laptopie, w serwerowni potrzebna jest infrastruktura do skomplikowanych obliczeń. AMD od kilku lat koncentruje swoje portfolio na rozwiązaniach specjalizujących się w tego typu obliczeniach.
Paweł Pilarczyk: I tu mówimy nie tylko o serwerach, ale też o desktopach?
Adam Tomczak: Tak. Advanced Micro Devices posiada portfolio produktów wyspecjalizowanych w AI od chmury publicznej i hyperscalerów, przez data center on-premise, aż po urządzenia końcowe, czyli komputery.
Paweł Pilarczyk: Co to znaczy dla przedsiębiorstw? Czy menedżer planujący wdrożenie AI musi myśleć o wyborze infrastruktury?
Adam Tomczak: To trochę tak, jakby firma stała przed decyzją zakupu samochodów. Firma logistyczna dobiera flotę do swoich potrzeb. Tak samo z infrastrukturą AI. W zależności od tego, co firma chce osiągnąć, na jakim etapie rozwoju jest, trzeba podjąć świadomą decyzję, która będzie miała konsekwencje. Czy będziemy uzależnieni od jednego dostawcy? Ile będą kosztować obliczenia? Kto będzie właścicielem danych? Czy chcemy tworzyć własne modele, czy korzystać z gotowych i uruchamiać inferencję na już opracowanych schematach?
Paweł Pilarczyk: Dziś pierwszy krok w AI to często udostępnienie pracownikom ChatGPT albo Copilota w modelu subskrypcyjnym. Ale AMD kojarzy się z procesorami. Jak połączyć te kropki?
Adam Tomczak: Boom na AI trwa i nabiera rozpędu. W 2022 roku ChatGPT był absolutną nowością. Dziś w każdym kraju powstają lokalne modele, jak choćby polski Bielik czy PLLuM. AI się demokratyzuje i rozlewa na coraz większy obszar życia. Walka toczy się o optymalizację i przyspieszenie obliczeń. W sferze compute trzeba połączyć kilka elementów: przetwarzanie na CPU, przetwarzanie równoległe na GPU, dedykowane silniki NPU i szybki transfer danych między nimi, żeby to wszystko było koherentne. AMD przeszło transformację z dostawcy procesorów i chipów graficznych w dostawcę całych rozwiązań. Na przestrzeni ostatnich lat kompletowaliśmy portfolio przez akwizycje i organiczny rozwój produktów. Dziś proponujemy rozwiązania zoptymalizowane pod AI: od dużych data center hyperscalerskich po urządzenia końcowe. Demokratyzujemy dostęp do tego, co można zrobić lokalnie: w data center, w biurze, w domu. Hardware jest fundamentem, ale cała magia dzieje się piętro wyżej, na warstwie software’owej. AMD inwestuje w to mocno. I co ważne: mamy strategię otwartych rozwiązań, zarówno w hardware, jak i w software.
Paweł Pilarczyk: W ostatnich latach pojawiły się modele językowe dużo mniejsze niż gigantyczny ChatGPT. Kiedyś taki duży model wymagał potężnych data center i nie dało się postawić jego kopii u siebie w firmie. A ja często słyszę od przedsiębiorców: „chcę przetwarzać dane z pomocą AI, ale nie chcę ich wysyłać do chmury, bo to poufne dane”. Rozwiązaniem są mniejsze modele językowe, tak zwane SLM, czyli Small Language Models, albo modele domenowe, wyspecjalizowane w konkretnej branży. Na przykład model farmaceutyczny, który zna tylko swoją dziedzinę i dzięki temu nie halucynuje. Taki model można postawić na własnej infrastrukturze, na przykład na sprzęcie AMD.
Adam Tomczak: Zgadza się. Udaje nam się tworzyć rozwiązania dedykowane do obliczeń AI nie tylko w ogromnych data center, ale też w komputerach. Ważna rzecz: obliczenia AI nie muszą oznaczać gigantycznych inwestycji. Przeważająca część przedsiębiorstw nie trenuje modeli od zera. Pobierają gotowe, dedykowane dla danej branży modele z otwartych repozytoriów i dotrenowują je na własnych danych. Dlatego zaoferowaliśmy ROCm, czyli otwarte repozytorium bibliotek i frameworków, które pozwala efektywnie korzystać z naszego hardware’u. Najnowsza wersja ROCm kilkukrotnie zwiększyła szybkość obliczeń. Ponadto w Hugging Face, największym repozytorium modeli AI, ponad 2 miliony modeli od pierwszego dnia jest wspieranych przez ROCm.
Paweł Pilarczyk: Czyli ściągam model z Hugging Face, wrzucam na infrastrukturę AMD i modele są sprzętowo akcelerowane?
Adam Tomczak: Tak, dostępna jest warstwa software’owa. Mocno inwestujemy w ten poziom, żeby użytkownik mógł jak najszybciej rozpocząć pracę, bez mozolnego przygotowywania sprzętu.
Paweł Pilarczyk: Wróćmy do NPU, bo wspominaliśmy o nim kilka razy. Historycznie mieliśmy CPU jako centralną jednostkę obliczeniową, potem pojawiły się GPU do grafiki, które okazały się świetne w operacjach AI. Teraz mamy NPU, czyli Neural Processing Unit, jednostkę przetwarzającą sieci neuronowe. W procesorach AMD Ryzen AI ta jednostka jest już zintegrowana. I co istotne: gdy odpalamy rozwiązania AI na takich układach, wszystkie trzy jednostki pracują jednocześnie. To nie jest tak, że NPU przejmuje zadanie, a CPU i GPU się nudzą.
Adam Tomczak: Dokładnie. Na procesorze mamy trzy rodzaje silników obliczeniowych: CPU, GPU i NPU. Są angażowane dynamicznie, zależnie od potrzeb. Obrazy przetwarza GPU, zapytania do aplikacji i baz obsługuje CPU, a przetwarzanie neuronowe aktywuje NPU. Dzięki temu wszystko działa szybciej. A w rozwiązaniach mobilnych pozwala to utrzymać długi czas pracy na baterii. Moc obliczeniowa liczona w TOPS, czyli bilionach operacji na sekundę, jest gigantyczna.
Paweł Pilarczyk: Długi czas pracy na baterii to jedno. Ale wiąże się to też z obniżeniem zużycia energii. Nie wszyscy mają świadomość, że 5- czy 10-letni serwer zużywa nawet 10 razy więcej energii niż nowoczesny o porównywalnej wydajności. Wymiana sprzętu szybko się zwraca w kosztach prądu.
Adam Tomczak: W skali data center główne składowe kosztu posiadania to miejsce w serwerowni, ilość serwerów do administrowania, licencje i koszty zasilania. Poważne GPU do trenowania modeli potrafią pobierać kilowaty energii. Pojawia się pytanie nie tylko ile ta energia kosztuje, ale jak w ogóle zasilić data center budowane 10 lat temu pod zupełnie inne pobory. Drugie wyzwanie to chłodzenie. Firmy chcące budować poważną infrastrukturę do trenowania modeli stoją przed koniecznością modernizacji swoich data center. Mamy w Polsce dużo przypadków konsolidacji data center, gdzie klienci zmniejszają zajętość miejsca i optymalizują zużycie energii.
Paweł Pilarczyk: Czyli jeśli mamy data center z 5 tysiącami serwerów i chcemy zwiększyć wydajność, ale nowe, szybsze serwery pobierają więcej energii, to przyłącze do budynku może nie wystarczyć. Ale można zmodernizować data center bez zmiany przyłącza, jeśli postawimy na energooszczędne serwery.
Adam Tomczak: W skali globalnej kończy się miejsce w serwerowniach i trzeba dokonywać konsolidacji. Można to robić, bo skok technologiczny i zwiększenie wydajności z płytki krzemu na wat energii rośnie z generacji na generację prawie wykładniczo. Wiele firm podejmuje te wysiłki, żeby obniżyć koszty. To jak z AI w przedsiębiorstwach: korzystamy z niego, żeby działać efektywniej, wyprzedzać konkurencję. Tak samo efektywności szuka się na poziomie hardware’u, żeby obniżyć koszty posiadania infrastruktury koniecznej do prowadzenia działalności.
Paweł Pilarczyk: Dlaczego warto przetwarzać dane lokalnie? Firmy chcą kontroli nad danymi, nie chcą ich udostępniać na zewnątrz. Ale jest też kwestia Edge AI: fabryka często potrzebuje odpowiedzi w ułamku sekundy i nie może wysyłać danych 500 czy 1000 km dalej.
Adam Tomczak: Każde przedsiębiorstwo musi dopasować rozwiązanie do swoich potrzeb. Dane to najważniejszy element całej układanki, to wartość intelektualna firm. Znam wiele przypadków repatriacji obciążeń obliczeniowych z chmury publicznej do on-prem. Często wygląda to tak: próg wejścia u hyperscalera jest początkowo najniższy, firma eksperymentuje, a gdy zauważy wartość i chce zasilić model wszystkimi swoimi danymi, decyduje się na lokalne wdrożenie. Ale znam też przypadki, gdzie elastyczność chmury jest lepsza, na przykład przy dużych pikach obciążenia. Najważniejsza zmiana: jeszcze kilka lat temu serwer do AI kosztował mnóstwo pieniędzy i nie wiedzieliśmy, co z tym zrobić. Dziś dzięki rosnącej mocy obliczeniowej nawet zwykłych komputerów i otwartemu oprogramowaniu można zacząć na własnym biurku, na mniejszym, ale wciąż wydajnym modelu. Można testować, bawić się, dopasować do własnej skali. AMD hołduje otwartym rozwiązaniom sprzętowym, ekosystemowym i software’owym, żeby każdy mógł nasz kod wziąć i dopasować do swoich potrzeb.
Paweł Pilarczyk: Każde rozwiązanie ma zalety i wady. W przypadku on-prem można precyzyjnie kontrolować koszty. W chmurze zdarza się, że przedsiębiorcy odpalają usługę i po miesiącu dostają rachunek, który ich zaskakuje.
Adam Tomczak: To, co mamy u siebie, mamy pod dużo większą kontrolą. Z drugiej strony wiąże się to z ryzykami, na przykład cyberbezpieczeństwa, bo takie zabezpieczenia jak u hyperscalerów to nie każde przedsiębiorstwo jest w stanie zapewnić. Wszystko ma swoje plusy i minusy.
Paweł Pilarczyk: Plus piki obciążenia. Jeśli aplikacja nagle potrzebuje 10 razy więcej mocy, nie dorzucimy tysiąca serwerów z sekundy na sekundę. Wtedy chmura jest lepsza.
Adam Tomczak: Trzeba rozumieć, co do czego jest potrzebne. Świat jest hybrydowy. Zdecydowana większość przedsiębiorstw ma miks środowisk. To, co opłaca się robić w chmurze publicznej, robi się w chmurze. To, co lepiej robić on-prem, robi się on-prem. Firmy świetnie sobie z tym radzą, optymalizując koszty i przerzucając workloady ze środowiska na środowisko.
Paweł Pilarczyk: Wróćmy do desktopów. Dzięki NPU możemy przenosić prostsze modele AI na komputer. Na przykład open source’ową Llamę z 8 miliardami parametrów można odpalić na przeciętnym komputerze i mieć model do pisania maili czy streszczania dokumentów działający w 100% lokalnie. Nowa seria Ryzen AI została zaprezentowana na CES-ie w tym roku. Co potencjalnie można odpalić na takim laptopie?
Adam Tomczak: Nie będę wymieniał konkretnych nazw, bo partnerów są setki. Dziś ponad 150 partnerów software’owych AMD dostosowuje swoje aplikacje, żeby jak najefektywniej wykorzystywać silniki obliczeniowe na komputerze. To nie jest jedna aplikacja. To funkcjonalności pojawiające się w znanych narzędziach. Świetny przykład: Microsoft 365 z Copilotem. Korzystając z Copilota można wskazać „korzystaj z webu” albo „korzystaj z zasobów lokalnych” i wtedy obliczenia trafiają na lokalny silnik. Inny przykład: producent oprogramowania antywirusowego, którego narzędzie podczas oglądania filmu wskazuje, które momenty są deepfake’iem, a które są prawdziwe. To działa dzięki NPU w procesorze. Nowych funkcjonalności będzie się pojawiać coraz więcej w aplikacjach, których już dziś używamy.
Paweł Pilarczyk: Skoro wspomniałeś o cyberbezpieczeństwie, to przypomniał mi się ciekawy przypadek, który może Cię zaskoczy. Byłem ostatnio na premierze nowego nośnika danych, takiego enterprise’owego, serwerowego. I ten nośnik w środku ma układ AMD Versal, który na bieżąco wykrywa zagrożenia typu ransomware sprzętowo, na poziomie samego dysku.
Adam Tomczak: To ciekawe i wpisuje się w szerszy trend. AI to nie tylko chatbot. Demokratyzuje się i wchodzi w miejsca, o których nie myślimy na co dzień. Samochody, linie produkcyjne, telekomunikacja, sprzęt IT. AMD w swoim biznesie embedded jest mocno obecne z procesorami wyspecjalizowanymi w obliczeniach AI: wspomaganie kierowcy, parkowanie, predictive maintenance, czyli przewidywanie awarii zanim nastąpią. Tego jest masa i pojawia się coraz więcej.
Paweł Pilarczyk: To chyba dobre podsumowanie naszej rozmowy. Gdy mówimy o AI, spontanicznie myślimy o chatbotach. Tymczasem zastosowania są dużo szersze: predictive maintenance, sprzętowe wykrywanie ransomware’u. Nowoczesna infrastruktura ma jednostki, które akcelerują przetwarzanie AI lokalnie. Nie musimy wysyłać danych do chmury. A jeśli lecę 10 godzin samolotem i chcę korzystać z chatbota na laptopie bez dostępu do internetu, to potrzebuję NPU, które nie tylko przetworzy moje zapytania, ale też nie rozładuje baterii.
Adam Tomczak: Tempo rozwoju tej technologii i jej adopcja sugerują, że AI jest już szeroko używany i będzie używany coraz szerzej. Wybierając sprzęt, czy to do serwerowni, czy na biurko, warto mieć na uwadze, że z każdym tygodniem pojawiają się nowe funkcjonalności. Pytanie: czy mój sprzęt będzie na to gotowy? Czy w tym samolocie będę mógł popracować i przejrzeć dokumenty efektywnie? Podejmując decyzję zakupową, warto rozważyć nie tylko dzisiejsze potrzeby, ale też to, jak długo ten sprzęt będzie nadawał się do efektywnej pracy.
