W studiu podcastu Destination AI Paweł Pilarczyk, redaktor naczelny serwisu IT Reseller, rozmawia z przedstawicielami czterech firm o tym, jak zmienia się sposób korzystania ze sztucznej inteligencji w biznesie. Goście: Monika Kałas (Microsoft), Krzysztof Ukleja (HP), Sebastian Antkiewicz (Dell), Paweł Chłud (Lenovo).
AI w chmurze kontra AI lokalnie
Paweł Pilarczyk:
Gdy w 2022 roku pojawił się ChatGPT i duże modele językowe, wszyscy byliśmy zachwyceni ich możliwościami. Szybko jednak przyszedł zimny prysznic. Okazało się, że w środowiskach korporacyjnych pracownicy wrzucają do modeli LLM poufne dane, sieci neuronowe uczą się na tych danych, a odpowiednio skonstruowany prompt może je wydobyć u postronnej osoby. To poważne zagrożenie bezpieczeństwa. Dzisiaj sytuacja jest już w dużym stopniu opanowana. Mamy nową generację komputerów, nowe systemy operacyjne i nowe narzędzia AI, które możemy uruchamiać lokalnie, bez dostępu do chmury i bez ryzyka trenowania sieci na naszych danych. O tym dzisiaj rozmawiamy.
Monika, zacznijmy od uporządkowania pojęć. Mamy ChatGPT, Copilota jako odpowiednik ChatGPT, Copilot+ PC, Copilota w Microsoft 365, GitHub Copilota. Czym to wszystko się różni?
Monika Kałas (Microsoft):
Copilot to nazwa asystenta, który ma pomagać w każdym aspekcie pracy z AI. Mamy AI w chmurze i tam mieści się większość naszych copilotów, między innymi Microsoft 365 Copilot. Powstało też narzędzie on-premise, czyli Copilot+ PC.
Największe zamieszanie na rynku dotyczy właśnie tych dwóch. Copilot+ PC to specyficzna konfiguracja sprzętu. Komputer musi mieć minimum 16 GB RAM, dysk SSD od 256 GB i procesor z jednostką NPU, czyli Neural Processing Unit. To wyznaczniki, które pozwalają nazywać komputer Copilot+ PC.
Microsoft 365 Copilot to z kolei dodatkowa licencja, którą trzeba dokupić do Microsoft 365 Business Standard, Premium albo planów E3, E5 w korporacjach. Często ludzie myślą, że mając Copilot+ PC, dostają też M365 Copilot. To dwa oddzielne rozwiązania, które się świetnie uzupełniają. Razem dają najlepsze doświadczenie on-premise i hybrydowe z chmurą. Copilot+ PC daje szansę, by działać lokalnie, bez chmury. Mamy też czaty windowsowe, które również nazywają się Copilot, ale to dodatkowa warstwa, czyli asystent w komputerze.
Skąd nowa wydajność: CPU, GPU i NPU
Paweł Pilarczyk:
Wcześniej rozwiązania AI działały tylko w chmurze, bo komputery nie miały wystarczającej mocy. Wspomniałaś o NPU, czyli o specjalnym koprocesorze AI wbudowanym w procesor. Kiedyś mieliśmy tylko CPU, potem doszły GPU, które dzięki tysiącom rdzeni świetnie sprawdzają się w równoległych operacjach AI. Teraz mamy jeszcze NPU. Dzięki temu możemy przenieść AI na nasz komputer. Czym dzisiejsze komputery Copilot+ PC różnią się od tych sprzed trzech lat?
Sebastian Antkiewicz (Dell):
Zanim AI trafił na urządzenia końcowe, musiały się pojawić dwie rzeczy. Po pierwsze rozwój hardware’u, po drugie rozwój software’u. Modele językowe, z którymi pracowaliśmy kilka lat temu, były ogromne. Dzisiaj setki miliardów parametrów to już nie jest duży model, są jeszcze większe. Takie modele uruchamiano wyłącznie w dużych centrach danych.
Okazało się jednak, że dzięki inżynierii wokół AI można je mocno kompresować. Mówimy o destylacji. Model z 12 miliardami parametrów potrafi być w określonym kontekście tak samo dobry jak ten ogromny. Nie każdy model musi mówić w 150 językach. Możemy ograniczyć go do dwóch i nadal spełni nasze oczekiwania.
Karty graficzne są bardzo wydajne, ale energochłonne. Na urządzeniu mobilnym trudno je wykorzystywać. Dlatego powstały NPU, czyli akceleratory AI wyspecjalizowane w obliczeniach typowych dla AI i efektywne energetycznie. Zagnieżdżenie NPU w procesorze okazało się strzałem w dziesiątkę. Jest on blisko CPU, pamięci podręcznej i GPU. Te układy mocno ze sobą współpracują.
Najnowsze komputery pracują z modelami o wielkości kilkunastu miliardów parametrów, zależnie od ilości pamięci, typu NPU i procesora. Komputer Copilot+ PC ma certyfikację oznaczającą, że wydajność NPU wynosi powyżej 40 TOPS. To zupełnie nowa klasa sprzętu. Jeszcze nie wiemy, jak ją w pełni wykorzystać, ale AI staje się nieodłącznym towarzyszem pracy.
Paweł Pilarczyk:
Istotne jest też to, że NPU nie pracuje samodzielnie. CPU, GPU i NPU wspólnie obsługują operacje AI. Do tego nie wrzucamy na laptopa modeli z 700 miliardami parametrów. Mamy modele domenowe albo małe modele językowe, czyli SLM, które uruchamiamy lokalnie i realizujemy rozwiązania biznesowe bez wysyłania danych do chmury.
Sebastian Antkiewicz:
Nie ograniczajmy dyskusji do notebooka. Urządzenie końcowe może mieć różne postaci. Na stacji graficznej z dedykowaną kartą GPU uruchomimy ChatGPT w wersji 3.5, od którego zaczęła się rewolucja. Ma 170 miliardów parametrów i działa bez problemu pod biurkiem. Mamy też urządzenia z układem GB10, wielkości pięć na piętnaście centymetrów. Stawiamy je na biurku i mamy własnego, prywatnego czata bez dostępu do internetu.
Monika Kałas:
Pięknem tej zmiany jest to, że nie każdy potrzebuje mocnego GPU. Wielu pracowników wystarczy NPU jako dodatkowy chip w procesorze. To rozwiązanie zużywa mniej energii i adresuje inny segment klientów. Na każde potrzeby jest inaczej skonstruowana oferta i można ją dobrać do potrzeb, czy chodzi o mały model, większy model, czy o połączenie on-premise z chmurą.
Krzysztof Ukleja (HP):
Świetne podsumowanie tej zmiany brzmi tak: przechodzimy od komputerów osobistych do asystentów osobistych. Komputer nie wykonuje już tylko poleceń, on pomaga robić robotę.
Co daje AI uruchamiany lokalnie
Paweł Pilarczyk:
Co konkretnie daje nam przeniesienie AI na lokalne urządzenie? Jakie są zalety i jakie ograniczenia?
Paweł Chłud (Lenovo):
Przez ostatnie trzy lata klienci mieli obawy dotyczące bezpieczeństwa rozwiązań AI. Przeniesienie tych działań na lokalne urządzenie eliminuje ryzyko, że modele będą uczyć się na danych, które do nich trafiają. Bezpieczeństwo wchodzi na pierwszy plan. To, co działa lokalnie, jest obarczone niższym ryzykiem albo żadnym.
Warto wspomnieć o Microsoft Pluton. Wcześniej nie był szeroko stosowany. Teraz staje się standardem i podnosi poziom zabezpieczeń, jeśli chodzi o szyfrowanie danych, przechowywanie danych biometrycznych i innych wrażliwych danych klientów.
Drugi aspekt to energooszczędność. NPU jest bardzo efektywny energetycznie. Dane producentów dotyczące czasu pracy na baterii kiedyś brałem z przymrużeniem oka. Dzisiaj te wskaźniki są realne. Laptopy potrafią przepracować pełny dzień roboczy z zapasem. Bezpieczeństwo, wydajność, mobilność, to wszystko daje nam praca lokalna.
Sebastian Antkiewicz:
Kwestia prądu ma mniejsze znaczenie. Większe znaczenie ma dostęp do internetu. Jeżeli drużyna ratunkowa siedzi w karetce, używa komputera do monitorowania stanu pacjenta i wspomaga decyzje lekarskie, to system nie może przestać działać po wjechaniu w tunel. Takie rozwiązanie musi być on-premise. Tych przykładów są setki i tysiące. Żołnierze, tłumaczenia w czasie rzeczywistym. Jak tłumaczyć w czasie rzeczywistym, jeśli dane muszą wędrować do chmury? Opóźnienia byłyby za duże.
Drugi argument to ekonomia. Data center jest świętym miejscem dla większości organizacji. Jest kosztowne w utrzymaniu i działają w nim procesy kluczowe dla firm. Nie ma uzasadnienia, by używać data center do przetwarzania czyjegoś kalendarza. Prywatny agent może to robić na komputerze.
Trzeba też pamiętać, że za korzystanie z chmurowych usług AI płaci się tokenami. Każde słowo może być podzielone na kilka tokenów, a polski ma jeszcze dodatkowe znaki, więc koszt rośnie. Zalet rozwiązania on-premise jest dużo. To nie znaczy, że chmura czy hybryda są złe. To inny przypadek użycia.
Paweł Pilarczyk:
Czyli mamy bezpieczeństwo, pracę bez dostępu do internetu i kontrolę kosztów. Korzystając z chmury, jesteśmy rozliczani per token. Czasem na koniec miesiąca przychodzi rachunek na 100 tysięcy dolarów, bo użytkownicy bawili się generowaniem obrazków. Pracując lokalnie, płacimy tylko za energię elektryczną, ewentualnie za chłodzenie, jeśli mówimy o serwerze.
Sebastian Antkiewicz:
Rozwiązania on-premise są zwykle bardzo wyspecjalizowane. To nie są agenci ogólnego zastosowania, których poprosimy o obrazek kotka na deskorolce i jednocześnie o tłumaczenie. To agenci wyspecjalizowani w konkretnych dziedzinach. Świetnie nadają się do tego, by przyspieszać pracę zespołu w konkretnym zadaniu.
Paweł Pilarczyk:
A jakie są wady AI on-premise?
Sebastian Antkiewicz:
Przede wszystkim skalowalność. Jeśli nie jesteśmy w stanie przewidzieć obciążenia i ono szybko się zmienia, łatwiej jest skalować to, co jest w chmurze. Druga sprawa to uniwersalność. Modele w chmurze są generalistyczne. Jeśli potrzebujemy obsługi wielu języków, japońskiego, suahili, polskiego, czeskiego i francuskiego, prościej dostarczy nam to chmura. Choć w przypadku wdrożeń on-premise bardzo szybko się to zmienia.
Funkcje standardowe w Copilot+ PC
Paweł Pilarczyk:
Co możemy zrobić na komputerach Copilot+ PC niezależnie od producenta, dzięki aplikacjom Microsoftu wbudowanym w certyfikację?
Monika Kałas:
Pierwsze są tłumaczenia na żywo. W Teamsie, podczas oglądania filmu po hiszpańsku na YouTubie, albo z lokalnych plików wideo. System sam przetłumaczy.
Dla biznesu bardzo pomocny jest Click to Do. Kiedyś trzeba było zrobić zdjęcie prezentacji, skopiować, przepisać. Dziś klikam Click to Do, zaznaczam fragment, wybieram „zrób podsumowanie” i mam wynik w trzy sekundy. Klikając na PDF, od razu wysyłam maila z jego treścią.
Kolejna ciekawa funkcja to Recall. Nie jest domyślnie włączona, użytkownik sam musi ją uruchomić i zdecydować, jaki zakres ma być skanowany. To system zrzutów ekranu zapamiętujących, co widzieliśmy na komputerze. Strony, których nie chcemy rejestrować, na przykład bankowe, można wyłączyć. To rodzaj pamiętnika. Mogę za rok wrócić do tej rozmowy i poprosić: „znajdź spotkanie, na którym były zielone zasłony, a po środku siedział Paweł w czarnej koszulce przy długim stole”. System znajdzie zdjęcia pasujące do opisu.
Paweł Pilarczyk:
Recall to świetna funkcja. Sam mam ją włączoną na komputerze Copilot+ PC opartym na Snapdragonie. Rozwiązuje problem, kiedy chcę wrócić do maila, ale nie pamiętam nazwiska osoby, tylko temat rozmowy. System znajduje go bez problemu.
Monika Kałas:
Żyjemy w czasach, w których wiele obrazów z „Black Mirror” wraca jak bumerang. To dopiero początek. Za rok takich funkcji będzie nie dziesięć, tylko trzydzieści, czterdzieści. Wiele osób pracuje nad usprawnieniem asystenta w komputerze.
Sebastian Antkiewicz:
Tych funkcji będzie tak dużo, że przestaną mieć osobne nazwy. Staną się transparentne. System operacyjny zrobi coś, czego chcieliśmy, a my nawet nie zauważymy, jak to się stało.
Rozwiązania producentów
Paweł Pilarczyk:
Pawle, opowiedz o Lenovo. Mieliście rozwiązanie AI Now, zostało zastąpione przez Kira.
Paweł Chłud:
Lenovo AI Now pojawiło się razem z pierwszymi komputerami Copilot+ PC. Łączyło trzy elementy. Pierwszy to lokalny asystent z bazą wiedzy, do której zaciągaliśmy pliki Office i odpytywaliśmy go o ceny, zapisy rozmów, zawartość skrzynki pocztowej. Drugi to PC Assistant, który pomagał użytkownikowi w obsłudze komputera. Wskazywał, gdzie zmienić ustawienia, jak dostosować tryby. Trzeci to chatbot ogólny, działający w chmurze, podobny do Copilota.
Na targach CES w tym roku zaprezentowaliśmy Lenovo Kira. To większy upgrade. Idziemy w stronę, w której komputer robi rzeczy za nas, a my nawet nie zauważamy. To rodzaj personalnej inteligencji badającej całe nasze środowisko pracy.
Kluczowe funkcje to Catch Me Up, kiedy wracamy z urlopu po dwóch tygodniach i mamy setki maili. System segreguje je na podstawie naszych zachowań i nawyków. Write For Me odpisuje stylem dopasowanym do tego, jak piszemy i prowadzimy webinary. Pay Attention to dostępność wszelkich działań na komputerze i przewidywanie kolejnych ruchów. To trochę straszne, bo zastępuje pewne myślenie, ale mądre wykorzystanie skraca codzienne zadania. Finalnie dostajemy cyfrowego bliźniaka, który wyręcza w czasochłonnych zadaniach.
Paweł Pilarczyk:
Krzysiek, a co ma HP?
Krzysztof Ukleja:
Mamy pracę domową do odrobienia. Wykorzystamy asystenta, który do tej pory nazywał się HP AI Assistant. Na niedawnym wydarzeniu HP Imagine pokazaliśmy go jako HP IQ. Chcemy, by spiął inne elementy naszego portfolio. Mamy nie tylko komputery, ale też drukarki, kamery, ekrany. Asystent ma pomagać w pracy z tymi urządzeniami.
Oprócz przetwarzania lokalnego i bezpieczeństwa wykorzystamy technologię Neuro-Sense. Pomoże ona w typowych problemach, czy słychać mnie, czy widać moje slajdy, czy dobrze się połączyłem z konferencją. Wystarczy jedno kliknięcie. Asystent ma pomagać też w obszarze Workplace, by miejsce pracy współpracowało ze mną w sposób inteligentny.
Paweł Pilarczyk:
Sebastian, Dell?
Sebastian Antkiewicz:
Myślimy o średnich i dużych organizacjach. Nie ma jednego rozwiązania AI odpowiedniego dla dwóch firm. Każde musi być dopasowane do potrzeb danej organizacji. Dlatego oferujemy szeroką platformę, którą roboczo nazywamy Dell AI Factory. Pracujemy z klientami nad danymi, bo są kluczowe. Jeżeli dane nie są dobre, wyniki AI też nie będą dobre.
Paweł Pilarczyk:
Trash in, trash out.
Sebastian Antkiewicz:
Dokładnie. Świadczymy też pełen consulting wokół projektów AI, dostarczamy infrastrukturę, urządzenia końcowe, serwery, storage. Dostarczamy oprogramowanie do wdrażania i administrowania AI oraz inżynierii wokół AI. Cały stos służy temu, by organizacja przeszła z nami całą drogę od planu, przez wdrożenie, po normalne użytkowanie.
Dlaczego warto wymienić komputer teraz
Paweł Pilarczyk:
Dlaczego warto teraz zrobić upgrade komputera?
Monika Kałas:
Zeszły rok był dużą wymianą sprzętu z Windows 10 na 11. Duże korporacje i średnie firmy zrobiły to szybciej, mniejszy biznes wolniej. Dzisiaj około 70-71,5 procent sprzętu na polskim rynku działa na Windows 11.
Wiele organizacji kupowało sprzęt w pandemii, cztery, pięć lat temu. Wtedy kupowano go pod inne potrzeby, często w pośpiechu. Następuje wielka technologiczna zmiana. Nie mówimy o roku AI, mówimy o dekadzie AI. Na miejscu decydentów zastanowiłabym się, czy sprzęt kupowany dziś spełni swoje funkcje za dwa, trzy lata. Bez NPU stanie się zwykłym pudełkiem, podczas gdy świat pędzi dalej.
Dzisiaj jest dobry moment, by inwestować w sprzęt spełniający te kryteria. Daje on bardziej wydajnych, lepiej dostosowanych do rynku pracowników. Inaczej rozmawiamy o lekarzu tłumaczącym rozmowę z pacjentem na 150 języków, inaczej o ubezpieczycielu robiącym analizę szkody bez dostępu do internetu, inaczej o specjalistach budowlanych. Wiele branż natychmiast tego potrzebuje. Deweloperzy pokazują, że istnieje mnóstwo aplikacji, które wymagają czterdziestotopsowego NPU.
Paweł Pilarczyk:
AI lokalnie daje zupełnie nowe możliwości, które ciężko jeszcze przewidzieć. Z modelami językowymi mówimy do komputera językiem naturalnym. Nie muszę wiedzieć, gdzie kliknąć w aplikacji. Opisuję, co ma się stać, i to się dzieje. Wrzucam obrazek, mówię „usuń tło, dodaj kapelusz”, i nie muszę uczyć się Photoshopa.
Mam w domu kilkanaście komputerów. Mój podstawowy to maszyna pięcioletnia, bez NPU. Wiele rozwiązań mi tam nie działa. Brakuje mi tego, bo używam też komputera Copilot+ PC na Snapdragonie i widzę, jak bardzo te funkcje przyspieszają pracę.
Monika Kałas:
Dzięki Windows 11 mamy dodatkowo Windows AI Foundry. Niedawno zmienił nazwę na Microsoft Foundry for Windows. To narzędzie dla deweloperów. Rozpoznaje, czy w urządzeniu jest tylko NPU, CPU, zintegrowane GPU, czy dedykowane GPU. Pomaga stworzyć aplikację lokalną i połączyć ją z dużym modelem w chmurze, jeśli na przykład potrzeba więcej języków. Otwiera ścieżkę deweloperom niezależnie od producenta.
Sebastian Antkiewicz:
Korzystanie z AI Foundry nie wymaga eksperckiej wiedzy. Wystarczy podstawowa znajomość informatyki i administracji systemami. Mamy też w Dellu podobne rozwiązanie w mniejszej skali, w stu procentach on-premise. Nazywa się Dell Pro AI Studio. To gotowy framework z prekonfigurowanymi elementami. Pobierasz, instalujesz, my prowadzimy proces i masz własnego agenta AI dopasowanego do twoich potrzeb.
Robiliśmy kampanię „AI na twoim biurku”. Pytaliśmy ludzi o ciekawe use case’y dla urządzenia Dell Pro Max GB10. Dostaliśmy ponad 640 zgłoszeń. Jakość była fenomenalna. Dziewięćdziesiąt procent nadawało się do wdrożenia od razu. Podam jeden przykład, wykrywanie dysleksji. W Polsce zdiagnozowano dysleksję u około 15 procent dzieci, ale testy przesiewowe pokazują, że poziom jest większy. Po prostu nie robi się odpowiednich badań. Można do nich wykorzystać AI. Problem w tym, że rozwiązania chmurowe nie rozumieją języka polskiego, składni i ortografii. Bierzemy lokalne urządzenie, na nim model z około 70 miliardami parametrów, i w gabinecie lekarskim wykrywamy dysleksję w czasie rzeczywistym.
Podsumowanie
Paweł Pilarczyk:
Możliwości lokalnego AI są ogromne. Część zastosowań wymaga dziś jeszcze mocniejszych urządzeń niż laptop, ale to wciąż on-premise. Wrażliwe dane lekarza zostają lokalnie. Z czasem destylacja pozwoli zmieścić dzisiejsze 70-miliardowe modele w 12-miliardowych modelach o tej samej jakości. Modele puchną już wolniej. Idą w stronę specjalizacji, w stronę agentów. Prawnik, naukowiec, matematyk, analityk biznesowy, każdy jako wyspecjalizowany SLM na moim komputerze.
Komputer z NPU, czyli Copilot+ PC z Windows 11 i Copilotem, daje możliwość uruchamiania tych rozwiązań lokalnie. Jednocześnie zachowujemy dostęp do chmury, kiedy potrzebujemy mocy obliczeniowej, której laptop nie udźwignie. Robimy to świadomie. Dane wrażliwe trzymamy lokalnie, mniej krytyczne mogą trafić do chmury. Microsoft w rozwiązaniach enterprise gwarantuje, że nie trenuje modeli na naszych danych, mimo że działają one w chmurze.
Najważniejszy przekaz: nowe możliwości AI są nieograniczone. Wiele zastosowań dopiero się pojawi i jeszcze nas zaskoczą. Praca z aplikacjami stanie się prostsza, próg wejścia dla pracowników niższy. Nie trzeba szkoleń ze szparowania w Photoshopie. Mówisz „wyszparuj zdjęcie” głosem i masz wynik. Aby praca była przyjemniejsza i bezpieczna, warto przejść na nowszy komputer.
