Komputery analogowe, które szybko rozwiązują kluczny rodzaj równania używanego do szkolenia modeli sztucznej inteligencji, mogą stanowić potencjalne rozwiązanie rosnącego zużycia energii w centrach danych spowodowanego boomem sztucznej inteligencji.
Laptopy, smartfony i inne znane urządzenia są nazywane komputerami cyfrowymi, ponieważ przechowują i przetwarzają dane jako serię cyfrowych cyfr, czyli 0 lub 1, i mogą być programowane do rozwiązywania różnorodnych problemów. W przeciwieństwie do nich, komputery analogowe są zwykle zaprojektowane do rozwiązywania jednego konkretnego problemu. Przechowują i przetwarzają dane za pomocą wielkości, które mogą ciągle się zmieniać, takich jak opór elektryczny, a nie dyskretne 0 i 1.
Komputery analogowe mogą osiągać wysoką prędkość i efektywność energetyczną, ale dotychczas brakowało im precyzji ich cyfrowych odpowiedników. Teraz Zhong Sun z Uniwersytetu Pekińskiego w Chinach i jego koledzy stworzyli parę układów analogowych, które współpracują, aby dokładnie rozwiązywać równania macierzowe – fundamentalną część przesyłania danych w sieciach telekomunikacyjnych, prowadzenia dużych symulacji naukowych lub szkolenia modeli AI.
Pierwszy układ generuje rozwiązanie o niskiej precyzji dla obliczeń macierzowych bardzo szybko, podczas gdy drugi uruchamia algorytm iteracyjnej poprawy, analizując współczynniki błędów pierwszego układu i poprawiając precyzję. Sun twierdzi, że pierwszy układ generuje wyniki z błędem około 1 procent, ale po trzech cyklach drugiego układu spada to do 0,0000001 procent – co według niego odpowiada precyzji standardowych obliczeń cyfrowych.
Do tej pory badacze zbudowali układy zdolne do rozwiązywania macierzy o rozmiarze 16 na 16 lub z 256 zmiennymi, co może mieć zastosowanie do niektórych małych problemów. Ale Sun przyznaje, że zmierzenie się z pytaniami używanymi w dzisiejszych dużych modelach AI wymagałoby o wiele większych obwodów, być może miliona na milion.
Jedną z zalet układów analogowych nad cyfrowymi jest to, że większe macierze nie wymagają dłuższego czasu na rozwiązanie, podczas gdy układy cyfrowe zmagają się eksponencjalnie zwiększającym się rozmiarem macierzy. Oznacza to, że przepustowość – ilość danych przetwarzanych na sekundę – układu o wielkości 32 na 32 macierzy pokonałaby tę GPU Nvidia H100, jedną z zaawansowanych układów używanych do szkolenia AI dzisiaj.
Teoretycznie, dalsze skalowanie mogłoby doprowadzić do uzyskania przepustowości o 1000 razy większej niż w przypadku układów cyfrowych, tj. GPU, zużywając przy tym 100 razy mniej energii – mówi Sun. Ale zaznacza jednocześnie, że zadania praktyczne mogą wykraczać poza wyjątkowe możliwości ich obwodów, co może prowadzić do mniejszych zysków.
„To tylko porównanie prędkości, a w praktyce problem może być inny” – mówi Sun. „Nasz układ może wykonywać tylko obliczenia macierzowe. Jeśli obliczenia macierzowe stanowią większość zadania obliczeniowego, to naprawdę jest to bardzo istotne przyspieszenie dla problemu, jeśli nie, będzie to ograniczone przyśpieszenie.”
Sun mówi, że z tego powodu najbardziej prawdopodobnym rezultatem jest stworzenie hybrydowych układów, gdzie GPU ma w sobie pewne obwody analogowe, które zajmują się bardzo konkretnymi częściami problemów – ale nawet to jest raczej kilka lat w przyszłość.
James Millen z King’s College London mówi, że obliczenia macierzowe są kluczowym procesem przy szkoleniu modeli AI i że obliczenia analogowe mogą dostarczyć potencjalnego wsparcia.
„Współczesny świat opiera się na komputerach cyfrowych. Te niezwykłe maszyny są uniwersalnymi komputerami, co oznacza, że można je użyć do obliczenia absolutnie wszystkiego, ale nie wszystko można obliczyć efektywnie ani szybko” – mówi Millen. „Komputery analogowe są dostosowane do określonych zadań, i w ten sposób mogą być niezwykle szybkie i efektywne. Ta praca wykorzystuje układ komputerowy analogowy do przyspieszenia procesu zwrotnego obliczenia macierzowego, co jest kluczowym procesem przy szkoleniu pewnych modeli AI. Zrobienie tego bardziej efektywnie mogłoby pomóc zmniejszyć ogromne zapotrzebowanie na energię naszej coraz bardziej zależnej od AI rzeczywistości.”
