Eliezer Yudkowsky straszył zagładą od AGI. Jego lista słabnie

Pamiętacie listę 43 powodów, dla których ogólna sztuczna inteligencja (AGI) ma nas wszystkich wybić do nogi? Eliezer Yudkowsky opublikował ją w 2022 roku, fundując społeczności racjonalistów zbiorowy atak paniki. Mamy rok 2026 i ktoś w końcu postanowił sprawdzić te tezy na chłodno – okazuje się, że nie wszystko trzyma się kupy tak mocno, jak wieszczyli prorocy zagłady.

Co to „AGI Ruin: Lista śmiertelności”?

W 2022 roku Eliezer Yudkowsky, postać niemal kultowa w kręgach bezpieczeństwa AI, wypuścił na LessWrong manifest składający się z 43 punktów. Wyjaśniał w nich łopatologicznie, dlaczego budowa AGI musi skończyć się totalną anihilacją gatunku ludzkiego. To nie był bełkot z foliowego kapelusza – Yudkowsky wskazał konkretne mechanizmy, jak choćby to, że AGI błyskawicznie przeskoczy nas w tempie nauki (podając za przykład AlphaZero w Go) oraz że wiedza o algorytmach wycieknie do sieci, czyniąc proces nieodwracalnym. Dla wielu młodych pasjonatów technologii był to pierwszy tak brutalnie szczery zbiór argumentów za nieuchronnym końcem świata.

Zaledwie tydzień później do tablicy wywołany został Paul Christiano, inny gigant w dziedzinie wyrównania AI (alignment). Christiano przyjął połowę argumentów, ale resztę poddał w wątpliwość, co wywołało na LessWrong burzę, która nie cichła miesiącami. Od tamtego czasu, mimo gigantycznych skoków technologicznych między GPT-3 a modelami dostępnymi w 2026 roku, nikt nie pokusił się o rzetelną aktualizację tych obaw. Aż do teraz, gdy 43 punkty zagrożeń doczekały się nowej interpretacji.

To swoista ironia losu: tekst Yudkowskiego stał się fundamentem dla pesymistów, ale autor nowej analizy, ukrywający się pod nickiem lc, przyznaje wprost, że choć zgadza się z ogólnym kierunkiem myślenia Eliezera, to po czterech latach wiele z tych tez zwyczajnie zaśniedziało. Rzeczywistość okazała się nieco bardziej skomplikowana niż prosta ścieżka do przepaści.

Reevaluacja w 2026 – ogólne wrażenia autora

Lc, który nie jest zawodowym badaczem bezpieczeństwa, wrócił do lektury po przeanalizowaniu dziesiątek recenzji i publikacji naukowych z lat 2022–2026. Choć początkowo zamierzał bronić oryginalnych założeń Yudkowskiego, ostatecznie skończył z dość negatywnym wrażeniem dotyczącym perspektywy nestora racjonalistów. Okazuje się, że to, co działo się w branży od premiery GPT-3 do dzisiaj, znacznie lepiej wpisuje się w scenariusze kreślone przez Paula Christiano.

Największym problemem argumentacji Eliezera jest ich semantyczna mglistość. Autor operuje efektownymi, ale mało konkretnymi przymiotnikami typu „daleko poza dystrybucją treningową” czy „wystarczająco potężna inteligencja”. Bez twardych definicji, co dokładnie oznacza „niebezpieczny poziom”, cała konstrukcja zaczyna przypominać wróżenie z fusów. Lc odhaczył punkty, które są oczywiste, ale skupił się na tym, jak tezy te mają się do obecnych modeli, a nie tylko do mitycznych superinteligencji z przyszłości.

W 2026 roku, mając do dyspozycji takie narzędzia jak Claude czy GPT-4o, wizja natychmiastowej apokalipsy po prostu traci na wiarygodności. Czy to oznacza, że możemy spać spokojnie? Niekoniecznie, ale cztery lata rozwoju pokazały, że zamiast nagłego wybuchu, mamy do czynienia z procesem, który daje nam nieco więcej pola do manewru, niż zakładał Yudkowsky.

Sekcja A: Ustawienie problemu – zgody i spory

Pierwsza sekcja oryginalnego tekstu ustawia całą grę: AGI nie ma ludzkich ograniczeń, a starcie z nią to dla nas wyrok śmierci, więc musimy trafić z zabezpieczeniami za pierwszym razem. Lc przyznaje rację w punktach 1, 2 i 5 – AlphaZero udowodniło, że AI potrafi wypracować nadludzki poziom bez naszej pomocy, a słabe systemy nie uratują nas przed konkurencją, która zbuduje coś potężniejszego.

Przy punkcie 3 pojawia się jednak istotne zastrzeżenie: to, co byłoby zabójcze w 2010 roku, w 2030 może zostać zneutralizowane przez fakt, że wcześniejsze, częściowo bezpieczne modele zdążą się już upowszechnić. To trochę jak pojedynek na karabiny maszynowe w roku 1200 kontra rok 2000 – kontekst technologiczny zmienia wszystko. Z kolei punkt 6, mówiący o konieczności wykonania „przełomowego czynu” (np. fizycznego zniszczenia infrastruktury GPU), wydaje się zbyt filmowy. Christiano słusznie zauważa, że AI może pomagać w badaniach nad bezpieczeństwem lub wykrywaniu ryzyk bez robienia scen rodem z Hollywood.

Największa kość niezgody to punkt 4, gdzie Yudkowsky twierdził, że AGI nie da się zatrzymać, bo sprzęt jest wszędzie. Lc kontruje to, przywołując argumenty z książki Nate’a Soaresa i samego Yudkowskiego z 2026 roku – strach przed śmiercią potrafi zdziałać cuda w dyplomacji. Ponieważ wymagania sprzętowe dla najpotężniejszych modeli rosną wykładniczo, rządy są w stanie realnie zamrozić rozwój na ponad dwa lata, jeśli tylko poczują nóż na gardle.

Co zmienił postęp AI od 2022

Od czasów GPT-3 rynek sztucznej inteligencji przeszedł prawdziwą rewolucję. Modele takie jak GPT-4o czy Claude demonstrują niesamowite możliwości, ale nie widać w nich chęci natychmiastowej dominacji nad światem. Lc analizuje tezy Yudkowskiego przez pryzmat dzisiejszych systemów i wiele z nich po prostu nie przechodzi testu rzeczywistości. Przegląd najnowszych prac badawczych dotyczących wyrównania sugeruje, że to Paul Christiano miał rację w większości spornych kwestii.

Yudkowsky wychodził z założenia, że przy pierwszym uruchomieniu „niebezpiecznego” modelu mamy zerowy margines błędu. Dzisiaj widzimy jednak, że praca na słabszych modelach pozwala na iteracyjne poprawianie bezpieczeństwa, zanim dotrzemy do poziomu superinteligencji. Co ciekawe, sam Eliezer w swojej najnowszej książce przyznaje, że powstrzymanie rozwoju jest możliwe, co stoi w jawnej sprzeczności z jego wcześniejszymi, kategorycznymi twierdzeniami.

To nie często zdarza się, że publicyści wręczają dokument wyjaśniający ich przekonania – zauważa lc, doceniając wartość merytoryczną „AGI Ruin”, nawet jeśli czas obszedł się z tą listą dość brutalnie.

Poniższa tabela pokazuje, jak ewoluowało podejście do kluczowych zagrożeń w ciągu ostatnich czterech lat:

Porównanie kluczowych punktów sekcji A: Yudkowsky vs Christiano vs reevaluacja lc

Implikacje dla wyrównania AI dziś

Najnowsza reevaluacja sugeruje, że nie musimy czekać na jeden, magiczny moment ratujący ludzkość. Zamiast tego, sztuczna inteligencja może być wykorzystywana do przyspieszania badań nad własną interpretowalnością czy do edukowania polityków, którzy decydują o regulacjach. Oczywiście, fundament obaw Yudkowskiego pozostaje aktualny: przy budowie prawdziwego AGI nadal gramy o najwyższą stawkę i pierwszy błąd może być tym ostatnim.

Podsumowanie lc jest umiarkowanie pesymistyczne, ale pozbawione tej paraliżującej beznadziei, którą epatował Yudkowsky. Postęp technologiczny zdaje się premiować metodę małych kroków proponowaną przez Christiano. W 2026 roku, obserwując coraz potężniejsze modele, weryfikujemy te teorie w boju. Na ten moment wszystko wskazuje na to, że Paul Christiano bliżej prawdy niż prorocy nagłej zagłady.

Czy to oznacza, że Jensen Huang ogłaszający AGI miał rację, a my po prostu nauczyliśmy się z tym żyć? Być może kluczem nie jest unikanie technologii, ale mądre zarządzanie ryzykiem, które – jak się okazuje – nie zawsze musi prowadzić do scenariusza „wszyscy giniemy”.

Źródła:

LessWrong: Reevaluating AGI Ruin in 2026; AGI Ruin: A List of Lethalities; Paul Christiano response; web search results from LessWrong i Alignment Forum