Oto, co faktycznie dzieje się w sieci neuronowej LLM

W przypadku większości programów komputerowych — nawet tych złożonych — można szczegółowo sprawdzić wykorzystanie kodu i pamięci. Dlaczego Program ten generuje określone zachowanie lub wynik. Zasadniczo nie jest to prawdą w dziedzinie sztucznej inteligencji, gdzie na przykład niewytłumaczalne sieci neuronowe leżące u podstaw tych modeli utrudniają nawet ekspertom dokładne określenie, dlaczego często mylą informacje.

Teraz, Nowe badania z antropologii Claude oferuje nowe spojrzenie na to, co dzieje się w „czarnej skrzynce” LLM. firmy Nowy papier „Wydobywanie interpretowalnych cech z sonetu Clad 3” opisuje nową, potężną metodę częściowego wyjaśnienia, w jaki sposób miliony sztucznych neuronów modelu uruchamiają się, aby uzyskać zaskakująco realistyczne odpowiedzi na często zadawane pytania.

Otwieranie maski

Analizując LLM, łatwo jest sprawdzić, które konkretne sztuczne neurony są aktywowane w odpowiedzi na konkretne zapytanie. Ale LLM nie przechowują po prostu różnych słów i koncepcji w pojedynczym neuronie. Zamiast tego, jak wyjaśniają antropolodzy, „każde pojęcie jest reprezentowane przez wiele neuronów, a każdy neuron uczestniczy w reprezentowaniu wielu pojęć”.

System pozwalający uporządkować bałagan typu „jeden do wielu” i „wiele do jednego”. Rozproszone autoenkodery i można go używać do wykonywania skomplikowanych obliczeń matematycznych Algorytm „uczenia się słownika”. wzdłuż modelu. Procedura ta wskazuje, które grupy neuronów są najbardziej konsekwentnie aktywowane w przypadku określonych słów pojawiających się w różnych bodźcach tekstowych.

Te wielowymiarowe wzorce neuronowe nazywane są następnie „cechami” związanymi z określonymi słowami lub pojęciami. Funkcje te obejmują wszystko, od prostych rzeczowników formalnych, takich jak Most złotej bramy W przypadku bardziej zwięzłych pojęć, takich jak Błędy programistyczne Lub funkcja dodawania Reprezentowanie tej samej koncepcji w kodzie komputerowym oraz w wielu językach i sposobach komunikacji (np. Tekst i obrazy).

A Przegląd antropologiczny z października 2023 r Wykazano, że ten podstawowy proces działa w przypadku bardzo małych, jednowarstwowych modeli zabawek. Nowe papierowe mierniki firmy udoskonalono, aby zidentyfikować dziesiątki tysięcy aktywnych funkcji w średniej wielkości modelu Clad 3.0 Sonata. Powstała mapa obiektów – możesz Studium obszarowe„Tworzy przybliżoną mapę pojęciową [Claude’s] Naukowcy piszą, że poziomy wewnętrzne są „w połowie obliczeń” i „odzwierciedlają głębokość, zakres i abstrakcję zaawansowanych możliwości Sonneta”. Jednocześnie badacze ostrzegają, że jest to „niepełny opis wewnętrznych reprezentacji modelu”. „Może być „o rząd wielkości” mniejszy niż pełne mapowanie kladu 3. .

Nawet na poziomie powierzchni przeglądanie tej mapy funkcji pomaga pokazać, jak pewne kluczowe słowa, wyrażenia i koncepcje łączą się z przybliżoną wiedzą. A Funkcja o nazwie „Stolice”, Na przykład słowa „stolica” zwykle mają wysoką skuteczność, ale wymienia się także nazwy konkretnych miast, takich jak Ryga, Berlin, Azerbejdżan, Islamabad i Montpelier w stanie Vermont.

W badaniu obliczono także matematyczną miarę „odległości” w oparciu o podobieństwo neuronowe różnych cech. W wyniku tego procesu powstają „sąsiedztwa cech”, które „często są zorganizowane w geometrycznie powiązane skupiska, które łączy wspólna relacja semantyczna” – piszą badacze, dodając, że „wewnętrzna organizacja pojęć w modelu sztucznej inteligencji przynajmniej w pewnym stopniu przypomina naszego ludzkiego .koncepcje podobieństwa.” Na przykład film o moście Golden Gate jest stosunkowo „intymny” i obejmuje elementy opisujące „wyspę Alcatraz, plac Girardelli, Golden State Warriors, gubernatora Kalifornii Gavina Newsoma, trzęsienie ziemi w 1906 r. i film Alfreda Hitchcocka, którego akcja rozgrywa się w San Francisco”. Zawrót głowy.”

Identyfikacja konkretnych cech LLM może pomóc naukowcom w mapowaniu łańcucha wnioskowania wykorzystywanego przez model do odpowiadania na złożone pytania. Na przykład ogłoszenie o „Stolicy stanu, w którym Kobe Bryant grał w koszykówkę” pokazuje aktywność w szeregu funkcji związanych z „Kobe Bryantem”, „Los Angeles Lakers”, „Kalifornią”, „Capitals” i „Sacramento”. ”, żeby wymienić tylko kilka, które mają mieć większy wpływ na wyniki.