OpenAI poszukuje nowego sposobu walki z „halucynacjami” AI

Firma ogłosiła w środę, że OpenAI podejmuje walkę z „halucynacjami” AI, wprowadzając nowszą metodę szkolenia modeli AI.

Badanie odbywa się w czasie, gdy dezinformacja z systemów sztucznej inteligencji jest dyskutowana bardziej niż kiedykolwiek, w okresie boomu generatywnej sztucznej inteligencji oraz w okresie poprzedzającym wybory prezydenckie w USA w 2024 r. OpenAI przyspieszyło boom generatywnej sztucznej inteligencji w zeszłym roku, udostępniając ChatGPT , swojego chatbota opartego na GPT-3 i GPT-4, i przekroczył 100 milionów użytkowników miesięcznie w ciągu dwóch miesięcy, podobno ustanawiając rekord najszybciej rozwijającej się aplikacji. Spotykać się z kimś, Microsoftu zainwestował ponad 13 miliardów dolarów w OpenAI, a wartość startupu osiągnęła około 29 miliardów dolarów.

Halucynacje AI pojawiają się, gdy modele takie jak ChatGPT OpenAI lub GoogleBardowie wprost fabrykują informacje i zachowują się tak, jakby rozpowszechniali fakty. Na przykład we własnym lutowym filmie promocyjnym Google dla Barda chatbot robi to samo nieprawdziwe twierdzenie przez Kosmiczny Teleskop Jamesa Webba. Niedawno ChatGPT powołał się na „fałszywe” przypadki w pozwie złożonym w sądzie federalnym w Nowym Jorku, a zaangażowani w to nowojorscy prawnicy mogą zostać ukarani.

„Nawet najnowocześniejsze modele mają tendencję do tworzenia nieprawdy – mają tendencję do zmyślania faktów w chwilach niepewności” – piszą w raporcie badacze OpenAI. „Te halucynacje są szczególnie problematyczne w obszarach wymagających wielopoziomowego rozumowania, ponieważ pojedynczy błąd logiczny wystarczy, aby wykoleić znacznie większe rozwiązanie”.

Potencjalna nowa strategia OpenAI w walce z wynalazczością: trenuj modele AI, aby nagradzać każdy prawidłowy krok myślowy po dotarciu do odpowiedzi, zamiast nagradzać tylko poprawny końcowy wniosek. Podejście to nazywane jest „monitorowaniem procesu” w przeciwieństwie do „monitorowania wyników” i może prowadzić do bardziej zrozumiałej sztucznej inteligencji, twierdzą naukowcy, ponieważ strategia zachęca modele do podążania za bardziej ludzkim łańcuchem „myśli”.

„Wykrywanie i łagodzenie błędów logicznych lub halucynacji w modelu jest kluczowym krokiem w budowaniu dostrojonego AGI [or artificial general intelligence]Karl Cobbe, badacz Mathgen w OpenAI, powiedział CNBC, zauważając, że chociaż OpenAI nie wynalazł podejścia do monitorowania procesów, firma pomaga je napędzać. „Motywacją stojącą za tymi badaniami jest zajęcie się halucynacjami, aby modele były w stanie lepiej rozwiązywać trudne problemy rozumowania”.

Cobbe powiedział, że OpenAI wydał towarzyszący zestaw danych zawierający 800 000 tagów ludzkich, których użył do szkolenia modelu wspomnianego w artykule badawczym.

Ben Winters, starszy doradca w Electronic Privacy Information Center i lider projektu AI i praw człowieka, wyraził sceptycyzm, mówiąc CNBC, że byłby zainteresowany obejrzeniem pełnego zestawu danych i powiązanych przykładów.

„Po prostu nie sądzę, aby samo to znacznie złagodziło obawy dotyczące dezinformacji i fałszywych wyników… kiedy faktycznie są używane na wolności” – powiedział Winters. Dodał: „Zdecydowanie ważne jest, czy planują wdrożyć to, co odkryli podczas swoich badań tutaj”. [into their products]a jeśli nie, rodzi to całkiem poważne pytania dotyczące tego, co chcą udostępnić publicznie”.

Ponieważ nie jest jasne, czy artykuł OpenAI był recenzowany, czy recenzowany w innym formacie, Suresh Venkatasubramanian, dyrektor Center for Technology Stewardship na Brown University, powiedział CNBC, że postrzega badanie jako bardziej wstępną obserwację niż cokolwiek innego. .

„To musi zostać rozwiązane w społeczności naukowej, zanim będziemy mogli powiedzieć coś na pewno” – powiedział Venkatasubramanian. „W tym świecie wyniki są bardzo regularne, a ze względu na ogólną niestabilność działania dużych modeli językowych to, co może działać w jednym środowisku, modelu i kontekście, może działać w innym środowisku, modelu i kontekście”.

Venkatasubramanian dodał: „Niektóre z halucynacji, którymi ludzie się martwią, są [models] Tworzenie cytatów i odnośników. W tym artykule nie ma dowodów na to, że to zadziała… Nie mówię, że to nie zadziała; Twierdzę, że ten artykuł nie dostarcza takich dowodów”.

OpenAI nie odpowiedziało na prośbę o komentarz z pytaniem, czy badanie zostało w jakikolwiek sposób zweryfikowane z zewnątrz lub kiedy, jeśli w ogóle, firma planuje wdrożyć nową strategię w ChatGPT i innych swoich produktach.

„Zdecydowanie miło jest widzieć, jak firmy próbują majstrować przy projektowaniu swoich systemów, aby zmniejszyć liczbę tego typu błędów. Myślę, że kluczem jest interpretacja tego jako badań korporacyjnych, biorąc pod uwagę wiele barier dla głębszej formy odpowiedzialności” – powiedziała CNBC Sarah Myers West, dyrektor wykonawcza AI Now Institute.

Zachód dodał: „[OpenAI is] Wraz z tym dokumentem udostępniamy niewielki zestaw danych pochodzących od ludzi, ale nie udostępniamy podstawowych szczegółów dotyczących danych używanych do trenowania i testowania GPT-4. Tak więc nadal istnieje ogromny poziom nieprzejrzystości, który stanowi wyzwanie dla wszelkich znaczących wysiłków na rzecz odpowiedzialności w dziedzinie sztucznej inteligencji, mimo że systemy te mają już bezpośredni wpływ na ludzi”.