Modele AI: między brakiem danych a szansami na innowacje

Generative modele sztucznej inteligencji, uważane za prawdziwe cuda nowoczesnej technologii, stoją przed znacznymi wyzwaniami z powodu zanieczyszczenia danych i groźby pogorszenia się własnej jakości. Te tak zwane "halucynacje" sztucznej inteligencji, podczas których generowane są fikcyjne wydarzenia historyczne, nieistniejące osoby i błędne teorie naukowe, rodzą pytania dotyczące niezawodności i przyszłości tych systemów, w które zainwestowano miliardy. Niedawno opublikowane w "Nature" badanie oświetla ryzyka zanieczyszczenia danych w procesie uczenia systemów AI i możliwego upadku modeli. Naukowcy odkryli, że obecne generacyjne modele AI coraz częściej korzystają z danych syntetycznych, które jednak mogą naruszać integralność zestawów danych treningowych. "Niedyskryminacyjne użycie treści generowanych przez modele prowadzi do nieodwracalnych defektów," ostrzega zespół badawczy kierowany przez Ilię Shumailova z Uniwersytetu Oksfordzkiego. Ta wrażliwość modeli przypomina mityczny obraz węża Ouroboros zjadającego własny ogon. W związku z tym rozwój generatywnej sztucznej inteligencji może się spowolnić, ponieważ wysokiej jakości dane stają się coraz rzadsze. Epoch AI prognozuje, że dostępne obecnie 300 bilionów tokenów tekstów generowanych przez człowieka może wyczerpać się do 2028 roku. Niemniej jednak może istnieć przewaga konkurencyjna dla wcześniejszych modeli, które były trenowane na nieskażonych danych. Mogłoby to zwiększyć wartość świeżych, prywatnie generowanych danych ludzkich i zwrócić uwagę wydawców. Teoretyczne zagrożenia związane z upadkiem modelu nie są nowe, ale selektywne wykorzystanie danych syntetycznych pozostaje wartościowe. Jednak naukowcy muszą inwestować znacznie więcej czasu i pieniędzy w oczyszczanie swoich zestawów danych. Pionierem w tej dziedzinie jest platforma Hugging Face, która rozwija wysoko kuratorowane zestawy treningowe i małe modele językowe w konkretnych dziedzinach, takich jak medycyna i nauka. Pomimo rosnących ograniczeń generatywnych modeli AI, rewolucja sztucznej inteligencji pozostaje na kursie. Możliwy jest teraz zwiększony nacisk na sąsiadujące dziedziny badań nad AI, które dotychczas były zaniedbywane. Postępy w ucieleśnionej AI, jak przy robotach i pojazdach autonomicznych, mogą przynieść nowe przełomy. Kognitywistka Alison Gopnik podkreśla, że robotyka, która nie jest ograniczona do informacji z Internetu, ale korzysta z danych ze świata rzeczywistego, może być kluczowa dla rozwoju prawdziwej inteligencji. Tak jak biologiczna inteligencja wyłoniła się dawno temu z praoceanu, nasze najnowsze modele generatywne AI mogą jeszcze wiele nauczyć się od prostych robaków i gąbek, które ponad pół miliarda lat temu uczyniły pierwsze kroki w kierunku inteligentnego życia.