Kryzys dostępności danych: Strony internetowe znacznie ograniczają dostęp

Twórcy wydajnych systemów sztucznej inteligencji przez lata polegali na ogromnych ilościach tekstów, obrazów i filmów z internetu, aby trenować swoje modele. Obecnie jednak te źródła danych wysychają. Niedawno opublikowane badanie Data Provenance Initiative, prowadzone przez grupę badawczą z renomowanego M.I.T., wykazuje, że wiele kluczowych źródeł internetowych stosowanych do rozwoju modeli AI w ubiegłym roku znacznie ograniczyło dostęp do swoich danych. To obserwacja potwierdzona przez analizę 14 000 domen internetowych zawartych w trzech powszechnie używanych zestawach danych treningowych AI. Badanie wykazało pojawiający się „kryzys zgody”, gdyż wydawcy i platformy internetowe podejmują coraz więcej działań, aby zapobiec wykorzystywaniu ich danych. Naukowcy szacują, że w trzech zbiorach danych – C4, RefinedWeb i Dolma – ograniczenia dotyczą około 5 procent wszystkich danych i 25 procent danych z najbardziej wartościowych źródeł. Te ograniczenia są realizowane za pomocą Protokółu Wykluczenia Robotów, metody stosowanej od dziesięcioleci, dzięki której właściciele witryn mogą uniemożliwiać automatycznym botom przeszukiwanie swoich stron. Konkretnie odbywa się to za pomocą pliku robots.txt. Co więcej, aż 45 procent danych w zbiorze danych C4 zostało ograniczonych przez ogólne warunki handlowe stron internetowych. Shayne Longpre, główny autor badania, podkreśla w wywiadzie: „Obserwujemy gwałtowny spadek zgody na wykorzystanie danych w całym internecie. To będzie miało dalekosiężne konsekwencje nie tylko dla firm zajmujących się sztuczną inteligencją, ale także dla naukowców, badaczy i podmiotów niekomercyjnych.”