AI-Modelle unter der Lupe: Europäische Anforderungen stellen Herausforderungen dar

Ein neuer Bericht zeigt, dass einige der führenden Modelle der Künstlichen Intelligenz (KI) Schwierigkeiten haben, den strengen europäischen Vorschriften, insbesondere in den Bereichen Cybersicherheit und nicht-diskriminierende Ergebnisse, gerecht zu werden. Diese offenen Baustellen bei den KI-Systemen sorgen für Handlungsbedarf, denn die EU plant umfassende Regulierungen für generative KI, was sich künftig besonders auf den Bereich der allgemeinen künstlichen Intelligenzen auswirken wird. Das Jungunternehmen LatticeFlow aus der Schweiz hat in Zusammenarbeit mit renommierten Forschern und unter Mitwirkung europäischer Funktionäre ein Bewertungsinstrument entwickelt, das KI-Modelle von Tech-Giganten wie Meta und OpenAI in verschiedenen Kategorien testet. Das Ergebnis: Mehrere Modelle erreichen zwar ein durchschnittliches Rating von 0,75 oder höher, doch identifizierte der "Large Language Model (LLM) Checker" von LatticeFlow auch Schwächen in wichtigen Bereichen. Bei Nicht-Einhaltung der Regulierungen drohen empfindliche Strafen in Millionenhöhe oder Anteile des Jahresumsatzes. So offenbarte die Überprüfung, dass diskriminierende Resultate ein stetiges Problem bei der Entwicklung generativer KI-Modelle darstellen. OpenAIs "GPT-3.5 Turbo" erzielte hier einen eher enttäuschenden Wert von 0,46, noch schlimmer schnitt das Modell "Qwen1.5 72B Chat" von Alibaba in derselben Kategorie ab. Zusätzlich wurden Sicherheitslücken wie "Prompt Hijacking" getestet, wobei Metas Modell "Llama 2 13B Chat" und Mistrals "8x7B Instruct" ebenfalls schwache Bewertungen erhielten. Als bestes Modell schnitt jedoch "Claude 3 Opus" von Anthropic mit einer beeindruckenden Bewertung von 0,89 ab. Petar Tsankov, CEO und Mitgründer von LatticeFlow, wies darauf hin, dass die insgesamt positiven Testergebnisse den Anbietern einen klaren Weg aufzeigen, ihre Modelle gesetzeskonform zu optimieren. Dies ist angesichts der noch nicht vollständig etablierten EU-Vorgaben von Bedeutung. Der LLM Checker steht Entwicklern zur freien Verfügung, um die Compliance ihrer Modelle online zu testen. Die Europäische Kommission begrüßt den Test als einen ersten Schritt, die neuen Gesetze in konkrete technische Anforderungen zu übersetzen, auch wenn sie keine externe Werkzeugvalidierung vornimmt.