La start-up fribourgeoise Black Forest Labs (BFL), autrefois saluée comme une étoile montante dans le domaine de l'IA, fait actuellement l'objet de vives critiques. Son générateur d'images Flux.1 a récemment fait les gros titres pour des raisons négatives. En particulier, le partenariat avec la société d'IA d'Elon Musk, xAI, et les images choquantes diffusées sur les plateformes de médias sociaux ont suscité l'indignation.

Les laboratoires Black Forest s'étaient rapidement fait un nom dans la communauté de l'IA grâce au développement du générateur d'images Flux.1. L'outil était présenté comme plus puissant et précis que ses concurrents Dall-E 3 et Midjourney v.6. En collaboration avec xAI d'Elon Musk, Flux.1 devait étendre les capacités du modèle Grok sur la plateforme X (anciennement Twitter).

Mercredi, des images créées par Flux.1 ont circulé et ont fait sensation dans le monde entier. Les représentations allaient d'un Donald Trump posant avec des armes à des scènes extrêmement perturbantes avec des personnages animés. Contrairement à d'autres générateurs d'images par IA, Grok, combiné avec Flux.1, semblait avoir peu de restrictions dans la création de tels contenus.

Ces événements soulèvent désormais des questions sérieuses. Comment cela a-t-il pu arriver? Les précautions de sécurité nécessaires ont-elles été négligées? L'outil, initialement considéré comme leader en matière de précision et de créativité, pourrait être critiqué en raison de l'absence de filtres essentiels. Des experts comme Björn Ommer, professeur de vision par ordinateur à l’université Ludwig-Maximilians de Munich, soupçonnent que la haute qualité de Flux.1 pourrait être due à l'absence de tels filtres.

Les fondateurs de Black Forest Labs ne sont pas des inconnus dans le secteur. Auparavant, ils ont tous travaillé pour la start-up londonienne Stability.AI, connue pour son générateur d'images Stable Diffusion. Après leur départ, ils ont fondé BFL et développé Flux.1, qui est fortement inspiré du modèle Stable Diffusion 3.

En plus du débat technique, les discussions juridiques et réglementaires s'intensifient. La Commission européenne et les autorités britanniques pourraient lancer des enquêtes en raison de violations potentielles des lois numériques et de sécurité. La situation est particulièrement sensible en raison du lien avec Elon Musk, connu pour ses opinions et actions controversées.

Ni Musk ni Black Forest Labs ne se sont encore officiellement prononcés sur les incidents. Cependant, sur les réseaux sociaux, les appels à une réglementation plus stricte se font de plus en plus entendre pour prévenir de tels incidents à l'avenir. La question demeure de savoir si BFL pourra surmonter la crise actuelle et quelles seront les répercussions sur le développement futur de l'entreprise.