Inteligência Artificial (IA) está cada vez mais presente no mundo do trabalho.

Microsoft, Google e até a conservadora rede de negócios LinkedIn estão lançando produtos assistidos por IA. Mas como se distingue a diferença entre uma boa e uma má IA?

A empresa americana Datadog tem uma solução para isso: Sua ferramenta de monitoramento de IA chamada LLM Obs (LLM significa "Large Language Model") deve ajudar a avaliar e comparar a qualidade dos modelos de IA.

O Handelsblatt visitou a sede da Datadog em Nova York e relata sobre uma empresa que já é avaliada em quase 30 bilhões de dólares. A empresa foi fundada por Oliver Pomel e Alexis Lê-Quôc em 2010.

Datadog oferece aos seus clientes painéis de controle como uma visão virtual de todos os serviços de nuvem em operação. Assim, os programadores podem manter as cargas de servidor, fluxos de dados e riscos de segurança sob controle. No entanto, agora a empresa quer ir um passo além e também monitorar a qualidade dos modelos de IA.

A ferramenta de monitoramento de IA, LLM Obs, está atualmente ainda na fase beta e está sendo testada por clientes corporativos selecionados. Ele analisa o desempenho, qualidade, custos e outras métricas de modelos de IA para identificar e resolver problemas rapidamente.

Assim, as empresas podem lidar de maneira mais eficiente com o tempo e os recursos. Yrieix Garnier, chefe de produto da Datadog, enfatiza a importância do controle de custos em modelos de IA. Em um mundo onde novos modelos de IA chegam ao mercado diariamente, é crucial para as empresas escolher os modelos mais eficientes e econômicos. A empresa Datadog está aberta a cooperações e ainda não definiu os preços para o seu programa.

Datadog-Chef Junaid Ahmed compara o potencial de sua ferramenta de monitoramento de IA com uma grande loja de móveis. Esta poderia, por exemplo, usar diferentes modelos de IA em seu site e comparar seu desempenho em diferentes casos de uso com LLM Obs. Assim, as empresas poderiam selecionar os modelos adequados para suas necessidades individuais.

A oferta de IA de empresas como OpenAI, Anthropic, Cohere, Google e modelos de código aberto é apenas o começo, de acordo com Ahmed. No futuro, haverá um universo inteiro de diferentes modelos de IA que podem se complementar.

Para manter uma visão geral neste mundo, é importante saber o quão bem os modelos implantados estão funcionando. É exatamente aqui que a ferramenta da Datadog entra em ação e visa ajudar as empresas a obter respostas mais significativas de suas IA's.

O projeto ainda está nos primeiros passos, mas a Datadog vê um grande potencial na monitorização de IA. Idealmente, programas como o LLM Obs podem ajudar a tornar o uso de IAs ainda mais efetivo e eficiente. No futuro, a monitorização de IAs pode até se tornar um importante campo de negócios para empresas como a Datadog.