Искусственный интеллект (ИИ) все больше внедряется в трудовую сферу.

Microsoft, Google и даже консервативная бизнес-сеть LinkedIn запускают продукты с поддержкой ИИ. Но как на самом деле определить разницу между хорошим и плохим ИИ?

Американская компания Datadog предлагает решение: их инструмент для искусственного интеллекта под названием LLM Obs (LLM означает "Large Language Model") призван помочь оценивать и сравнивать качество моделей ИИ.

Издание Handelsblatt посетило штаб-квартиру компании Datadog в Нью-Йорке и доложило о компании, оцененной почти в 30 миллиардов долларов. Компания была основана Оливером Помелом и Алексис Ле-Квоком в 2010 году.

Datadog предлагает своим клиентам панели инструментов в виде виртуального обзора всех используемых облачных услуг. Это позволяет программистам отслеживать загрузку сервера, поток данных и риски безопасности. Однако теперь компания хочет сделать шаг вперед и также следить за качеством моделей ИИ.

Инструмент мониторинга ИИ LLM Obs в настоящее время находится на стадии бета-тестирования и испытывается выбранными корпоративными клиентами. Он анализирует производительность, качество, стоимость и другие показатели моделей ИИ для быстрого обнаружения и устранения возможных проблем.

Так компании могут более эффективно управлять временем и ресурсами. Главный продуктовый директор Datadog, Ирейкс Гарнье, подчеркивает важность контроля затрат на ИИ-модели. В мире, где каждый день на рынок выходят новые модели ИИ, для компаний критично важно выбирать лучшие и наиболее стоимостные модели. Компания Datadog открыта для сотрудничества и еще не установила цены на свою программу.

Глава Datadog Junaid Ahmed сравнивает потенциал своего инструмента мониторинга ИИ с крупным мебельным дилером. Тот, например, мог бы использовать разные модели ИИ на своем веб-сайте и сравнивать их производительность в различных сценариях использования с помощью LLM Obs. Таким образом, компании могли бы целенаправленно выбирать подходящие модели для своих индивидуальных потребностей.

Предложения в области ИИ от компаний, таких как OpenAI, Anthropic, Cohere, Google и Open-Source-модели, согласно Ахмеду, это только начало. В будущем появится целая вселенная различных моделей ИИ, которые, возможно, будут дополнять друг друга.

Чтобы сохранить контроль над ситуацией в этом мире, важно знать, насколько хорошо работают используемые модели. Именно здесь начинает свою работу инструмент от Datadog, который должен помочь компаниям получать более осмысленные ответы от их искусственного интеллекта.

Проект все еще находится на начальной стадии, но Datadog видит большой потенциал в мониторинге ИИ. В лучшем случае программы типа LLM Obs могут способствовать более эффективному и экономичному использованию ИИ. В будущем мониторинг ИИ может даже стать важной сферой бизнеса для компаний, таких как Datadog.