Sztuczna inteligencja (AI) zdobywa coraz większe wpływy w świecie pracy.

Microsoft, Google a nawet konserwatywna sieć biznesowa LinkedIn wprowadzają na rynek produkty wspomagane przez AI. Ale jak właściwie rozpoznać różnicę między dobrym a złym AI?

Amerykańska firma Datadog ma rozwiązanie: Ich narzędzie do monitorowania KI o nazwie LLM Obs (LLM oznacza "Large Language Model") ma pomóc w ocenie i porównywaniu jakości modeli KI.

Handelsblatt odwiedziło siedzibę firmy Datadog w Nowym Jorku i informuje o firmie, która jest już wyceniana na prawie 30 miliardów dolarów. Firma została założona przez Olivera Pomela i Alexisa Lê-Quôca w 2010 roku.

Datadog oferuje swoim klientom tablice przeglądowe jako wirtualny przegląd wszystkich używanych usług chmurowych. Dzięki temu programiści mogą monitorować obciążenie serwerów, przepływ danych i ryzyka bezpieczeństwa. Teraz jednak firma zamierza pójść o krok dalej i monitorować także jakość modeli sztucznej inteligencji.

Narzędzie do monitorowania AI, LLM Obs, jest obecnie w fazie beta i jest testowane przez wybranych klientów biznesowych. Analizuje wydajność, jakość, koszty i inne parametry modeli AI, aby szybko wykrywać i rozwiązywać potencjalne problemy.

Jak firmy mogą efektywniej zarządzać czasem i zasobami. Szef produktu Datadog, Yrieix Garnier, podkreśla znaczenie kontroli kosztów w modelach AI. W świecie, w którym codziennie pojawiają się nowe modele AI, dla firm kluczowe jest wybieranie tych najskuteczniejszych i najbardziej efektywnych pod względem kosztów. Firma Datadog jest otwarta na współpracę i jeszcze nie ustaliła cen swojego programu.

Szef Datadog, Junaid Ahmed, porównuje potencjał swojego narzędzia do monitoringu AI z dużym sprzedawcą mebli. Ten ostatni mógłby na przykład zastosować różne modele AI na swojej stronie internetowej i porównać ich wydajność w różnych przypadkach użycia za pomocą LLM Obs. W ten sposób firmy mogłyby celowo wybierać odpowiednie modele dla swoich indywidualnych potrzeb.

Oferta SI od firm takich jak OpenAI, Anthropic, Cohere, Google i modeli open-source, to według Ahmeda dopiero początek. W przyszłości będzie istniało całe uniwersum różnych modeli SI, które być może się uzupełnią.

Aby utrzymać orientację w tym świecie, ważne jest wiedzenie, jak dobrze działają wykorzystywane modele. Dokładnie w tym miejscu narzędzie od Datadog wchodzi w grę i ma na celu pomóc firmom uzyskiwać bardziej sensowne odpowiedzi od ich SI.

Projekt jest jeszcze na początku, ale Datadog widzi duży potencjał w monitoringu AI. W najlepszym przypadku programy takie jak LLM Obs mogą przyczynić się do tego, że AI będzie można wykorzystać jeszcze skuteczniej i efektywniej. W przyszłości monitoring AI może nawet stać się ważnym obszarem biznesu dla firm takich jak Datadog.