Hace un año, Databricks adquirió MosaicML por $1.3 mil millones. Ahora, rebautizado como Mosaic AI, la plataforma se ha vuelto integral para las soluciones de IA de Databricks. Hoy, en la Cumbre de Datos + IA de la compañía, se están lanzando una serie de nuevas funciones para el servicio. Antes de los anuncios, hablé con los cofundadores y CEO de Databricks, Ali Ghodsi, y CTO Matei Zaharia.
Databricks está lanzando cinco nuevas herramientas de Mosaic AI en su conferencia: Marco del Agente de Mosaic AI, Evaluación del Agente de Mosaic AI, Catálogo de Herramientas de Mosaic AI, Entrenamiento del Modelo de Mosaic AI y Puerta de Enlace de Mosaic AI.
"Ha sido un año increíble, con enormes avances en la IA general. Todo el mundo está emocionado al respecto", me dijo Ghodsi. "Pero las cosas que a todos les importan siguen siendo las mismas tres cosas: ¿cómo hacemos que la calidad o confiabilidad de estos modelos mejore? En segundo lugar, ¿cómo nos aseguramos de que sea eficiente en costos? Y hay una gran variación en costos entre los modelos aquí, una diferencia gigantesca de órdenes de magnitud en precio. Y tercero, ¿cómo hacemos eso de una manera que mantengamos la privacidad de nuestros datos?"
Los lanzamientos de hoy tienen como objetivo cubrir la mayoría de estas preocupaciones de los clientes de Databricks.
Zaharia también señaló que las empresas que están implementando ahora grandes modelos de lenguaje (LLMs) en producción están utilizando sistemas que tienen múltiples componentes. Eso a menudo significa que hacen múltiples llamadas a un modelo (o tal vez a múltiples modelos, también) y utilizan una variedad de herramientas externas para acceder a bases de datos o hacer generación aumentada de recuperación (RAG). Estos sistemas compuestos aceleran las aplicaciones basadas en LLM, ahorran dinero utilizando modelos más baratos para consultas específicas o almacenando en caché resultados y, quizás lo más importante, hacen que los resultados sean más confiables y relevantes al aumentar los modelos básicos con datos propietarios.
"Creemos que ese es el futuro de las aplicaciones de IA realmente impactantes y críticas", explicó. "Porque si lo piensas, si estás haciendo algo realmente crítico, querrás que los ingenieros puedan controlar todos los aspectos de ello, y lo haces con un sistema modular. Así que estamos desarrollando mucha investigación básica sobre cuál es la mejor manera de crear estos sistemas para una tarea específica, para que los desarrolladores puedan trabajar fácilmente con ellos y conectar todas las partes, rastrear todo y ver lo que está sucediendo."
En cuanto a la construcción real de estos sistemas, Databricks está lanzando dos servicios esta semana: el Marco del Agente de AI de Mosaic y el Catálogo de Herramientas de AI de Mosaic. El Marco del Agente de IA toma la funcionalidad de búsqueda de vectores sin servidor de la compañía, que se lanzó recientemente de forma general y proporciona a los desarrolladores las herramientas para construir sus propias aplicaciones basadas en RAG encima de eso.
