El viaje de aprendizaje de GenAI con los clientes

Esta es la tercera historia de la serie "Nuestro viaje GenAI".

Una de las verdades tácitas sobre la IA generativa (GenAI) es que todo el mundo está aprendiendo sobre la marcha. Quizá sea porque el ritmo de la innovación es tan rápido que la curva de aprendizaje sigue subiendo como la espuma.

Consideremos incluso los avances más recientes, como los planes de Microsoft de integrar Chat GTP-4 Turbo en Copilots para gestionar "tareas complejas y de mayor duración"; el lanzamiento por parte de Google del conjunto de modelos Gemini Ultra, Pro y Nano, compatibles con todo tipo de dispositivos, desde hardware de gama alta hasta teléfonos móviles; e incluso la publicación por parte de Apple en GitHub de su marco de matriz ML-Explore (MLX) para el aprendizaje automático diseñado para el silicio de Apple.

El ritmo puede parecer vertiginoso a veces. En Hitachi Digital Services, junto con nuestra empresa matriz, Hitachi Ltd., llevamos décadas trabajando en IA e incluso nosotros estamos aprendiendo cosas nuevas sobre las capacidades, oportunidades y riesgos potenciales de la GenAI cada día.

De hecho, si alguien de un proveedor de la nube, fabricante de sistemas, desarrollador de software, etc., le dice que lo tiene todo resuelto, sea cauto. La tecnología avanza tan rápido que muy pocos tienen todas las respuestas en un día determinado. En cambio, si te escuchan y se comprometen a trabajar contigo, a asociarse contigo, para resolver tus problemas y alcanzar tus objetivos con la ayuda de GenAI, merece la pena tenerlos en cuenta.

Estoy íntimamente familiarizado con este espacio y con el desarrollo de GenAI e IA. En mi puesto de Director de Tecnología de Hitachi Digital Services, trabajo directamente con grandes clientes globales para ayudarles a superar retos y alcanzar objetivos empresariales a través de soluciones digitales. Cada vez más, y no es de extrañar - como mis colegas han afirmado en las dos historias anteriores - la llegada de GenAI y AI plantean algunas de las oportunidades más dramáticas para las empresas, así como algunos riesgos significativos. Es fundamental comprometerse con la tecnología, pero de la manera más reflexiva posible.

En mi trabajo, nos gusta diseñar soluciones y, siempre que sea posible, empezar a modelar ciertos aspectos de las mismas para reutilizarlos rápidamente en otros retos comparables de otros clientes. Pero GenAI ha cambiado esta filosofía en gran medida, principalmente porque este tipo de soluciones están orientadas a cargas de trabajo específicas, para clientes específicos en industrias específicas con parámetros ultra específicos. En otras palabras, muy pocas de estas soluciones tipo "copo de nieve" pueden empaquetarse y reutilizarse.

Un patrón, sin embargo, que ha surgido con la rápida adopción de GenAI está en los niveles de comprensión del cliente. He reconocido a los entendidos, a los menos entendidos y a las organizaciones poco entendidas pero ansiosas.

Curiosamente, a menudo lo que separa estas tres categorías no es el reto o la elección, sino la gravedad o la escala.

Tomar las decisiones críticas

Por ejemplo, cada organización debe comprender desde el principio las opciones básicas que le esperan con GenAI.

¿Qué motor debo utilizar? ¿Me conviene más trabajar in situ que en la nube? (Y, si me voy a la nube, ¿corro el riesgo de convertirme en rehén del proveedor de la nube?).

A continuación, el debate se centra en los aspectos prácticos de la IA y en el tipo de modelo de lenguaje de gran tamaño (LLM) que debe emplearse. Los modelos más pequeños, como los modelos LLaMA 2, se entrenan con entre 7.000 y 70.000 millones de parámetros y son adecuados para su ejecución in situ o en la nube, mientras que los modelos GPT-3 y GPT-4 de OpenAI se entrenan con entre 175.000 y 1 billón de parámetros, y suelen utilizarse mejor con la potencia de cálculo que ofrece la nube.

Como señalé en un artículo reciente, algunos de los aspectos que hay que tener en cuenta a la hora de determinar si un LLM local y una huella en las instalaciones pueden ser más beneficiosos que aprovechar la nube pública incluyen, entre otros, la frecuencia y los datos de formación.

Por ejemplo, como mi colega de Hitachi Vantara, Bharti Patel, escribió recientemente, su trabajo de GenAI en la empresa les llevó a construir su propio sistema en las instalaciones para apoyar su trabajo con LLaMA 2. Entre las razones para ello, dijo, estaba un mayor control de los datos y la gestión del LLaMA. Entre las razones para el cambio, dijo, estaba un mayor control de los datos y la gestión del LLM.

El punto de vista del cliente

Éstas son sólo algunas de las diversas cuestiones y decisiones con las que me encuentro a diario. Por ejemplo, como he mencionado anteriormente, la seguridad, la privacidad de los datos y las cuestiones relacionadas con la parcialidad de los modelos son cada vez más importantes. Un banco global con el que trabajamos quería eliminar el riesgo de que sus robots GenAI produjeran respuestas/resultados o respondieran a consultas con lenguaje poco parlamentario u ofensivo.

Nos pusimos manos a la obra y aplicamos varias tecnologías punteras directamente desde la ingeniería de instrucciones, que es el proceso de escribir instrucciones de texto en lenguaje natural para los modelos de GenAI, a la IA responsable (es decir, análisis de toxicidad, controles de alucinaciones, etc.). En concreto, aplicamos la generación aumentada por recuperación (RAG), una técnica de IA que combina información de conjuntos de datos externos permitiendo a los modelos de IA recuperar información relevante de una fuente de conocimiento e incorporarla junto con el texto generado.

Trabajando con estas tecnologías y herramientas, construimos un programa, llamado AI Compass, que mide un modelo de IA a través de diferentes parámetros como sentimiento, toxicidad, posibles fugas, rechazos, etc. Esto es extremadamente crítico a medida que las empresas pasan de pruebas de concepto a casos de uso de GenAI en producción.

Y era más que apropiado para el banco, porque necesitaba algo más que un análisis de toxicidad: necesitaba asegurarse de que todas las sedes cumplían las normas y eran coherentes en sus respuestas en las múltiples dimensiones antes mencionadas.

Oportunidades de fabricación

A veces, los clientes creen que necesitan una herramienta o tecnología, cuando después de la evaluación, otro enfoque es mucho más eficaz. En otro caso de GenAI, un fabricante líder de productos residenciales para el hogar quería aprovechar la tecnología para ayudar a la empresa a automatizar mejor su complicadísimo sistema de precios. Para los no iniciados, muchos productos de remodelación tienen dependencias cuando se trata de precios. Desde el tamaño personalizado hasta los innumerables tipos de materiales disponibles, desde la regionalidad hasta la estacionalidad, cada pieza propuesta conlleva una serie de retos que superar antes de recomendar un precio justo. Lo que la empresa ansiaba era una forma de automatizar este proceso. Y la verdad era que tenían muchos datos que aprovechar, muchos datos históricos, pero necesitaban una forma de generar respuestas rápidamente para cerrar más ventas.

Tras analizar el reto con la empresa, todos nos dimos cuenta de que no se trataba simplemente de un caso de uso de Gen AI. Más bien, era una gran oportunidad para el aprendizaje automático más tradicional y la automatización prescriptiva que luego podría envolverse con GenAI para un consumo más fácil por parte de los clientes. Por lo tanto, nos hemos embarcado en un viaje con la empresa, con mi grupo en Hitachi Digital Services trabajando junto con científicos de datos e ingenieros de Hitachi America Limited para alcanzar y ejecutar.

Si algo nos ha enseñado nuestro trabajo en IA y GenAI es que estamos todos juntos en esto, con nuestros clientes y socios, y dentro de nuestros propios grupos. Todos juntos estamos aprendiendo rápido y avanzando. Nuestro Presidente Ejecutivo, Gajen Kandiah, lo dijo mejor en un post no hace mucho cuando animó a los lectores a no tardar en comprometerse con GenAI. Empiecen proyectos, experimenten, pero háganlo con cautelas, reflexivamente.

Relacionado

-Nuestros primeros pasos en GenAI

-Presentamos nuestro viaje GenAI

-Un enfoque generativo de la IA