La emoción por los modelos de lenguaje grande (LLMs) ha superado sus capacidades reales. Antes de lanzarte a producir a gran escala, es importante responder a estas cinco preguntas clave.
1. ¿Será un LLM mejor o al menos igual que las respuestas humanas?
Uno de los mayores retos de los chatbots de servicio al cliente es que a menudo no responden preguntas que no estén en la página principal del sitio web.
Aunque hablar con una persona que solo lee un guion y no está empoderada para ayudar, también resulta frustrante.
Cualquier implementación de un LLM debe probar si sus respuestas son al menos iguales o mejores que las que reemplaza, ya sea de un chatbot o de un ser humano.
2. ¿Cuál es la exposición a la responsabilidad legal?
En un entorno donde la litigiosidad es alta, cualquier nuevo proceso o tecnología debe ser evaluado en cuanto a su potencial exposición legal.
Aunque áreas como la medicina, la ley o las finanzas presentan riesgos evidentes, ¿Qué pasa con una respuesta generada por un LLM que dirige a las personas hacia una política o consejo potencialmente engañoso o no permitido?
Los problemas de políticas o gestión de empresas han causado demandas colectivas debido a respuestas humanas incorrectas.
Un LLM mal entrenado o mal restringido podría generar respuestas erróneas para una gran cantidad de usuarios y crear una responsabilidad no intencionada.
3. ¿Es realmente más barato?
Aunque es fácil medir la suscripción y el uso de un LLM general como ChatGPT, los sistemas personalizados más específicos pueden tener costos más altos, más allá de solo la potencia de computación.
¿Qué pasa con el personal y la infraestructura necesaria para mantener y depurar el sistema? Podrías contratar a varios empleados de servicio al cliente por el precio de un experto en IA.
Además, servicios como ChatGPT parecen estar subsidiados por inversiones en este momento.
Es posible que en algún momento, quieran obtener ganancias, lo que incrementaría tus costos. ¿Realmente es más barato y permanecerá así a lo largo de la vida útil de tu sistema?
4. ¿Cómo lo mantendrás?
La mayoría de los sistemas de LLM se entrenan de manera personalizada con conjuntos de datos específicos. Un inconveniente de las redes neuronales en las que se basan los LLMs es que son notoriamente difíciles de depurar.
A medida que esta tecnología avanza, es probable que un modelo eventualmente pueda actualizar o “desaprender” algo que ha aprendido, pero por ahora esto puede ser bastante difícil.
¿Cuál es tu proceso para actualizar regularmente el LLM, especialmente si da una respuesta incorrecta?
5. ¿Cuál es tu proceso de pruebas?
Una de las ventajas clave de un LLM es que no es necesario anticipar todas las posibles variaciones de una pregunta para que brinde una respuesta creíble.
Aunque “creíble” no significa “correcta”. Al menos, las preguntas más comunes y sus distintas variaciones deberían ser probadas.
Si tu LLM está reemplazando a un ser humano o a un proceso automatizado existente, las preguntas que las personas hacen hoy son un excelente punto de partida para las pruebas.
Conclusión
Hay un viejo proverbio que dice algo como “despacio que tengo prisa”. No todo será una buena opción para los LLMs y existe una gran evidencia de que el entusiasmo ha superado las capacidades de la tecnología.
Al medir la calidad, la economía y establecer procedimientos adecuados de mantenimiento y pruebas, los LLMs pueden ser una herramienta valiosa en muchos casos de uso.