Términos vídeo ChatGPT

• Token: es la unidad mínima de información en procesamiento de lenguaje natural. Puede ser una palabra, una parte de palabra (subpalabra) o incluso un carácter.
• Sampling: es el proceso de seleccionar elementos de manera aleatoria (o semialeatoria) según una distribución de probabilidad. En generación de texto, se usa para elegir la siguiente palabra o token.
• Problemas de memoria (entrenamiento en secuencia): son las dificultades que enfrentan los modelos secuenciales para recordar información de entradas pasadas cuando las secuencias son largas, lo que puede afectar su desempeño.
• Long Short-Term Memory (LSTM): es el tipo de red neuronal recurrente diseñada para recordar información durante largos períodos y superar los problemas de memoria de las redes tradicionales.
• Transformers: es la arquitectura de redes neuronales que usa mecanismos de atención para procesar secuencias completas de datos en paralelo, en lugar de paso a paso como las redes recurrentes.
• Paralelizar: se trata de dividir una tarea grande en varias subtareas que se pueden ejecutar simultáneamente, acelerando el procesamiento.
• BERT (Bidirectional Encoder Representations from Transformers): es el modelo de lenguaje desarrollado por Google que entiende el contexto de las palabras en ambos sentidos (izquierda y derecha) usando la arquitectura Transformer.
• GitHub Copilot: es el asistente de programación basado en IA (de GitHub y OpenAI) que sugiere automáticamente fragmentos de código mientras el usuario escribe.
• GPT-3: es el modelo de lenguaje desarrollado por OpenAI, capaz de generar texto natural, responder preguntas, traducir, programar, entre muchas otras tareas, basado en su entrenamiento masivo.
• RLHF (Reinforcement Learning from Human Feedback): es el método de mejora de modelos de IA donde se usa retroalimentación humana para ajustar comportamientos a través de técnicas de aprendizaje por refuerzo.
• Bing: es el motor de búsqueda desarrollado por Microsoft, que actualmente integra capacidades de inteligencia artificial conversacional a través de modelos similares a ChatGPT.
• Bard: es el asistente conversacional desarrollado por Google, basado inicialmente en LaMDA y evolucionado hacia la familia de modelos Gemini, diseñado para responder preguntas y asistir en tareas de lenguaje.