Nvidia añade nuevas capacidades de visión, habla y lenguaje a ChatRTX, un chatbot gratuito y local para PC con tarjetas gráficas Nvidia RTX

Nvidia ha ampliado las capacidades de Chat for RTX (ChatRTX) añadiendo soporte para grandes modelos de lenguaje (LLM) adicionales, así como soporte de visión y voz en la última versión. El chatbot gratuito y local no necesita enviar datos en línea mientras trabaja con la información del usuario, manteniendo así la privacidad de los chats.

Los distintos LLM se ajustan a diferentes propósitos: chats generales, trabajos científicos, redacción de ensayos, etc. Algunos LLM también tienen un entrenamiento estricto para censurar la salida, por lo que esto hace que ciertos LLM sean más útiles que otros. Los modelos TensorRT-LLM disponibles anteriormente incluían el modelo Mistral por defecto, así como Llama 2. Nvidia ha abierto ChatRTX a algunos nuevos, Gemma y ChatGLM3.

Gemma es un LLM desarrollado por Google DeepMind lanzado en 2024 como modelos de dos y siete mil millones de parámetros. Los modelos están muy afinados para filtrar el habla sensible, la información personal y las respuestas arriesgadas o peligrosas.

ChatGLM3 es un LLM desarrollado por Zhipu AI y Tsinghua KEG lanzado en 2023 como modelo de seis mil millones de parámetros. El modelo bilingüe chino-inglés fue diseñado para ser un fuerte competidor de código abierto del ChatGPT de OpenAI.

Nvidia ha añadido CLIP de OpenAI de OpenAI a ChatRTX para reconocer automáticamente las imágenes y asociar el texto relacionado. Por ejemplo, si CLIP recibe una imagen de un presentador de televisión, cámaras de emisión y luces en una habitación, etiquetará la imagen como una foto de un estudio de televisión. Esto permite a ChatRTX trabajar con imágenes sin necesidad de etiquetar manualmente el contenido. El sistema de reconocimiento de voz Whisper de OpenAI también se ha añadido a ChatRTX, lo que permite a los usuarios pronunciar indicaciones a ChatRTX.

Los lectores que deseen probar un chatbot local pueden descargar Nvidia ChatRTX aquí siempre que cumplan los siguientes requisitos del sistema. El chatbot local funciona en PC que dispongan de una tarjeta gráfica Nvidia GeForce RTX serie 30 o 40. Las tarjetas gráficas basadas en Ampere y Ada con al menos 8 GB de VRAM también son compatibles. Los que no tengan una tarjeta compatible pueden comprar una Nvidia rápida en Amazon. Otros requisitos del sistema son Windows 11, 16 GB de RAM, un mínimo de 35 GB de espacio de almacenamiento libre y la versión 535.11 o posterior del controlador.