Cuando Language AI se encuentra con la propaganda, nadie está a salvo

Estás sentado en una cómoda silla junto al fuego, en una fría noche de invierno. Quizás tengas una taza de té en la mano, quizás algo más fuerte. Abres una revista en un artículo que tenías la intención de leer. El título sugería una historia sobre una nueva tecnología prometedora, pero también potencialmente peligrosa, a punto de convertirse en la corriente principal, y después de leer solo unas pocas oraciones, te encuentras atrapado en la historia. Se avecina una revolución en la inteligencia artificial, argumenta el autor, y necesitamos, como sociedad, mejorar en la anticipación de sus consecuencias. Pero luego sucede lo más extraño: te das cuenta de que el escritor, aparentemente deliberadamente, ha omitido la última palabra de la primera.

La palabra que falta salta a tu conciencia casi espontáneamente: ''la última palabra de la primera párrafo.'' No hay sentido de una consulta de búsqueda interna en su mente; la palabra ''párrafo'' simplemente aparece. Puede parecer una segunda naturaleza, este ejercicio de llenar espacios en blanco, pero hacerlo te hace pensar en las capas de conocimiento incrustadas detrás del pensamiento. Necesita un dominio de la ortografía y los patrones sintácticos del inglés; debe comprender no solo las definiciones de palabras del diccionario, sino también las formas en que se relacionan entre sí; debe estar lo suficientemente familiarizado con los altos estándares de publicación de revistas para asumir que la palabra que falta no es solo un error tipográfico, y que los editores generalmente detestan omitir palabras clave en las piezas publicadas a menos que el autor esté tratando de ser inteligente, tal vez tratando de use la palabra que falta para hacer un punto sobre a tu  astucia, cuán rápido un hablante humano de inglés puede conjurar la palabra correcta.

Antes de que pueda continuar con esa idea, regresa al artículo, donde descubre que el autor lo ha llevado a un complejo de edificios en los suburbios de Iowa. Dentro de uno de los edificios se encuentra una maravilla de la tecnología moderna: 285,000 XNUMX núcleos de CPU unidos en una supercomputadora gigante, alimentada por paneles solares y enfriada por ventiladores industriales. Las máquinas nunca duermen: cada segundo de cada día, realizan innumerables cálculos, utilizando técnicas de última generación en inteligencia artificial que reciben nombres como "descenso de gradiente estocástico" y "redes neuronales convolucionales". Se cree que todo el sistema es una de las supercomputadoras más poderosas del planeta.

¿Y qué está haciendo esta dínamo computacional con todos estos prodigiosos recursos? Principalmente, es jugar una especie de juego, una y otra vez, miles de millones de veces por segundo. Y el juego se llama: Adivina cuál es la palabra que falta.

El complejo de supercomputadoras en Iowa está ejecutando un programa creado por OpenAI, una organización establecida a fines de 2015 por un puñado de luminarias de Silicon Valley, incluido Elon Musk; Greg Brockman, quien hasta hace poco había sido director de tecnología del gigante de pagos electrónicos Stripe; y Sam Altman, en ese momento presidente de la incubadora de empresas emergentes Y Combinator. En sus primeros años, a medida que creaba su confianza en la programación, los logros técnicos de OpenAI se vieron eclipsados ​​​​en su mayoría por el poder de las estrellas de sus fundadores. Pero eso cambió en el verano de 2020, cuando OpenAI comenzó a ofrecer acceso limitado a un nuevo programa llamado Generative Pre-Trained Transformer 3, conocido coloquialmente como GPT-3. Aunque inicialmente la plataforma estaba disponible solo para un pequeño puñado de desarrolladores, los ejemplos de la asombrosa destreza de GPT-3 con el lenguaje, y al menos la ilusión de la cognición, comenzaron a circular a través de la web y las redes sociales. Siri y Alexa habían popularizado la experiencia de conversar con máquinas, pero esto estaba en el siguiente nivel, acercándose a una fluidez que se asemejaba a creaciones de ciencia ficción como HAL 9000 de “2001”: un programa de computadora que puede responder preguntas complejas abiertas en perfectas condiciones. oraciones compuestas.

Como campo, la IA actualmente está fragmentada entre una serie de enfoques diferentes, que se enfocan en diferentes tipos de problemas. Algunos sistemas están optimizados para problemas que involucran moverse a través del espacio físico, como en autos sin conductor o robótica; otros categorizan las fotos por usted, identificando rostros familiares o mascotas o actividades de vacaciones. Algunas formas de IA, como AlphaFold, un proyecto de DeepMind, subsidiaria de Alphabet (anteriormente Google), están comenzando a abordar problemas científicos complejos, como predecir la estructura de las proteínas, que es fundamental para el diseño y descubrimiento de fármacos. Muchos de estos experimentos comparten un enfoque subyacente conocido como "aprendizaje profundo", en el que una red neuronal vagamente modelada según la estructura del cerebro humano aprende a identificar patrones o resolver problemas a través de ciclos repetidos sin fin de prueba y error, fortaleciendo las conexiones neuronales. y debilitando a otros a través de un proceso conocido como entrenamiento. La "profundidad" del aprendizaje profundo se refiere a múltiples capas de neuronas artificiales en la red neuronal, capas que corresponden a niveles de abstracción cada vez más altos: en un modelo basado en la visión, por ejemplo, una capa de neuronas podría detectar líneas verticales , que luego alimentaría una capa que detectaría los bordes de las estructuras físicas, que luego informaría a una capa que identificaría casas en lugar de edificios de apartamentos.

GPT-3 pertenece a una categoría de aprendizaje profundo conocida como modelo de lenguaje grande, una red neuronal compleja que ha sido entrenada en un conjunto de datos titánico de texto: en el caso de GPT-3, aproximadamente 700 gigabytes de datos extraídos de toda la web, incluida Wikipedia, complementada con una gran colección de texto de libros digitalizados. GPT-3 es el más célebre de los grandes modelos de lenguaje y el más disponible públicamente, pero Google, Meta (anteriormente conocido como Facebook) y DeepMind han desarrollado sus propios LLM en los últimos años. Los avances en el poder computacional y las nuevas técnicas matemáticas han permitido que los LLM de la cosecha de GPT-3 ingieran conjuntos de datos mucho más grandes que sus predecesores y empleen capas mucho más profundas de neuronas artificiales para su entrenamiento.

Es probable que ya haya interactuado con un modelo de lenguaje grande si alguna vez ha usado una aplicación, como Gmail, que incluye una función de autocompletar, que le solicita suavemente la palabra "asistir" después de escribir la oración "Lamentablemente gané". 'no ser capaz de...'. Pero la función de autocompletar es solo la expresión más rudimentaria de lo que es capaz de hacer un software como GPT-3. Resulta que con suficientes datos de entrenamiento y redes neuronales lo suficientemente profundas, los modelos de lenguaje grandes pueden mostrar una habilidad notable si les pide no solo que completen la palabra que falta, sino también que continúen escribiendo párrafos completos en el estilo del mensaje inicial. Por ejemplo, cuando le di a GPT-3 el mensaje:

En 1958, Frank Rosenblatt presentó Perceptron, una versión temprana de una red neuronal que solo podía detectar la ubicación de un cuadrado en una tarjeta impresa. Cincuenta años después, las redes neuronales son capaces de. . .

El software cumplió obedientemente la idea y luego continuó, retomando el marco histórico del texto inicial:

. . . detectar y clasificar rostros, encontrar patrones en los datos y emular el cerebro humano. Si bien la red neuronal maduró en el mundo académico, también se abrió camino en la industria tecnológica. A fines de la década de 1980 y principios de la de 90, las redes neuronales se utilizaron en aplicaciones de reconocimiento de voz y reconocimiento de caracteres. El crecimiento de la potencia informática y la capacidad de recopilar conjuntos de datos más grandes permitieron que surgieran otras aplicaciones de redes neuronales.

Desde el lanzamiento de GPT-3, Internet ha estado inundado de ejemplos de la inquietante facilidad del software con el lenguaje, junto con sus puntos ciegos, debilidades y otras tendencias más siniestras. GPT-3 ha sido entrenado para escribir guiones de Hollywood y componer no ficción al estilo del clásico del nuevo periodismo de Gay Talese "Frank Sinatra Has a Cold". a través de mundos que son inventados sobre la marcha por la red neuronal. Otros han alimentado las indicaciones del software que generan respuestas evidentemente ofensivas o delirantes, mostrando las limitaciones del modelo y su potencial de daño si se adopta ampliamente en su estado actual.

Hasta ahora, los experimentos con grandes modelos de lenguaje han sido principalmente eso: experimentos que prueban el modelo en busca de signos de verdadera inteligencia, explorando sus usos creativos, exponiendo sus sesgos. Pero el potencial comercial final es enorme. Si la trayectoria existente continúa, un software como GPT-3 podría revolucionar la forma en que buscamos información en los próximos años. Hoy, si tiene una pregunta complicada sobre algo (por ejemplo, cómo configurar su sistema de cine en casa o cuáles son las opciones para crear un fondo de educación 529 para sus hijos), lo más probable es que escriba algunas palabras clave en Google y luego busque una lista de enlaces o videos sugeridos en YouTube, hojeando todo para llegar a la información exacta que busca. (No hace falta decir que ni siquiera pensaría en pedirle a Siri o Alexa que lo guíen a través de algo tan complejo). Pero si los verdaderos creyentes de GPT-3 tienen razón, en un futuro cercano simplemente le hará la pregunta a un LLM y obtenga la respuesta de vuelta a usted, de manera convincente y precisa. El servicio al cliente podría transformarse por completo: cualquier empresa con un producto que actualmente requiere un equipo humano de soporte técnico podría capacitar a un LLM para reemplazarlo.

Lea la historia completa aquí ...