Científicos usan IA para convertir pensamientos en imágenes, 80% de precisión

La inteligencia artificial puede crear imágenes basadas en indicaciones de texto, pero los científicos revelaron una galería de imágenes que la tecnología produce al leer la actividad cerebral.

El nuevo algoritmo impulsado por IA reconstruyó alrededor de 1,000 imágenes, incluido un oso de peluche y un avión, a partir de estos escáneres cerebrales con un 80 por ciento de precisión.

Investigadores de la Universidad de Osaka utilizaron el popular modelo Stable Diffusion, incluido en DALL-E 2 de OpenAI, que puede crear cualquier imagen basada en entradas de texto.

El equipo mostró a los participantes conjuntos individuales de imágenes y recolectó exploraciones de resonancia magnética funcional (fMRI), que el AI luego decodificado.

Mostramos que nuestro método puede reconstruir imágenes de alta resolución con alta fidelidad semántica de la actividad del cerebro humano', compartió el equipo en el estudio publicado en bioRxiv.

'A diferencia de estudios previos de reconstrucción de imágenes, nuestro método no requiere entrenamiento o ajuste de modelos complejos de aprendizaje profundo'.

El algoritmo extrae información de partes del cerebro involucradas en la percepción de imágenes, como los lóbulos occipital y temporal, según Yu Takagi, quien dirigió la investigación.

El equipo usó fMRI porque detecta cambios en el flujo sanguíneo en áreas activas del cerebro, ciencia.org informes.

FMRI puede detectar moléculas de oxígeno, por lo que los escáneres pueden ver en qué parte del cerebro nuestras neuronas (células nerviosas cerebrales) trabajan más (y extraen la mayor parte del oxígeno) mientras tenemos pensamientos o emociones.

En este estudio se utilizaron un total de cuatro participantes, cada uno viendo un conjunto de 10,000 imágenes.

La IA comienza a generar las imágenes como ruido similar a la estática de la televisión, que luego se reemplaza con características distinguibles que el algoritmo ve en la actividad al referirse a las imágenes en las que se entrenó y encontrar una coincidencia.

«Demostramos que nuestro marco simple puede reconstruir imágenes de alta resolución (512 x 512) de la actividad cerebral con alta fidelidad semántica», según el estudio.

«Interpretamos cuantitativamente cada componente de un LDM desde la perspectiva de la neurociencia asignando componentes específicos a distintas regiones del cerebro.

Presentamos una interpretación objetiva de cómo el proceso de conversión de texto a imagen implementado por un LDM [un modelo de difusión latente] incorpora la información semántica expresada por el texto condicional mientras que al mismo tiempo mantiene la apariencia de la imagen original.'

Lea la historia completa aquí ...