¿Problema de canibalización del contenido de IA, Threads un líder de pérdidas para los datos de IA? – Revista Cointelegraph

ChatGPT come caníbales

Las búsquedas de “ChatGPT” en Google han descendido un 40% desde su punto álgido en abril, mientras que el tráfico en el sitio web de ChatGPT de OpenAI se ha reducido casi un 10% en el último mes.

Era de esperar, pero los usuarios de GPT-4 también informan de que el modelo parece considerablemente más tonto (pero más rápido) que antes.

Una teoría es que OpenAI lo ha dividido en múltiples modelos más pequeños entrenados en áreas específicas que pueden actuar en tándem, pero no al mismo nivel.

Pero una posibilidad más intrigante puede también estar jugando un papel: El canibalismo de la IA.

La web está inundada de textos e imágenes generados por IA, y estos datos sintéticos se utilizan para entrenar a las IA, lo que provoca un bucle de retroalimentación negativa. Cuantos más datos de IA ingiere un modelo, peor es la coherencia y la calidad del resultado. Es un poco como lo que ocurre cuando se hace una fotocopia de una fotocopia, y la imagen empeora progresivamente.

Aunque los datos de entrenamiento oficiales de GPT-4 terminan en septiembre de 2021, está claro que sabe mucho más que eso, y OpenAI cerró recientemente su navegación web plugin.

Un nuevo artículo de científicos de las universidades de Rice y Stanford propone un simpático acrónimo para este problema: Modelo de trastorno de la autofagia o MAD.

“Nuestra principal conclusión en todos los escenarios es que sin suficientes datos reales frescos en cada generación de un bucle autófago, los futuros modelos generativos están condenados a que su calidad (precisión) o diversidad (recall) disminuyan progresivamente”, señalaron.

Esencialmente, los modelos empiezan a perder los datos más singulares pero menos representados, y endurecen sus resultados en datos menos variados, en un proceso continuo. La buena noticia es que esto significa que las IAs ahora tienen una razón para mantener a los humanos en el bucle si podemos encontrar una manera de identificar y priorizar el contenido humano para los modelos. Ese es uno de los planes del jefe de OpenAI, Sam Altman, con su proyecto de blockchain de escaneo ocular, Worldcoin.

¿Es Threads una pérdida para entrenar modelos de IA?

Threads, el clon de Twitter, es un movimiento un tanto extraño por parte de Mark Zuckerberg, ya que canibaliza a los usuarios de Instagram. La plataforma de intercambio de fotos gana hasta 50.000 millones de dólares al año, pero Threads le reporta alrededor de una décima parte de esa cifra, incluso en el caso poco realista de que le arrebatara el 100% de la cuota de mercado a Twitter. Alex Valaitis, de Big Brain Daily, predice que se cerrará o se reincorporará a Instagram en un plazo de 12 meses, y argumenta que la verdadera razón por la que se lanzó ahora “fue para tener más contenido basado en texto con el que entrenar los modelos de IA de Meta”.

ChatGPT se entrenó con enormes volúmenes de datos de Twitter, pero Elon Musk ha tomado varias medidas impopulares para evitar que eso ocurra en el futuro (cobro por el acceso a la API, limitación de tarifas, etc).

Zuck tiene forma en este sentido, ya que el software de IA de reconocimiento de imágenes SEER de Meta fue entrenado en un mil millones fotos publicadas en Instagram. Los usuarios lo aceptaron en la política de privacidad, y más de uno ha señalado la aplicación Threads recopila datos sobre todo lo posible, desde datos sanitarios hasta creencias religiosas y raza. Esos datos se utilizarán inevitablemente para entrenar modelos de IA como LLaMA (Large Language Model Meta AI) de Facebook.
Musk, por su parte, acaba de lanzar un competidor de OpenAI llamado xAI que minará los datos de Twitter para su propio LLM.

Los chatbots religiosos son fundamentalistas

¿Quién iba a imaginar que entrenar a las IA en textos religiosos y hablar con la voz de Dios resultaría ser una idea terrible? En la India, los chatbots hindúes que se hacen pasar por Krishna han aconsejado sistemáticamente a los usuarios que matar gente está bien si es tu dharma, o deber.

En los últimos meses han aparecido al menos cinco chatbots entrenados en el Bhagavad Gita, una escritura de 700 versos, pero el gobierno indio no tiene planes para regular la tecnología, a pesar de las preocupaciones éticas.

“Se trata de comunicación e información erróneas basadas en textos religiosos”. dijo Lubna Yusuf, abogada afincada en Bombay y coautora del AI Book. “Un texto da mucho valor filosófico a lo que intenta decir, ¿y qué hace un bot? Te da una respuesta literal y ése es el peligro”.

Los catastrofistas de la IA contra los optimistas de la IA

El teórico de la toma de decisiones Eliezer Yudkowsky, el mayor fatalista de la IA del mundo, ha publicado una charla TED en la que advierte de que la IA superinteligente nos matará a todos. No está seguro de cómo ni por qué, porque cree que una IAG será tanto más inteligente que nosotros que ni siquiera entenderemos cómo y por qué nos está matando, como un campesino medieval intentando comprender el funcionamiento de un aparato de aire acondicionado. Podría matarnos como efecto secundario de perseguir algún otro objetivo, o porque “no quiere que creemos otras superinteligencias que compitan con ella”.

Señala que “nadie entiende cómo los sistemas modernos de IA hacen lo que hacen. Son gigantescas matrices inescrutables de números de coma flotante”. No espera “ejércitos de robots marchando con ojos rojos brillantes”, pero cree que una “entidad más inteligente y despreocupada descubrirá estrategias y tecnologías que puedan matarnos de forma rápida y fiable y luego nos matará”. Lo único que podría impedirlo es una moratoria mundial de la tecnología respaldada por la amenaza de la Tercera Guerra Mundial, pero no cree que eso ocurra.

En su ensayo “Por qué la IA salvará el mundo”, Marc Andreessen, de A16z, argumenta que este tipo de postura no es científica: “¿Cuál es la hipótesis comprobable? ¿Qué falsaría la hipótesis? ¿Cómo sabemos cuándo estamos entrando en una zona de peligro? Estas preguntas quedan en su mayoría sin respuesta, aparte de ‘¡No se puede demostrar que no vaya a ocurrir!'”.

El jefe de Microsoft, Bill Gates, publicó un ensayo de su autoría, titulado “Los riesgos de la IA son reales pero controlables”, en el que argumenta que, desde los automóviles hasta Internet, “la gente ha superado otros momentos transformadores y, a pesar de muchas turbulencias, al final ha salido mejor parada”.

“Es la innovación más transformadora que cualquiera de nosotros verá en su vida, y un debate público sano dependerá de que todo el mundo conozca la tecnología, sus beneficios y sus riesgos. Los beneficios serán enormes, y la mejor razón para creer que podemos gestionar los riesgos es que ya lo hemos hecho antes.”

El científico de datos Jeremy Howard ha publicado su propio paperen el que se argumenta que cualquier intento de prohibir la tecnología o mantenerla confinada a unos pocos grandes modelos de IA será un desastre, comparando la respuesta basada en el miedo a la IA con la era anterior a la Ilustración, cuando la humanidad intentó restringir la educación y el poder a la élite.

“Entonces se impuso una nueva idea. ¿Y si confiáramos en el bien general de la sociedad en su conjunto? ¿Y si todo el mundo tuviera acceso a la educación? ¿Al voto? ¿A la tecnología? Era el Siglo de las Luces”.

Su contrapropuesta es fomentar el desarrollo de la IA en código abierto y tener fe en que la mayoría de la gente aprovechará la tecnología para el bien.

“La mayoría de la gente utilizará estos modelos para crear y para proteger. ¿Qué mejor forma de estar a salvo que contar con la enorme diversidad y experiencia de la sociedad humana en general haciendo todo lo posible para identificar y responder a las amenazas, con todo el poder de la IA detrás?”.

El intérprete de código de OpenAI

El nuevo intérprete de código de GPT-4 es una nueva mejora que permite a la IA generar código bajo demanda y ejecutarlo. Así que puede generar y ejecutar cualquier cosa que se te ocurra. A los usuarios se les han ocurrido varios casos de uso, como subir informes de empresa y conseguir que la IA genere gráficos útiles de los datos clave, convertir archivos de un formato a otro, crear efectos de vídeo y transformar imágenes fijas en vídeo. Un usuario subió un archivo Excel con la ubicación de todos los faros de EE.UU. y GPT-4 creó un mapa animado de las localizaciones.

Todo asesino, nada de relleno AI news

– Una investigación de la Universidad de Montana descubrió que la inteligencia artificial puntúa en el 1% superior en una prueba estandarizada de creatividad. El Scholastic Testing Service otorgó a las respuestas del GPT-4 las máximas puntuaciones en creatividad, fluidez (capacidad de generar muchas ideas) y originalidad.

– La humorista Sarah Silverman y los autores Christopher Golden y Richard Kadreyare demandando a OpenAI y Meta por violación de derechos de autor, por entrenar sus respectivos modelos de IA con los libros del trío.

– La IA Copilot de Microsoft para Windows acabará siendo increíble, pero Windows Central ha descubierto que la versión preliminar no es más que el chat de Bing ejecutado a través del navegador Edge y que apenas puede cambiar de Bluetooth. en.

– AntrópicoEl competidor de ChatGPT, Claude 2, ya está disponible de forma gratuita en el Reino Unido y EE.UU., y su ventana contextual puede manejar 75.000 palabras de contenido frente al máximo de 3.000 palabras de ChatGPT. Eso lo hace fantástico para resumir textos largos, y es no está mal escribiendo ficción.

Vídeo de la semana

El canal indio de noticias por satélite OTV News ha presentado a su presentadora de noticias por IA, llamada Lisa, que presentará las noticias varias veces al día en varios idiomas, entre ellos inglés y odia, para la cadena y sus plataformas digitales. “Los nuevos presentadores de IA son composiciones digitales creadas a partir de las imágenes de un presentador humano que lee las noticias con voces sintetizadas”, explica el director general de OTV, Jagi Mangat Panda.