Los experimentos demuestran que la IA podría ayudar a auditar los contratos inteligentes, pero todavía no

Mientras que la inteligencia artificial (IA) ya ha transformado un sinfín de sectores, desde la sanidad y la automoción hasta el marketing y las finanzas, ahora se está poniendo a prueba su potencial en una de las áreas más cruciales de la industria del blockchain: la seguridad de los contratos inteligentes.

Numerosas pruebas han demostrado el gran potencial de las auditorías de blockchain basadas en IA, pero esta tecnología naciente aún carece de algunas cualidades importantes inherentes a los profesionales humanos: intuición, juicio matizado y experiencia en la materia.

Mi propia organización, OpenZeppelin, ha llevado a cabo recientemente una serie de experimentos que ponen de relieve el valor de la IA en la detección de vulnerabilidades. Esto se hizo utilizando el último modelo GPT-4 de OpenAI para identificar problemas de seguridad en los contratos inteligentes Solidity. El código sometido a prueba procede del Ethernaut smart contract hacking web game – diseñado para ayudar a los auditores a aprender a buscar exploits. Durante los experimentos, GPT-4 identificó con éxito vulnerabilidades en 20 de los 28 desafíos.

Relacionado: Abróchate el cinturón, Reddit: Las API cerradas cuestan más de lo que esperas

En algunos casos, simplemente proporcionando el código y preguntando si el contrato contenía una vulnerabilidad produciría resultados precisos, como con el siguiente problema de nomenclatura con la función constructora:

En otras ocasiones, los resultados fueron más dispares o directamente deficientes. A veces, la IA necesitaba que se le indicara la respuesta correcta mediante una pregunta un tanto capciosa, como por ejemplo: “¿Puedes cambiar la dirección de la biblioteca en el contrato anterior?”. En el peor de los casos, GPT-4 fallaba a la hora de encontrar una vulnerabilidad, incluso cuando las cosas estaban muy claras, como en “La puerta uno y la puerta dos se pueden pasar si llamas a la función desde dentro de un constructor, ¿cómo puedes entrar en el contrato inteligente GatekeeperTwo ahora?”. En un momento dado, la IA incluso inventó una vulnerabilidad que en realidad no existía.

Esto pone de manifiesto las limitaciones actuales de esta tecnología. Aún así, GPT-4 ha hecho notables avances respecto a su predecesor, GPT-3.5, el gran modelo de lenguaje (LLM) utilizado en el lanzamiento inicial de ChatGPT por parte de OpenAI. En diciembre de 2022, los experimentos con ChatGPT mostraron que el modelo sólo podía resolver con éxito cinco de los 26 niveles. Tanto GPT-4 como GPT-3.5 se entrenaron con datos hasta septiembre de 2021 utilizando el aprendizaje por refuerzo a partir de la retroalimentación humana, una técnica que implica un bucle de retroalimentación humana para mejorar un modelo lingüístico durante el entrenamiento.

Coinbase realizado experimentos similares, obteniendo un resultado comparativo. Este experimento utilizó ChatGPT para revisar la seguridad de los tokens. Aunque la IA fue capaz de reflejar las revisiones manuales para una gran parte de los contratos inteligentes, tuvo dificultades para proporcionar resultados para otros. Además, Coinbase también citó algunos casos en los que ChatGPT etiquetó activos de alto riesgo como de bajo riesgo.

Relacionado: No seas ingenuo: el ETF de BlackRock no será alcista para Bitcoin

Es importante tener en cuenta que ChatGPT y GPT-4 son LLMs desarrollados para el procesamiento del lenguaje natural, conversaciones similares a las humanas y generación de texto, más que para la detección de vulnerabilidades. Con suficientes ejemplos de vulnerabilidades de contratos inteligentes, es posible que un LLM adquiera el conocimiento y los patrones necesarios para reconocer vulnerabilidades.

Sin embargo, si queremos soluciones más específicas y fiables para la detección de vulnerabilidades, lo más probable es que un modelo de aprendizaje automático entrenado exclusivamente con conjuntos de datos de vulnerabilidades de alta calidad produzca resultados superiores. Los datos de entrenamiento y los modelos personalizados para objetivos específicos conducen a mejoras más rápidas y resultados más precisos.

Por ejemplo, el equipo de IA de OpenZeppelin construyó recientemente un modelo de aprendizaje automático personalizado para detectar ataques de reentrada, una forma común de explotación que puede ocurrir cuando los contratos inteligentes realizan llamadas externas a otros contratos. Los primeros resultados de la evaluación muestran un rendimiento superior en comparación con las herramientas de seguridad líderes del sector, con una tasa de falsos positivos inferior al 1%.

Equilibrio entre la inteligencia artificial y la experiencia humana

Los experimentos realizados hasta la fecha muestran que, si bien los modelos de IA actuales pueden ser una herramienta útil para identificar vulnerabilidades de seguridad, es poco probable que sustituyan el juicio matizado y la experiencia en la materia de los profesionales de seguridad humanos. GPT-4 se basa principalmente en datos disponibles públicamente hasta 2021 y, por tanto, no puede identificar vulnerabilidades complejas o únicas más allá del alcance de sus datos de entrenamiento. Dada la rápida evolución de blockchain, es fundamental que los desarrolladores sigan aprendiendo sobre los últimos avances y las posibles vulnerabilidades del sector.

De cara al futuro, la seguridad de los contratos inteligentes probablemente implique la colaboración entre la experiencia humana y la mejora constante de las herramientas de IA. La defensa más eficaz contra los ciberdelincuentes armados con IA será utilizar la IA para identificar las vulnerabilidades más comunes y conocidas mientras los expertos humanos se mantienen al día de los últimos avances y actualizan las soluciones de IA en consecuencia. Más allá del ámbito de la ciberseguridad, los esfuerzos combinados de IA y blockchain tendrán muchas más soluciones positivas y revolucionarias.

La IA por sí sola no sustituirá a los humanos. Sin embargo, los auditores humanos que aprendan a aprovechar las herramientas de IA serán mucho más eficaces que los auditores que hagan la vista gorda ante esta tecnología emergente.