Un equipo de la Universidad de Alcalá ha demostrado que los modelos de inteligencia artificial más avanzados pueden identificar con alta precisión contenido ilegal en la Dark Web sin necesidad de entrenamiento previo. El estudio, publicado en la revista internacional Electronics (MDPI), evalúa por primera vez de forma comparativa el rendimiento de ocho grandes modelos de lenguaje (LLMs) comerciales en tareas de clasificación automática de textos procedentes de redes ocultas.
La investigación fue liderada por Víctor Pablo Prado Sánchez en el marco de su tesis doctoral titulada ‘Propuesta metodológica para el análisis y clasificación automática de contenidos de cibermercados negros en redes de anonimización’, desarrollada en el Departamento de Ciencias de la Computación de la Universidad de Alcalá.
El trabajo, titulado ’Zero-Shot Classification of Illicit Dark Web Content with Commercial LLMs: A Comparative Study on Accuracy, Human Consistency, and Inter-Model Agreement’, analiza los modelos GPT-4o, GPT-4o Mini, GPT-3.5 Turbo, Claude 3.5 Haiku, Gemini 2.0 Flash, DeepSeek Chat, DeepSeek Reasoner y Grok, utilizando el conjunto de datos CoDA, compuesto por 10.000 documentos reales de la Dark Web distribuidos en diez categorías ilícitas, entre las que se encuentran Drogas, Armas, Fraude, Hacking y Pornografía.
Los resultados muestran que todos los modelos alcanzan altos niveles de precisión en un escenario de clasificación zero-shot —sin ajuste ni entrenamiento previo—. Los mejores resultados corresponden a DeepSeek Chat (0,87 F1), Grok (0,868) y Gemini 2.0 Flash (0,861). La coincidencia con las anotaciones humanas también fue elevada, con valores de Cohen’s Kappa superiores a 0,84, y la consistencia entre modelos alcanzó un Krippendorff’s Alpha de 0,884, lo que refleja una alta fiabilidad global.
El estudio constata que las arquitecturas más recientes presentan una clara convergencia en su comportamiento y son capaces de clasificar con precisión textos procedentes de entornos anónimos y multilingües. Además, se observa que los modelos más modernos de proveedores alternativos a OpenAI, como DeepSeek, Google DeepMind y xAI, ofrecen rendimientos comparables o superiores en determinadas categorías.
La investigación también analiza las limitaciones y desafíos éticos asociados a la automatización del análisis de la Dark Web, como la sensibilidad de los datos, la ambigüedad semántica de algunas categorías y el riesgo de sesgos derivados del modelo o del conjunto de datos. Aun así, el trabajo confirma que los LLMs comerciales constituyen una herramienta eficaz para tareas de clasificación forense y apoyo a la ciberseguridad.
Financiado por el Ministerio de Ciencia e Innovación dentro del proyecto PARCHE (PID2021-125645OB-I00), el estudio refuerza el liderazgo de la investigación española en el uso de inteligencia artificial aplicada a la detección y análisis de actividades ilícitas en la Dark Web.