​El auge de DeepSeek pone de relieve la importancia de garantizar la seguridad de la IA

La llegada de DeepSeek ha establecido una disrupción en el mercado de IA así como en la economía de las aplicaciones impulsadas por Inteligencia artificial. La necesidad de garantizar su seguridad se ha vuelto cada vez más importante a medida que las empresas continúan integrándolas en sus operaciones.

Aunque puede ser un gran desafío garantizar una protección completa, las organizaciones pueden implementar medidas de seguridad que permitan ayudar a monitorizar cuándo y cómo sus empleados utilizan grandes modelos de lenguaje (LLM).

IA segura por diseño

Las organizaciones tienen que estar equipadas para crear un ecosistema de IA seguro que priorice la integridad de los marcos de seguridad de IA desde el desarrollo hasta el despliegue.

Ese fue el objetivo de Palo Alto Networks al desarrollar AI Access Security con la meta de empoderar a las compañías para permitir que sus empleados utilicen herramientas de IA de manera segura y desplieguen aplicaciones de IA empresariales.

El portafolio de soluciones de Palo Alto Networks, impulsado por Precision AI, puede ayudar a eliminar los riesgos del uso de aplicaciones públicas de GenAI, mientras continúa impulsando la adopción de IA en las organizaciones. Desde Palo Alto Networks se utiliza una gama de tecnologías de ML y Deep Learning que son computacionalmente más eficientes.

Vulnerabilidad de DeepSeek

Palo Alto Networks Unit 42 ha publicado recientemente una investigación que revela que DeepSeek es preocupantemente vulnerable al jailbreaking y puede producir contenido nefasto con poco o ningún conocimiento o experiencia especializada.

El jailbreaking es una técnica utilizada para eludir las restricciones implementadas en los LLM para evitar que generen contenido malicioso o prohibido. Estas restricciones se conocen comúnmente como "guardrails" o barreras de seguridad.

Los investigadores de Unit 42 descubrieron recientemente dos técnicas novedosas y efectivas de jailbreaking, Deceptive Delight y Bad Likert Judge. Dado su éxito contra otros LLM (Large Language models), Unit 42 probó estos dos métodos de jailbreak y otra técnica de jailbreaking de múltiples etapas llamada Crescendo contra los modelos de DeepSeek.

Sam Rubin, Vicepresidente Senior de Consultoría e Inteligencia de Amenazas de Unit 42

“La investigación de Unit 42 sobre el jailbreaking de DeepSeek muestra que no siempre podemos confiar en que los LLM funcionarán como se espera: pueden ser manipulados. Es importante que las empresas consideren estas vulnerabilidades al incorporar LLM de código abierto en los procesos empresariales. Debemos asumir que las barreras de seguridad de los LLM pueden ser quebrantadas y que se necesitan salvaguardas a nivel organizacional. A medida que las organizaciones buscan utilizar modelos, debemos asumir que los actores de amenazas están haciendo lo mismo, con el objetivo de acelerar la velocidad, escalado y sofisticación de los ciberataques. Hemos visto evidencias de que actores de amenazas de estados nacionales están utilizando OpenAI y Gemini para lanzar ataques, mejorar cebos de phishing y escribir malware. Esperamos que las capacidades de los atacantes se vuelvan más avanzadas a medida que refinen su uso de la IA y los LLM e incluso comiencen a desarrollar agentes de ataque de IA”.