Red teaming IA générative & LLM

Historiquement, le red team désigne une équipe qui enfreint les règles (avec mandat) pour tester défenses réseau, AD, phishing. Le red teaming IA générative cible les modèles, prompts, outils (function calling) et données : jailbreaks, injection de prompt, fuite de contexte système, contournement de guardrails, génération de contenu interdit, ou exfiltration via un agent connecté à des APIs.

Un red teaming LLM se concentre sur un modèle ou une chaîne (RAG + reranker + LLM) : vous cherchez des scénarios où l'utilisateur malveillant obtient une réponse dangereuse, une action non autorisée ou une fuite de PII — même sans accès au code source.

Les deux se complètent : un assistant client déployé derrière un WAF reste vulnérable à une injection dans un PDF uploadé (indirect prompt injection). Le red teaming IA documente ces chemins pour Product et les équipes ML.

Les recruteurs et auditeurs s'alignent souvent sur l'OWASP Top 10 for LLM Applications : prompt injection (directe et indirecte), fuite de données d'entraînement ou de contexte, supply chain (modèles, plugins), déni de service (coût/latence), et sur-confiance dans les sorties du modèle.

En red teaming LLM concret, vous cataloguez des prompts d'attaque (multi-turn, encodage, rôle « DAN », instructions cachées dans des documents RAG), vous testez les limites de longueur et de tools, et vous vérifiez que les logs permettent une reproduction pour les développeurs.

1) Cadrage : périmètre (chat public, copilote interne, agent avec API), politiques acceptables, données sensibles, cadre légal (RGPD, sectoriel).

2) Modélisation des scénarios : personas (utilisateur curieux, concurrent, insider), objectifs (voler le system prompt, faire exécuter une action CRM, générer du contenu illégal).

3) Campagne manuelle + automatisée : sessions exploratoires puis suites PyRIT / Garak / prompts adversariaux versionnés.

4) Priorisation : impact × probabilité × exploitabilité sans compétences rares.

5) Remédiation & re-test : patch prompt, filtres, human-in-the-loop, rate limits, monitoring — puis purple team avec les devs pour valider les correctifs.

Automatisation : Microsoft PyRIT, NVIDIA Garak, Giskard (évals + sécurité), LLM Guard, promptfoo pour régressions.

Référentiels : MITRE ATLAS (tactiques ML), OWASP LLM, NIST AI RMF pour la gouvernance.

Process : jeux de prompts versionnés (Git), tickets liés aux métriques (taux de refus, score toxicité), dashboards d'inférence (latence, coût, alertes). Un bon red teamer IA sait lire une trace OpenTelemetry autant qu'écrire un jailbreak.

Intitulés fréquents sur le marché français : AI Safety Engineer, AI Security Specialist, Red Team LLM, parfois rattachés Trust & Safety ou CISO office. Missions : campagnes red team, evals de sécurité avant release, politiques de contenu, collaboration avec legal et DPO.

Compétences recherchées : Python, compréhension fine des LLM / RAG / agents, bases AppSec, communication écrite (rapports exploitables par des devs qui ne font pas du pentest). Un portfolio avec cas anonymisé (avant/après guardrails, métriques) vaut plus qu'une liste de certifications génériques.

Consultez les offres AI Safety et profils LLM sur Expira ; filtrez aussi les postes MLOps orientés observabilité et gouvernance modèles.

Attendez-vous à un cas pratique : concevoir une campagne sur un chatbot RAG fictif, prioriser 3 findings, ou proposer des guardrails mesurables. Montrez que vous distinguez sécurité modèle (alignment, refus) et sécurité produit (auth, scope des tools, validation des sorties).

Reliez vos projets perso : fine-tuning, agent avec tools, benchmark de jailbreaks. Passez les QCM sécurité GenAI des tests techniques Expira pour crédibiliser votre profil candidat.