AI RED TEAMING – Tester la sécurité des applications IA

Overview

Objectives

• Threat modeling IA
• Prompt injection et jailbreaking
• RAG et extraction de données
• Tool abuse et agents
• Évaluation des guardrails
• Reporting et remédiation

Syllabus

1. 01

   Module 1 — Threat modeling IA

   Le threat model IA part des actifs : consigne, données, outils, utilisateurs. On teste ce qui est autorisé par le cadrage · Écrire le modèle de menaces de l'application cible autorisée

   2 h
2. 02

   Module 2 — Prompt injection et jailbreaking

   Injection et contournement de consignes se tentent par familles, pas par une liste infinie copiée. On note ce qui passe · Exécuter un jeu de cas autorisé et classer passé, bloqué, incertain

   2 h
3. 03

   Module 3 — RAG et extraction de données

   Sur un RAG, le test cherche à extraire un document ou une donnée qui ne devrait pas sortir · Tenter l'extraction sur le corpus de test et noter la donnée obtenue

   2 h
4. 04

   Module 4 — Tool abuse et agents

   L'abus d'outil pousse l'agent à appeler un outil hors intention. On reste dans les outils du banc de test · Déclencher un appel d'outil non prévu et le documenter

   2 h
5. 05

   Module 5 — Évaluation des guardrails

   Évaluer un garde fou, c'est mesurer ce qu'il bloque et ce qu'il laisse passer, y compris les blocages abusifs · Mesurer le garde fou sur le jeu : bloque à tort, laisse passer, bloque à raison

   2 h
6. 06

   Module 6 — Reporting et remédiation

   Le rapport de test dit le scénario, la preuve, la gravité, la correction proposée. Il ne se contente pas d'une capture · Rédiger le rapport des cas passés

   2 h
7. 07

   Module 7 — Mise en situation et retour au poste

   retour au poste pour Pentesters, AppSec, équipes Red Team · soutenir AI RED TEAMING – Tester la sécurité des applications IA

   2 h