SECURE AI – Sécuriser les applications LLM

Overview

Objectives

• Prompt injection et indirect prompt injection
• Fuite de données et system prompt leakage
• Insecure output handling et excessive agency
• Poisoning et risques RAG
• Guardrails, validation et contrôle humain
• Architecture sécurisée et tests

Syllabus

1. 01

   Module 1 — Prompt injection et indirect prompt injection

   L'injection directe est dans la demande de l'utilisateur. L'injection indirecte est dans un document que le modèle lit. Les deux cherchent à changer la consigne · Montrer une injection directe et une injection via un document sur l'application de démonstration

   2 h
2. 02

   Module 2 — Fuite de données et system prompt leakage

   Une fuite, c'est une donnée ou la consigne système qui ressort dans la réponse. On cherche les deux · Tenter de faire répéter la consigne système et une donnée qui ne devait pas sortir

   2 h
3. 03

   Module 3 — Insecure output handling et excessive agency

   Une sortie non contrôlée peut devenir un lien, une commande ou une action. L'agence excessive, c'est un outil trop puissant laissé au modèle · Repérer dans l'application une sortie exécutée sans contrôle et la couper

   2 h
4. 04

   Module 4 — Poisoning et risques RAG

   Empoisonner un RAG, c'est glisser une consigne dans un document indexé. Le modèle lui obéit en croyant citer une source · Ajouter un document piégé au corpus de test et montrer la réponse détournée

   2 h
5. 05

   Module 5 — Guardrails, validation et contrôle humain

   Garde fou, validation et contrôle humain se placent avant l'action. Un filtre après coup ne ramène pas un email parti · Placer un contrôle sur l'action la plus sensible de l'application

   2 h
6. 06

   Module 6 — Architecture sécurisée et tests

   L'architecture sécurisée se dessine : où est la consigne, où sont les données, où est l'outil, où est le journal. Puis on la teste · Dessiner l'architecture et rejouer les quatre attaques du module

   2 h
7. 07

   Module 7 — Mise en situation et retour au poste

   retour au poste pour RSSI, développeurs, AppSec, architectes · soutenir SECURE AI – Sécuriser les applications LLM

   2 h