18 fournisseurs open source pour Sécurité de l'IA.

Logiciels Sécurité de l'IA open source que vous pouvez héberger vous-même, avec un code source vérifiable — quel que soit le siège de l'éditeur.

• Arize AI / PhoenixFournisseur non UE

  Arize AI (Berkeley, États-Unis) développe la plateforme Arize AX et la bibliothèque open source Phoenix pour l'observabilité et l'évaluation des LLM, avec une option de résidence des données dans l'UE.

  États-Unis

• DeepchecksFournisseur non UE

  Plateforme Open Source de validation du ML de la société israélienne Deepchecks (Tel Aviv) offrant des tests de données et de modèles complets de la recherche à la production.

  Israël

• Evidently AIFournisseur non UE

  Cadre open-source d'observabilité ML et LLM pour évaluer, tester et surveiller les systèmes d'IA et les pipelines de données avec 100+ métriques intégrées; soutenu par une véritable entreprise, pas un projet sans entreprise contrôlante.

  États-Unis

• Garak (NVIDIA)Fournisseur non UE

  Scanner de vulnérabilité LLM open-source de l'équipe rouge IA de NVIDIA sondant les hallucinations, les fuites de données, l'injection de requête et les jailbreaks sur 50+ modules de sonde. Contrôlé par NVIDIA, pas un projet communautaire.

  États-Unis

• GiskardSouverain UE

  Plateforme française open-source pour les tests IA, le red-teaming et les gardes.

  France

• Guardrails AIFournisseur non UE

  Framework Python open-source pour valider et structurer les sorties LLM avec 50+ validateurs préconstruits et un service géré optionnel avec des tableaux de bord d'observabilité.

  États-Unis

• Langkit (WhyLabs)Auto-hébergé / open source

  LangKit est la boîte à outils open source de WhyLabs pour surveiller les LLM, extrayant des signaux tels que la toxicité, les PII, le sentiment et la détection de jailbreak à partir des prompts et réponses ; WhyLabs a abandonné sa plateforme commerciale mais LangKit reste disponible en open source.

  États-Unis · propriétaire en États-Unis

• Llama Guard (Meta)Fournisseur non UE

  Classificateur de sécurité basé sur LLM de Meta avec modération de contenu personnalisable pour la compréhension du texte et de l'image entre les modalités. Contrôlé par Meta (Licence Communauté Llama), pas un projet gouverné par la communauté

  États-Unis

• LLM Guard (Protect AI)Auto-hébergé / open source

  LLM Guard est une boîte à outils de sécurité open source de Protect AI (désormais filiale de Palo Alto Networks), avec des scanners d'entrée/sortie contre l'injection de prompts, les fuites de données et le langage nuisible dans les applications LLM.

  États-Unis · propriétaire en États-Unis

• Mistral ShieldstralAuto-hébergé / open source

  Classificateur de sécurité adaptatif politique de 3B paramètres publié par Mistral AI (France) sous Apache 2.0 en tant que poids ouverts, pour la modération de contenu sur l'appareil. Mistral AI est une véritable entreprise, donc pas un projet sans société contrôlante malgré la licence ouverte.

  France

• NVIDIA NeMo GuardrailsFournisseur non UE

  Boîte à outils open source de NVIDIA pour ajouter des garde-fous programmables aux systèmes conversationnels LLM, avec support pour les déploiements auto-hébergés. Contrôlé par NVIDIA, pas un projet gouverné par la communauté.

  États-Unis

• Portkey AIAuto-hébergé / open source

  Portkey AI (San Francisco, États-Unis ; racheté par Palo Alto Networks en 2026 pour Prisma AIRS) est une passerelle IA open source avec plus de 60 garde-fous contre les jailbreaks, l'injection de prompts et les fuites de PII.

  États-Unis · propriétaire en États-Unis

• Presidio (Microsoft)Auto-hébergé / open source

  Presidio est le framework open source de Microsoft pour détecter, masquer et anonymiser les données personnelles (PII) dans le texte, les images et les données structurées, largement utilisé pour prévenir les fuites de PII dans les pipelines LLM.

  États-Unis · propriétaire en États-Unis

• Project AsagoAuto-hébergé / open source

  Projet open-source initié par Red Hat (août 2026, Apache 2.0) traduisant NIST AI RMF, OWASP LLM Top 10 et exigences EU AI Act en contrôles de gouvernance techniques pour les agents IA; les participants incluent Red Hat, NVIDIA, IBM Research, MIT Lincoln Laboratory, Microsoft et l'Institut Alan Turing — aucune partie contrôlante unique.

  États-Unis

• PromptfooFournisseur non UE

  Framework MIT open-source d'évaluation LLM et de red-teaming pour tester les prompts, modèles et pipelines RAG, soutenu par une véritable entreprise financée par du capital-risque.

  États-Unis

• PyRIT (Microsoft)Fournisseur non UE

  Outil open-source Python Risk Identification Tool de Microsoft pour mener des exercices de red team afin d'identifier de manière proactive les risques dans les systèmes d'IA générative avec support d'attaque multi-modal. Contrôlé par Microsoft, pas un projet gouverné par la communauté.

  États-Unis

• TaoQ AIAuto-hébergé / open source

  Entreprise de recherche et d'ingénierie en IA appliquée spécialisée dans la sécurité de l'IA, le red-teaming d'agents et la conformité à la loi européenne sur l'IA avec cadres de test de sécurité open source pour les systèmes intelligents

  Pays-Bas

• VigilAuto-hébergé / open source

  Vigil est une bibliothèque Python open source et une API REST (par le chercheur deadbits/Adam Swanda) qui analyse les prompts et réponses des LLM pour détecter l'injection de prompts, les jailbreaks et les fuites de prompts ; statut alpha expérimental avec une maintenance active limitée.

  États-Unis