18 Open-Source-Anbieter für KI-Sicherheit.

Open-Source-Software für KI-Sicherheit, die Sie selbst hosten können, mit prüfbarem Quellcode — unabhängig vom Hauptsitz des Entwicklers.

• Arize AI / PhoenixNicht-EU-Anbieter

  Arize AI (Berkeley, USA) entwickelt die Arize-AX-Plattform und die Open-Source-Bibliothek Phoenix für LLM-Observability und -Evaluierung, mit EU-Datenresidenz-Option.

  Vereinigte Staaten

• DeepchecksNicht-EU-Anbieter

  Open-Source-ML-Validierungsplattform von israelischer Deepchecks (Tel Aviv) mit umfassendem Datentesting und Model-Testing von der Forschung bis zur Produktion.

  Israel

• Evidently AINicht-EU-Anbieter

  Open-Source-ML- und LLM-Observability-Framework für Evaluierung, Testen und Monitoring von KI-Systemen und Daten-Pipelines mit 100+ eingebauten Metriken; unterstützt von einem echten Unternehmen, nicht einem kontrollunternehmen-freien Projekt.

  Vereinigte Staaten

• Garak (NVIDIA)Nicht-EU-Anbieter

  Open-Source-LLM-Anfälligkeits-Scanner von NVIDIA's AI Red Team, der nach Halluzinationen, Datenlecks, Prompt-Injection und Jailbreaks über 50+ Probe-Module sucht. Von NVIDIA kontrolliert, kein Community-gesteuertes Projekt.

  Vereinigte Staaten

• GiskardEU-souverän

  Französische Open-Source-Plattform für KI-Testing, Red-Teaming und Guardrails.

  Frankreich

• Guardrails AINicht-EU-Anbieter

  Open-Source-Python-Framework zur Validierung und Strukturierung von LLM-Ausgaben mit 50+ vordefinierten Validatoren und einem optionalen verwalteten Service mit Observability-Dashboards.

  Vereinigte Staaten

• Langkit (WhyLabs)Selbst hosten / Open Source

  LangKit ist WhyLabs' Open-Source-Toolkit zur Überwachung von LLMs, das Signale wie Toxizität, PII, Stimmung und Jailbreak-Erkennung aus Prompts und Antworten extrahiert; WhyLabs hat die kommerzielle Plattform eingestellt, LangKit bleibt jedoch Open Source verfügbar.

  Vereinigte Staaten · Eigentümer in Vereinigte Staaten

• Llama Guard (Meta)Nicht-EU-Anbieter

  LLM-basierte Sicherheitsklassifizierer von Meta mit anpassbarer Moderation von Inhalten für Verständnis von Text und Bild über Modalitäten. Kontrolliert von Meta (Llama Community License), nicht von einem Community-gesteuerten Projekt

  Vereinigte Staaten

• LLM Guard (Protect AI)Selbst hosten / Open Source

  LLM Guard ist ein Open-Source-Sicherheits-Toolkit von Protect AI (jetzt Teil von Palo Alto Networks) mit Input-/Output-Scannern gegen Prompt-Injection, Datenlecks und schädliche Sprache in LLM-Anwendungen.

  Vereinigte Staaten · Eigentümer in Vereinigte Staaten

• Mistral ShieldstralSelbst hosten / Open Source

  3B-Parameter Policy-Adaptive Safety Classifier, freigegeben von Mistral AI (Frankreich) unter Apache 2.0 als Open Weights, für On-Device-Content-Moderation. Mistral AI ist ein reales Unternehmen, daher keine Kontrollgesellschaft-freie Projekt trotz Open License.

  Frankreich

• NVIDIA NeMo GuardrailsNicht-EU-Anbieter

  Open-Source-Toolkit von NVIDIA für das Hinzufügen von programmierbaren Schutzmechanismen zu LLM-Gesprächssystemen, mit Unterstützung für selbst-gehostete Bereitstellungen. Von NVIDIA kontrolliert, nicht ein von der Community verwaltetes Projekt.

  Vereinigte Staaten

• Portkey AISelbst hosten / Open Source

  Portkey AI (San Francisco, USA; 2026 von Palo Alto Networks für Prisma AIRS übernommen) ist ein Open-Source-KI-Gateway mit über 60 Guardrails gegen Jailbreaks, Prompt-Injection und PII-Lecks.

  Vereinigte Staaten · Eigentümer in Vereinigte Staaten

• Presidio (Microsoft)Selbst hosten / Open Source

  Presidio ist Microsofts Open-Source-Framework zur Erkennung, Schwärzung und Anonymisierung personenbezogener Daten (PII) in Text, Bildern und strukturierten Daten, häufig genutzt zur Vermeidung von PII-Lecks in LLM-Pipelines.

  Vereinigte Staaten · Eigentümer in Vereinigte Staaten

• Project AsagoSelbst hosten / Open Source

  Red Hat-initiiertes Open-Source-Projekt (August 2026, Apache 2.0) übersetzt NIST AI RMF, OWASP LLM Top 10 und EU AI Act-Anforderungen in technische Governance-Controls für KI-Agenten; Teilnehmer sind Red Hat, NVIDIA, IBM Research, MIT Lincoln Laboratory, Microsoft und das Alan Turing Institute — keine einzelne kontrollierende Partei.

  Vereinigte Staaten

• PromptfooNicht-EU-Anbieter

  Open-Source MIT-lizenziertes LLM-Bewertungs- und Red-Teaming-Framework zum Testen von Prompts, Modellen und RAG-Pipelines, unterstützt durch ein echtes VC-finanziertes Unternehmen.

  Vereinigte Staaten

• PyRIT (Microsoft)Nicht-EU-Anbieter

  Open-Source Python Risk Identification Tool von Microsoft zur Durchführung von Red-Team-Übungen, um proaktiv Risiken in generativen KI-Systemen mit Multi-Modal-Angriffsunterstützung zu identifizieren. Kontrolliert von Microsoft, nicht ein von der Gemeinschaft verwaltetes Projekt.

  Vereinigte Staaten

• TaoQ AISelbst hosten / Open Source

  Angewendete KI-Forschungs- und Engineeringfirma, spezialisiert auf KI-Sicherheit, Agent-Red-Teaming und EU-AI-Act-Konformität mit Open-Source-Sicherheits-Test-Frameworks für intelligente Systeme

  Niederlande

• VigilSelbst hosten / Open Source

  Vigil ist eine Open-Source-Python-Bibliothek und REST-API (von Forscher deadbits/Adam Swanda), die LLM-Prompts und -Antworten auf Prompt-Injection, Jailbreaks und Prompt-Leaks scannt; experimenteller Alpha-Status mit begrenzter aktiver Pflege.

  Vereinigte Staaten