Agent Profiler
Governing agents is a multidimensional challenge. This profiler illustrates how the dimensions interact, so stakeholders can reason about them together.
For illustration only. It is not an assessment of any agent: that rests on the agent's own record of judged runs, its undo and the guardrails actually in place.
- Reliability: how often it gets it right, as a lower bound over judged runs
- Blast radius: what happens when it doesn't, and whether it can be undone
- Business value: why it matters
- Governance thresholds: the bar to act alone, none for the irreversible
- Infrastructure: the guardrails in place
- Autonomy: the level of independence it earns
Built around the PAC Framework™: Potential, Accountability, Control.
Wat de Agent Profiler doet
De Agent Profiler is een gratis, open-source tool om te bepalen hoeveel autonomie een AI-agent verdiend heeft. U beschrijft een use case langs zes governance-dimensies en de profiler vertaalt dat naar een autonomieniveau, de drempels die gelden en de infrastructuurgaten die tussen de agent en het volgende niveau staan.
Betrouwbaarheid en blast radius bepalen het risico: een agent die het 95% van de tijd juist heeft is prima als een fout een nieuwe poging kost, en onaanvaardbaar als hij een klant of een compliance-inbreuk kost. Bedrijfswaarde zegt of het risico überhaupt de moeite is. Governance-drempels markeren waar een mens in de lus moet zitten. Infrastructuur telt de vangrails die er werkelijk staan: sandboxing, audit trails, rollback, goedkeuringspoorten. Autonomie is het resultaat, niet het vertrekpunt.
Veertien voorbeeldcases, met capability-scores uit publieke benchmarks zoals SWE-bench, GPQA en BFCL, tonen hoe typische agents er op de kaart uitzien. Elk profiel is deelbaar als URL of te exporteren als JSON, en u stelt uw eigen drempels in volgens de risicobereidheid van uw organisatie. De tool past het PAC Framework toe en is dezelfde tool waarmee deelnemers de workshop voorbereiden.