Tester (AI-gedrag&Betrouwbaarheid)

Voor deze rol kunnen wij niet samenwerken met derde partijen of freelancers.

Binnen de opdrachtgever is het team Nova ingericht als Center of Competence (CoC) voor AI en innovatie. Nova functioneert als een overkoepelend team (“system team”) over bestaande DevOps-teams en richt zich op het ontwerpen, ontwikkelen en gecontroleerd uitrollen van AI-toepassingen (met name agents) die organisatiebreed waarde leveren.

Dit gebeurt in nauwe samenwerking met Data Science & Pricing (DS&P), specifiek het Self Service AI-team.

Binnen Nova worden AI-agents iteratief ontwikkeld en opgeschaald: van relatief eenvoudige toepassingen naar meer geavanceerde en impactvolle oplossingen binnen bedrijfsprocessen. Dit vraagt om een andere manier van testen dan traditionele IT, waarbij niet alleen functionaliteit, maar vooral gedrag, consistentie en betrouwbaarheid centraal staan.

We zoeken een Dedicated Tester die de kwaliteit van deze oplossingen borgt over de volledige lifecycle – van eerste use case tot productie en doorontwikkeling.

Wat ga je doen (5 hoofdtaken)

1.    Testen van AI-agents op gedrag, consistentie en betrouwbaarheid gedurende de gehele levenscyclus: van eerste eenvoudige use cases tot meer complexe en impactvolle toepassingen.
2.    Opzetten en uitvoeren van scenario-based testtrajecten, waarbij agents in realistische procescontexten worden gevalideerd.
3.    Monitoren en evalueren van agentgedrag na livegang, inclusief het signaleren van afwijkingen, foutinterpretaties en ongewenst gedrag.
4.    Nauw samenwerken met key users en proceseigenaren om de kwaliteit en toepasbaarheid van agents continu te verbeteren.
5.    Vertalen van kwaliteitsbevindingen naar concrete verbeteracties voor zowel de business (kennis/inhoud) als development (technische aanpassingen).

Wat moet je meebrengen (5 vereisten)

1.    Ervaring met software testing en QA-methodieken.
2.    Affiniteit met of ervaring in het testen van AI-/LLM-toepassingen.
3.    Analytisch sterk, met oog voor edge cases en afwijkend gedrag.
4.    Ervaring met het opzetten van teststrategieën in dynamische en iteratieve omgevingen.
5.    Sterke communicatieve vaardigheden richting zowel business als IT.