Quality Assurance Engineer, Arnhem

Doel van het projectHet project De Virtuele Assistent heeft als doel een bewezen prototype uit Montferland te schalen naar een universeel open-source bouwstenen-framework. Dit framework, dat al succesvol is geïmplementeerd met ~30.000 gesprekken, 10-15% reductie in telefonisch contact, vervanging van livechat en 24/7 bereikbaarheid, zal organisaties in staat stellen om eigen AI-assistenten, bots of agents te bouwen door het combineren van kant-en-klare modules (orchestration, RAG, guardrails, CMS, evaluation).TechnologieWe maken gebruik van Azure OpenAI (EU/AVG-compliant), RAG (Qdrant vectorDB), een orchestration framework en guardrails.TeamHet team bestaat uit 6 FTE, waaronder een AI Engineer (36u), Full-stack Developer (36u), Infrastructure Engineer (8u), PO/SM (24u), een externe Conversation Designer en Community Management (36u).FaseWe bevinden ons in de fase van het transformeren van een werkend prototype naar een productie-ready framework.Jouw rolAls QA Engineer valideer je de veiligheid, kwaliteit en compliance van een open-source bouwstenen-framework voor (semi)publiek gebruik. Het framework bestaat uit herbruikbare modules die organisaties kunnen combineren om verschillende assistenten te maken. De rol focust op risk-based testing van AI-gedrag (guardrails, hallucination detection, PII leakage), begeleiding van pilotorganisaties bij testen, en het interpreteren en rapporteren van testresultaten voor PO en development team.FocusJe werkt 8 uur per week zeer zelfstandig met een laser focus op highest risk testing (security, compliance, core functionality). Testing is primair handmatig (edge cases zoeken, adversarial prompts), met ruimte voor test automation waar efficiënt.Verdeling taken50% AI Quality Testing (~4u/week) Guardrails validatie, hallucination detection, evaluation framework, knowledge base correctheid25% Functional & Integration Testing (~2u/week) End-to-end flows, regression testing, API/integration validatie15% Security & Compliance Testing (~1u/week) DPIA requirements, security checks, PII leakage preventie10% Pilot Support & Rapportage (~1u/week) Pilotorganisaties begeleiden, bug management, metrics tracking De eisenEen aantoonbare opleiding op minimaal hbo bachelor niveau;Aantoonbare werkervaring met AI en/of LLM systemen (benoem duidelijk in cv)Minimaal 1 jaar aantoonbare werkervaring bij een overheidsinstelling;Aantoonbare werkervaring met projecten op het gebied van AI; De wensenEen aantoonbare afgeronde technische opleiding op minimaal hbo bachelor niveauMinimaal 2 jaar aantoonbare werkervaring met AI/LLM systemen (benoem duidelijk in cv)Minimaal 2 jaar aantoonbare werkervaring met projecten op het gebied van AI5cd8a0b9cc68f9ffa4c9253553278a55wer