Experiment 005 - EduPlan

[EdwinLieftink]

Problem / Opportunity

Riskante aanname _We geloven dat…_

…EduPlan LLM-agnostisch is te maken en we nog steeds dezelfde accurate toelichting krijgen op de uitvalprognose van de desbetreffende (Leven-lang-)lerenden.

Weerlegbare hypothese We verwachten dat…

…we een net zo goed ‘EduPlan’ te kunnen generen met een GPT-NL, OpenEuroLLM of andere LLM, via de AI-hub, als met de huidige gpt-4o-mini, via de Responses API.

Appetite (timebox)

Large (5-6 dagen)

Solution

Experiment Om dit te verifiëren zullen we…

…een prototype bouwen dat een ‘EduPlan’ genereert met een andere LLM via de AI-hub.

Metric En meten we...

…dat zo’n ‘EduPlan’ dezelfde relevante toelichtingen geeft als via het huidige gpt-4o-mini model.

Succes criteria W_e hebben gelijk als…_

…minimaal 8 SLB'ers, mentoren en docenten in het mbo, het ‘EduPlan’ gemiddeld hoger of gelijk beoordelen als het ‘EduPlan’ gegenereerd middels het gpt-4o-mini model.

Risks / Rabbit holes

No response

No-Gos

No response

Gevalideerd met

@EdF2021

Sparring partner

@EdF2021

[CorneeldH]

Voor het valideren heb je 8 SLBers nodig. Voor kijken of het werkt met AI-HUB kan wel en kan ook een binnen een iteratie van 2 weken, denk ik?

@EdwinLieftink Is er een manier om dit soort van op te splitsen. Enerzijds begrijp ik de succescriteria anderszijds is het dan altijd te groot voor een iteratie en kunnen we per iteratie moeilijk voortang zien.

[EdwinLieftink]

@CorneeldH: deze validaties kunnen zeker binnen 2 weken. En eventueel ook wel met 6 SLB-ers. Ik zal eens vragen aan Steven, Ed en JaapJan. Wanneer we deze validatie doen is aan jou, als ProductOwner. Ik heb er persoonlijk geen haast mee.