NSE - Waarom CEDA hier iets mee moet

[aslamht]

De NSE is het grootste jaarlijkse studenttevredenheidsonderzoek in het Nederlandse ho. Alle bekostigde instellingen doen verplicht mee en hebben de data op studentniveau intern beschikbaar. CEDA's rol is tools ontwikkelen in samenwerking met instellingen voor student analytics.

---

De kans

Er zijn al partijen die iets doen met NSE-data. De officiele factsheets van Studiekeuze123 tonen scores per kernthema op geaggregeerd HBO-niveau, inclusief significantie-indicatoren t.o.v. vorig jaar en de benchmark. Een partij verbonden aan de Erasmus Universiteit maakt factsheets per instelling voor een paar duizend euro per stuk.

Beide producten zeggen wat de score is, niet waarom. Geen van beiden koppelt aan studieuitkomsten.

Dat is precies waar CEDA het verschil maakt: via de 1CHO-koppeling kun je verklaren wat achter die scores zit. Welke studenten zijn ontevreden? Wie valt daarna uit? Dat is een product dat niemand anders nu biedt.

---

Wat we kunnen bouwen

NSE x 1CHO koppeling
Studenten die na jaar 1 stoppen scoorden al lager op specifieke NSE-themas. Door tevredenheid te koppelen aan doorstroom maak je van een rapportcijfer een bruikbaar signaal voor instellingen.

NSE als predictor in studiesuccesmodellen
In bestaande 1CHO-modellen wordt studiesucces voorspeld op basis van instroomkenmerken. NSE voegt de studieervaring toe als extra dimensie. Een lage score op begeleiding of aansluiting in jaar 1 is een vroeg signaal voor uitval, lang voordat een student officieel stopt.

Eigen dashboardtool als self-service oplossing
Institutional Research teams bij instellingen zijn nu afhankelijk van hun Data Warehouse team voor elke data-aanvraag, wat tot lange wachttijden leidt. Bij de Haagse Hogeschool is dit een concreet knelpunt. De CEDA-tool biedt IR-teams directe toegang tot schone, gekoppelde data zonder tussenkomst van IT. Binnen het dashboard kunnen scores worden uitgesplitst naar studentgroepen: eerstejaars vs ouderejaars, voltijd vs deeltijd, vooropleiding, herkomst.

Koppeling met NKO Evaluatietool
De NKO Evaluatietool wordt nog gebouwd en evalueert selectieprocedures bij numerus fixus-opleidingen. NSE maakt die evaluatie completer: niet alleen of studenten het halen, maar ook of ze de opleiding positief ervaren. Welke selectiecriteria voorspellen niet alleen diplomering maar ook tevredenheid?

Respons-analyse
37% van de studenten vult de NSE in. Via 1CHO kun je op nationaal niveau aantonen dat non-respondenten vaker uitvallen, wat betekent dat gepubliceerde scores systematisch te positief zijn. Dit is primair een methodologische bevinding, relevant voor hoe instellingen hun eigen scores interpreteren. Accreditatiepanels (NVAO) gebruiken NSE als kwaliteitssignaal, maar dat is buiten de directe scope van CEDA.

---

Potentiële Key-Users

• Vrije Universiteit Amsterdam - Timo Vonk
• Haagse Hogeschool - Kim van der Kruijs, Esterella de Roo

[aslamht]

@cedanl/admin Hebben jullie hier gedachtes over?

[CorneeldH]

Ik roep wat dingen:

1. Ik heb eerder contact gehad met partij achter Studiekeuze 123, dat zijn leuke mensen die ook op DAIR komen en netwerkbijeenkomsten om NSE heen hebben e.d. Het is een stichting en wordt volledig gefinancierd door ministerie OCW (dus soort van dezelfde pot geld als Npuls). Ze waren ook al heel geïnteresseerd toen Amir met tekstdata bezig ging (dat werd echter toen gekoppeld aan NSE).
2. Je noemt andere specifieke voorbeelden, dat zou ik wat anders formuleren. Het gaat hier om de ervaring niet om de specifieke onderwijsinstelling. Dat is niet relevant en mensen kunnen dit over een jaar lezen als die situatie is gewijzigd.
3. CEDA is nu heel erg modulair, op repo-niveau (per stap in data science proces) en qua thema (alle instroom repo's staan los van alle uitval repo's). Ik zou 'studenttevredenheid' in eerste instantie als apart thema zien met eigen modules. Het doet beetje denken aan 1CijferHO (meerdere bestanden, in mijn herinnering geen gestandaardiseerde csv's).
4. Het idee van een koppeling tussen verschillende thema's is wel een goed idee. Een project als de 'Staat van Avans' is nu nog gekoppeld aan 1CijferHO maar heeft natuurlijk meer data bronnen.
5. Je noemt respons analyse, ik denk dat NSE zich ook leent voor andere methodologische analyses. Vaak kijkt men naar de scores in NSE als 'absoluut' (universiteit a scoort hoger dan uni b), zonder echt in te zoomen op veranderingen. Concreet denk ik bijv. aan een difference-in-difference analyse. Of bijv. het mooie werk van Hogeschool Utrecht breder toegankelijk maken en uitbouwen: https://github.com/uashogeschoolutrecht/NSE_Analyses/wiki/Methoden. En dus eerder genoemde tekstanalyse van open antwoorden, daar vragen instellingen ook echt om.
6. Concreet denk ik dus aan eigen preparatie-repo, analytics-repo(s) en visualisatie-repo's. Met daarbij op termijn een integratie-repo van NSE.
7. Naast de NSE is er ook nog de JOB in het mbo. Daarvoor geldt eigenlijk veel van bovenstaande ook.

NB: Vraag is wel wanneer qua roadmap en prioritering. Ik wil het hier binnenkort in het team over hebben.

[SKvdV]

Interessant!

Zoals Corneel al noemt, heeft het MBO de JOB-monitor inclusief benchmark gegevens. De bestanden zijn inderdaad niet heel erg gestandaardiseerd en het kost elke ronde weer tijd om alles goed te prepareren. Maar het dashboard dat wij hierop gemaakt hebben, staat open voor alle medewerkers en wordt goed bekeken.
Ik heb zelf ook een snelle poging gedaan om de antwoorden op de open vragen te analyseren. Dit heeft nog een vervolg nodig, maar een goede analyse hierop is denk ik wel wenselijk.

Ik sluit me aan bij punt 5 van Corneel, dat analyses op verschil in de tijd ook interessant is. Dit zie je ook terug bij analyse van de onderwijsresultaten en studiesucces (ook een goed gebuikt dashboard binnen onze organisatie). Ook bij VSV.

Als ik mee kan denken, hoor ik het graag.

[MMJansen]

Wij doen veel analyses met de NSE data, en hebben daar ook inzichten over. Kom maar eens buurten.