Hotelschool The Hague case: Vinger aan de pols dankzij frequente course evaluations

Sinds de oprichting in 1929 heeft Hotelschool The Hague (hierna HTH) zich ontwikkeld tot een gerenommeerde internationale opleiding, gespecialiseerd in hospitality management. HTH is terug te vinden in de top van internationale lijsten met beste hotelscholen. HTH heeft kwaliteit dan ook zeer hoog in het vaandel staan. Essentieel onderdeel van het kwaliteitsmanagement is voeling houden met de recente ervaringen en meningen van de studenten. Één van de instrumenten, die HTH hiervoor inzet, zijn course evaluations.

Studenten worden overspoeld met interne en externe onderwijsevaluaties

Het belang van een hoge kwaliteit onderwijs staat buiten kijf. Er zijn diverse externe instanties die periodiek de onderwijskwaliteit beoordelen en de ervaringen van studenten daarin betrekken. In allerlei (inter)nationale monitoren wordt studenten (jaarlijks) gevraagd naar hun mening over de opleiding, die ze volgen of zojuist voltooid hebben. Daarbovenop worden intern binnen (hoge)scholen en universiteiten allerlei evaluatie-initiatieven ontplooid. Enthousiaste docenten ontwikkelen hun eigen vragenlijsten, om daarmee voeling te houden met de leservaringen van hun studenten.

Al die evaluaties hebben een keerzijde. Studenten worden enquête-moe. De bereidheid om deel te nemen neemt af, met lage responsecijfers tot gevolg. En helaas krijgen studenten maar al te vaak enquêtes voorgeschoteld met ellelange batterijen met stellingen. Deze zijn vervelend om te beantwoorden, waardoor studenten de evaluatie gaan afraffelen. Daardoor komt ook de datakwaliteit nog eens in het gedrang.

Hotelschool The Hague vond het tijd om het roer om te gooien en vroeg Delta Marktonderzoek om advies. Delta bracht decennialange ervaring met kwalitatief onderzoek en kwantitatief onderzoek in om specifiek de course evaluations te stroomlijnen

Less is more: met korte vragenlijsten meer inzicht in studentervaringen

Onder andere gebruikmakend van de vragenlijsten, die HTH tot dan toe inzette, hebben we samen met onderwijsdeskundigen van HTH toegewerkt naar een compacte kernvragenlijst. De nieuwe course evaluation bestaat uit één overkoepelende vraag, twee open vragen en zo’n tien korte stellingen. Deze course evaluation is geschikt voor vrijwel iedere module van de opleiding en eenvoudig op de smartphone in te vullen.

De open vragen hebben betrekking op wat studenten hebben ervaren als sterke punten van het gevolgde vak en wat zij zien als verbeterpunten. Door de open vragen naar het begin van de vragenlijst te halen, nam de rijkdom aan open antwoorden enorm toe. Studenten nemen echt de tijd om hun meningen en ervaringen te verwoorden, zowel positief als negatief. Met als resultaat: een diepgaand inzicht in het waarom achter het totaaloordeel en de scores op individuele stellingen.

De studenten ontvangen op hun studenten-emailadres de link naar de vragenlijst. Deze kunnen ze volledig anoniem invullen. Borging van anonieme deelname zorgt er voor dat de studenten zich niet geremd voelen bij de beantwoording van de vragen. Het bevordert de kwaliteit en oprechtheid van de antwoorden; al kan de feedback van studenten ook zeer gekleurd en eenzijdig zijn. In het geval van course evaluations werkt de bewaking van privacy twee kanten op. Het gaat om de evaluatie van studiemodules, niet om de beoordeling van docenten. Daarom verwijdert Delta eventuele docentennamen uit de open antwoorden, alvorens deze verder te verwerken. Hiermee komt HTH tegemoet aan wat volgens een enquête van het Hoger Onderwijs Persbureau (2018) het grootste bezwaar van hbo- en wo-docenten tegen centraal uitgevoerde course evaluations is.

Standaardisatie van de course-evaluations met behoud van flexibiliteit

Standaardiseren heeft als groot voordeel dat ontwikkelingen nauwgezet gevolgd kunnen worden in de tijd en dat de beoordelingen van de studiemodules onderling vergeleken kunnen worden. Zodoende ontstaat een eigen benchmark, waartegen de courses in totaliteit en op deelaspecten kunnen worden afgezet.

Flexibiliteit zorgt ervoor dat de vragenlijsten afgestemd kunnen worden op specifieke hoofdkenmerken en onderdelen van een bepaald vak. Zo krijgen de Hotelschoolstudenten een aparte vragenlijst voordat zij op buitenlandstage gaan; en bij terugkomst een eindevaluatie.

Dankzij de flexibiliteit konden we de kernvragenlijst eenvoudig aanvullen met een tweetal stellingen over de ervaringen met het digitale onderwijs, toen medio maart 2020 HTH van de ene op de andere dag over moest naar onderwijs op afstand.

Direct doorpakken dankzij overzichtelijke dashboards en uitvoerige tops & tips

Het succes van course evaluations staat of valt met de bruikbaarheid van de resultaten en de snelheid waarmee deze beschikbaar zijn voor de docenten. Minstens zo belangrijk is openheid naar de studenten, door de uitkomsten te delen.

Delta heeft tailor-made dashboards ontworpen voor HTH, waarop in één oogopslag de pluspunten en minpunten van het gegeven vak zichtbaar zijn. De bijgevoegde open antwoorden met tops & tips van de studenten geven het noodzakelijke inzicht in achterliggende meningen en ervaringen. Dankzij korte doorlooptijden kunnen de docenten snel aan de slag met de resultaten en mogelijke knelpunten al op hele korte termijn aanpakken.

Figuur 1: Voorbeeld van een deel het Hotelschool The Hague course evaluation dashboard

Het kwaliteitsteam van Hotelschool The Hague kan dankzij het totaaloverzicht sterke kanten van bepaalde vakken inbrengen bij andere vakken. En breder geldende knelpunten centraal oppakken.

“Voor het blijven bieden van hoge kwaliteit onderwijs, is concreet inzicht in de ervaringen van onze studenten essentieel.
Delta schakelde snel en dacht continu met ons mee over de beste opzet. Dankzij korte doorlooptijden konden we direct aan de slag met de resultaten.”

Wendy Smeets, Hotelschool The Hague