Evaluatie van het curriculum en de faculteit is cruciaal voor alle instellingen voor hoger onderwijs, inclusief medische faculteiten. Studentenevaluaties van het onderwijs (SET) vinden doorgaans plaats in de vorm van anonieme vragenlijsten. Hoewel deze oorspronkelijk zijn ontwikkeld om cursussen en programma's te evalueren, worden ze in de loop der tijd ook gebruikt om de effectiviteit van het onderwijs te meten en vervolgens belangrijke onderwijsgerelateerde beslissingen te nemen. Professionele ontwikkeling van docenten is hierbij essentieel. Bepaalde factoren en vooroordelen kunnen echter de SET-scores beïnvloeden en de effectiviteit van het onderwijs kan niet objectief worden gemeten. Hoewel de literatuur over cursus- en faculteitsevaluatie in het algemeen hoger onderwijs goed is onderbouwd, bestaan er zorgen over het gebruik van dezelfde instrumenten voor de evaluatie van cursussen en docenten in medische opleidingen. Met name SET in het algemeen hoger onderwijs kan niet direct worden toegepast op curriculumontwerp en -implementatie in medische faculteiten. Dit overzicht geeft een beeld van hoe SET kan worden verbeterd op instrument-, beheer- en interpretatieniveau. Daarnaast laat dit artikel zien dat door gebruik te maken van verschillende methoden, zoals collegiale toetsing, focusgroepen en zelfevaluatie, om gegevens uit meerdere bronnen te verzamelen en te trianguleren – waaronder studenten, collega's, programmamanagers en zelfreflectie – een alomvattend evaluatiesysteem kan worden opgebouwd. Effectief de effectiviteit van het onderwijs meten, de professionele ontwikkeling van docenten in de geneeskunde ondersteunen en de kwaliteit van het onderwijs in de medische opleiding verbeteren.
Cursus- en programma-evaluatie is een intern kwaliteitscontroleproces in alle instellingen voor hoger onderwijs, inclusief medische faculteiten. Studentenevaluatie van het onderwijs (SET) vindt meestal plaats in de vorm van een anonieme schriftelijke of online vragenlijst met een beoordelingsschaal, zoals een Likert-schaal (meestal vijf, zeven of hoger), waarmee mensen hun instemming of mate van instemming kunnen aangeven. Ik ben het niet eens met specifieke stellingen [1,2,3]. Hoewel SET's oorspronkelijk zijn ontwikkeld om cursussen en programma's te evalueren, worden ze in de loop der tijd ook gebruikt om de effectiviteit van het onderwijs te meten [4, 5, 6]. Effectiviteit van het onderwijs wordt als belangrijk beschouwd omdat wordt aangenomen dat er een positieve relatie bestaat tussen de effectiviteit van het onderwijs en het leerproces van studenten [7]. Hoewel de literatuur de effectiviteit van training niet duidelijk definieert, wordt deze meestal gespecificeerd aan de hand van specifieke kenmerken van de training, zoals 'groepsinteractie', 'voorbereiding en organisatie' en 'feedback aan studenten' [8].
Informatie verkregen uit SET kan nuttige informatie opleveren, bijvoorbeeld over de vraag of het nodig is om het lesmateriaal of de lesmethoden in een bepaalde cursus aan te passen. SET wordt ook gebruikt om belangrijke beslissingen te nemen met betrekking tot de professionele ontwikkeling van docenten [4,5,6]. De geschiktheid van deze aanpak is echter twijfelachtig wanneer instellingen voor hoger onderwijs beslissingen nemen over faculteitsleden, zoals promotie naar hogere academische rangen (vaak geassocieerd met anciënniteit en salarisverhogingen) en belangrijke administratieve functies binnen de instelling [4, 9]. Bovendien eisen instellingen vaak dat nieuwe faculteitsleden SET's van hun vorige instellingen bij hun sollicitaties voegen, waardoor niet alleen promoties binnen de instelling worden beïnvloed, maar ook potentiële nieuwe werkgevers [10].
Hoewel de literatuur over curriculum en docentenevaluatie goed is ingeburgerd in het algemeen hoger onderwijs, is dit niet het geval in de geneeskunde en gezondheidszorg [11]. Het curriculum en de behoeften van docenten in de geneeskunde verschillen van die in het algemeen hoger onderwijs. Zo wordt bijvoorbeeld teamleren vaak toegepast in geïntegreerde medische opleidingen. Dit betekent dat het curriculum van de medische faculteit bestaat uit een reeks cursussen die worden gegeven door een aantal docenten met opleiding en ervaring in verschillende medische disciplines. Hoewel studenten in deze structuur profiteren van de diepgaande kennis van experts in het vakgebied, worden ze vaak geconfronteerd met de uitdaging om zich aan te passen aan de verschillende onderwijsstijlen van elke docent [1, 12, 13, 14].
Hoewel er verschillen zijn tussen algemeen hoger onderwijs en medisch onderwijs, wordt de SET die in het eerste wordt gebruikt soms ook toegepast in geneeskunde- en gezondheidszorgopleidingen. De implementatie van SET in het algemeen hoger onderwijs brengt echter veel uitdagingen met zich mee op het gebied van curriculum en docentenevaluatie in opleidingen voor gezondheidsprofessionals [11]. Met name door verschillen in lesmethoden en de kwalificaties van docenten, kunnen de resultaten van cursusevaluaties de mening van studenten over alle docenten of vakken niet volledig weergeven. Onderzoek van Uytenhaage en O'Neill (2015) [5] suggereert dat het vragen aan studenten om alle individuele docenten aan het einde van een cursus te beoordelen, mogelijk niet gepast is, omdat het voor studenten bijna onmogelijk is om meerdere beoordelingen van docenten te onthouden en te becommentariëren. Bovendien zijn veel docenten in het medisch onderwijs ook artsen voor wie lesgeven slechts een klein onderdeel van hun verantwoordelijkheden is [15, 16]. Omdat ze zich voornamelijk bezighouden met patiëntenzorg en in veel gevallen met onderzoek, hebben ze vaak weinig tijd om hun didactische vaardigheden te ontwikkelen. Artsen als docenten zouden echter tijd, ondersteuning en constructieve feedback van hun organisaties moeten krijgen [16].
Geneeskundestudenten zijn over het algemeen zeer gemotiveerde en hardwerkende individuen die met succes worden toegelaten tot de medische faculteit (via een competitief en veeleisend internationaal proces). Bovendien wordt van geneeskundestudenten verwacht dat ze tijdens hun opleiding in korte tijd een grote hoeveelheid kennis verwerven en een groot aantal vaardigheden ontwikkelen, en dat ze slagen voor complexe interne en uitgebreide nationale beoordelingen [17,18,19,20]. Vanwege de hoge eisen die aan geneeskundestudenten worden gesteld, zijn zij mogelijk kritischer en hebben zij hogere verwachtingen van kwalitatief hoogwaardig onderwijs dan studenten in andere disciplines. Dit verklaart waarom geneeskundestudenten mogelijk lagere beoordelingen van hun professoren krijgen in vergelijking met studenten in andere disciplines, om de bovengenoemde redenen. Interessant is dat eerdere studies een positieve relatie hebben aangetoond tussen de motivatie van studenten en individuele beoordelingen van docenten [21]. Daarnaast zijn de meeste curricula van medische faculteiten wereldwijd de afgelopen twintig jaar verticaal geïntegreerd [22], waardoor studenten al vanaf de eerste jaren van hun opleiding worden blootgesteld aan de klinische praktijk. Zo zijn artsen de afgelopen jaren steeds meer betrokken geraakt bij de opleiding van medische studenten, waarbij ze, zelfs al vroeg in hun programma's, het belang onderschrijven van het ontwikkelen van SET's die zijn afgestemd op specifieke faculteitspopulaties [22].
Gezien de specifieke aard van de medische opleiding zoals hierboven beschreven, moeten SET's die worden gebruikt om algemene cursussen in het hoger onderwijs te evalueren die door één docent worden gegeven, worden aangepast om het geïntegreerde curriculum en de klinische faculteit van medische opleidingen te evalueren [14]. Daarom is er behoefte aan de ontwikkeling van effectievere SET-modellen en uitgebreide beoordelingssystemen voor een effectievere toepassing in de medische opleiding.
Dit overzicht beschrijft recente ontwikkelingen in het gebruik van SET in het (algemeen) hoger onderwijs en de beperkingen ervan, en schetst vervolgens de verschillende behoeften van SET voor medische opleidingen en docenten. Dit overzicht biedt een update over hoe SET kan worden verbeterd op instrumenteel, administratief en interpretatief niveau, en richt zich op de doelstellingen van het ontwikkelen van effectieve SET-modellen en uitgebreide beoordelingssystemen die de effectiviteit van het onderwijs effectief meten, de ontwikkeling van professionele gezondheidsdocenten ondersteunen en de kwaliteit van het onderwijs in de medische opleiding verbeteren.
Deze studie volgt het onderzoek van Green et al. (2006) [23] voor advies en Baumeister (2013) [24] voor advies over het schrijven van narratieve reviews. We hebben ervoor gekozen om een narratieve review over dit onderwerp te schrijven, omdat dit type review helpt om een breed perspectief op het onderwerp te bieden. Bovendien helpen narratieve reviews, doordat ze gebruikmaken van methodologisch diverse studies, om bredere vragen te beantwoorden. Daarnaast kan narratief commentaar het denken en de discussie over een onderwerp stimuleren.
Hoe wordt SET gebruikt in de medische opleiding en welke uitdagingen zijn er in vergelijking met het gebruik van SET in het algemeen hoger onderwijs?
De databases PubMed en ERIC werden doorzocht met een combinatie van de zoektermen 'student teaching evaluation', 'teaching effectiveness', 'medical education', 'higher education', 'curriculum and faculty evaluation' en, voor Peer Review 2000, logische operatoren. De zoekopdracht omvatte artikelen gepubliceerd tussen 2021 en 2021. Inclusiecriteria: De opgenomen studies waren originele studies of overzichtsartikelen en relevant voor de drie belangrijkste onderzoeksvragen. Uitsluitingscriteria: Studies die niet in het Engels waren, studies waarvan geen volledige tekst beschikbaar was of studies die niet relevant waren voor de drie belangrijkste onderzoeksvragen, werden uitgesloten van dit overzichtsartikel. Na de selectie werden de publicaties georganiseerd in de volgende onderwerpen en bijbehorende subonderwerpen: (a) Het gebruik van SET in het algemeen hoger onderwijs en de beperkingen ervan, (b) Het gebruik van SET in medisch onderwijs en de relevantie ervan voor het aanpakken van vraagstukken met betrekking tot de vergelijking van SET, (c) Verbetering van SET op instrumenteel, management- en interpretatief niveau om effectieve SET-modellen te ontwikkelen.
Figuur 1 toont een stroomschema van de geselecteerde artikelen die in dit deel van het overzicht zijn opgenomen en besproken.
SET wordt al lange tijd gebruikt in het hoger onderwijs en het onderwerp is uitgebreid bestudeerd in de literatuur [10, 21]. Een groot aantal studies heeft echter de vele beperkingen ervan onderzocht en pogingen ondernomen om deze beperkingen aan te pakken.
Onderzoek toont aan dat er veel variabelen zijn die de SET-scores beïnvloeden [10, 21, 25, 26]. Daarom is het belangrijk dat beheerders en docenten deze variabelen begrijpen bij het interpreteren en gebruiken van gegevens. In de volgende sectie wordt een kort overzicht van deze variabelen gegeven. Figuur 2 toont enkele factoren die de SET-scores beïnvloeden, die in de volgende secties nader worden toegelicht.
De laatste jaren is het gebruik van online testkits toegenomen ten opzichte van papieren testkits. Uit de literatuur blijkt echter dat online SET-tests kunnen worden voltooid zonder dat studenten de nodige aandacht aan het voltooiingsproces besteden. In een interessante studie van Uitdehaage en O'Neill [5] werden niet-bestaande docenten aan de SET toegevoegd en gaven veel studenten feedback [5]. Bovendien wijst de literatuur erop dat studenten vaak denken dat het voltooien van een SET-test niet leidt tot betere studieresultaten, wat, in combinatie met het drukke schema van geneeskundestudenten, kan resulteren in lagere responspercentages [27]. Hoewel onderzoek aantoont dat de meningen van studenten die de test afleggen niet verschillen van die van de gehele groep, kunnen lage responspercentages er toch toe leiden dat docenten de resultaten minder serieus nemen [28].
De meeste online SET's worden anoniem ingevuld. Het idee hierachter is dat studenten hun mening vrijuit kunnen uiten zonder de aanname dat hun mening invloed zal hebben op hun toekomstige relaties met docenten. In de studie van Alfonso et al. [29] gebruikten onderzoekers anonieme beoordelingen en beoordelingen waarbij beoordelaars hun naam moesten vermelden (openbare beoordelingen) om de effectiviteit van het onderwijs van docenten aan een medische faculteit te evalueren door artsen in opleiding en studenten geneeskunde. De resultaten toonden aan dat docenten over het algemeen lager scoorden op de anonieme beoordelingen. De auteurs stellen dat studenten eerlijker zijn bij anonieme beoordelingen vanwege bepaalde belemmeringen bij open beoordelingen, zoals beschadigde werkrelaties met deelnemende docenten [29]. Het is echter ook belangrijk om te benadrukken dat de anonimiteit die vaak gepaard gaat met online SET ertoe kan leiden dat sommige studenten respectloos en wraakzuchtig reageren op de docent als de beoordelingsscores niet aan de verwachtingen van de student voldoen [30]. Onderzoek toont echter aan dat studenten zelden respectloze feedback geven, en dat dit laatste verder kan worden beperkt door studenten te leren constructieve feedback te geven [30].
Verschillende onderzoeken hebben aangetoond dat er een correlatie bestaat tussen de SET-scores van studenten, hun verwachtingen ten aanzien van toetsresultaten en hun toetstevredenheid [10, 21]. Strobe (2020) [9] rapporteerde bijvoorbeeld dat studenten makkelijke vakken belonen en docenten zwakke cijfers, wat slecht onderwijs kan aanmoedigen en kan leiden tot cijferinflatie [9]. In een recent onderzoek hebben Looi et al. (2020) [31] onderzoekers gerapporteerd dat gunstigere SET-scores gerelateerd zijn aan en gemakkelijker te beoordelen zijn. Bovendien is er verontrustend bewijs dat SET omgekeerd evenredig is aan de prestaties van studenten in vervolgvakken: hoe hoger de score, hoe slechter de prestaties van de student in vervolgvakken. Cornell et al. (2016) [32] voerden een onderzoek uit om te onderzoeken of studenten relatief meer leerden van docenten met een hoge SET-score. De resultaten laten zien dat wanneer het leren aan het einde van een cursus wordt beoordeeld, docenten met de hoogste scores ook bijdragen aan het leren van de meeste studenten. Wanneer het leren echter wordt gemeten aan de hand van prestaties in relevante vervolgvakken, zijn docenten met relatief lage scores het meest effectief. De onderzoekers veronderstelden dat het op een productieve manier uitdagender maken van een cursus de beoordelingen weliswaar zou kunnen verlagen, maar het leerproces zou kunnen verbeteren. Studentenbeoordelingen zouden daarom niet de enige basis voor de evaluatie van het onderwijs moeten zijn, maar wel erkend moeten worden.
Verschillende onderzoeken tonen aan dat de SET-prestaties worden beïnvloed door de cursus zelf en de organisatie ervan. Ming en Baozhi [33] vonden in hun onderzoek significante verschillen in SET-scores tussen studenten in verschillende vakgebieden. Zo hebben studenten in de klinische wetenschappen hogere SET-scores dan studenten in de basiswetenschappen. De auteurs verklaarden dit doordat geneeskundestudenten geïnteresseerd zijn in het worden van arts en daarom een persoonlijke interesse en hogere motivatie hebben om meer deel te nemen aan cursussen in de klinische wetenschappen dan aan cursussen in de basiswetenschappen [33]. Net als bij keuzevakken heeft de motivatie van studenten voor het vak ook een positief effect op de scores [21]. Verschillende andere onderzoeken ondersteunen eveneens dat het type cursus de SET-scores kan beïnvloeden [10, 21].
Bovendien hebben andere studies aangetoond dat hoe kleiner de klasgrootte, hoe hoger het niveau van SET dat door docenten wordt bereikt [10, 33]. Een mogelijke verklaring hiervoor is dat kleinere klassen de mogelijkheden voor interactie tussen docent en student vergroten. Daarnaast kunnen de omstandigheden waaronder de beoordeling wordt uitgevoerd de resultaten beïnvloeden. Zo lijken SET-scores beïnvloed te worden door het tijdstip en de dag waarop de cursus wordt gegeven, evenals door de dag van de week waarop de SET wordt afgenomen (bijvoorbeeld, beoordelingen die in het weekend worden afgenomen, leiden doorgaans tot hogere scores) dan beoordelingen die eerder in de week worden afgenomen [10].
Een interessante studie van Hessler et al. zet ook vraagtekens bij de effectiviteit van SET [34]. In deze studie werd een gerandomiseerd gecontroleerd onderzoek uitgevoerd in een cursus spoedeisende geneeskunde. Studenten geneeskunde in het derde jaar werden willekeurig toegewezen aan een controlegroep of een groep die gratis chocoladekoekjes kreeg (koekjesgroep). Alle groepen kregen les van dezelfde docenten en de inhoud van de training en het cursusmateriaal waren identiek voor beide groepen. Na afloop van de cursus werd aan alle studenten gevraagd een set te voltooien. Uit de resultaten bleek dat de koekjesgroep de docenten significant beter beoordeelde dan de controlegroep, wat de effectiviteit van SET in twijfel trekt [34].
Uit de literatuur blijkt ook dat gender van invloed kan zijn op SET-scores [35,36,37,38,39,40,41,42,43,44,45,46]. Zo hebben sommige studies een verband aangetoond tussen het geslacht van studenten en de beoordelingsresultaten: vrouwelijke studenten scoorden hoger dan mannelijke studenten [27]. Het meeste bewijs bevestigt dat studenten vrouwelijke docenten lager beoordelen dan mannelijke docenten [37, 38, 39, 40]. Boring et al. [38] lieten bijvoorbeeld zien dat zowel mannelijke als vrouwelijke studenten geloofden dat mannen meer kennis hadden en sterkere leiderschapskwaliteiten bezaten dan vrouwen. Het feit dat gender en stereotypen van invloed zijn op SET wordt ook ondersteund door de studie van MacNell et al. [41], die rapporteerde dat studenten in zijn studie vrouwelijke docenten lager beoordeelden dan mannelijke docenten op verschillende aspecten van het lesgeven [41]. Bovendien leverden Morgan et al [42] bewijs dat vrouwelijke artsen lagere beoordelingen kregen voor hun onderwijs in vier belangrijke klinische stages (chirurgie, kindergeneeskunde, verloskunde en gynaecologie, en interne geneeskunde) in vergelijking met mannelijke artsen.
In het onderzoek van Murray et al. (2020) [43] rapporteerden de onderzoekers dat de aantrekkelijkheid van docenten en de interesse van studenten in de cursus verband hielden met hogere SET-scores. Omgekeerd hield de moeilijkheidsgraad van de cursus verband met lagere SET-scores. Daarnaast gaven studenten hogere SET-scores aan jonge, blanke, mannelijke docenten in de geesteswetenschappen en aan docenten met een volledige hoogleraarspositie. Er waren geen correlaties tussen SET-evaluaties van het onderwijs en de resultaten van de docentenenquête. Andere studies bevestigen ook de positieve invloed van de fysieke aantrekkelijkheid van docenten op de beoordelingsresultaten [44].
Clayson et al. (2017) [45] rapporteerden dat, hoewel er algemene overeenstemming bestaat dat SET betrouwbare resultaten oplevert en dat de gemiddelden van klassen en docenten consistent zijn, er nog steeds inconsistenties bestaan in de individuele antwoorden van studenten. Samenvattend geven de resultaten van dit beoordelingsrapport aan dat studenten het niet eens waren met wat hen werd gevraagd te evalueren. Betrouwbaarheidsmaten die zijn afgeleid van studentenevaluaties van het onderwijs zijn onvoldoende om een basis te bieden voor het vaststellen van validiteit. Daarom kan SET soms informatie verschaffen over studenten in plaats van docenten.
SET voor gezondheidseducatie verschilt van traditionele SET, maar docenten gebruiken vaak SET die beschikbaar is in het algemene hoger onderwijs in plaats van SET die specifiek is voor opleidingen in de gezondheidszorg, zoals beschreven in de literatuur. Uit onderzoek dat in de loop der jaren is uitgevoerd, zijn echter verschillende problemen naar voren gekomen.
Jones et al (1994). [46] voerden een onderzoek uit om de vraag te beantwoorden hoe docenten van medische faculteiten geëvalueerd moeten worden vanuit het perspectief van zowel docenten als bestuurders. Over het algemeen hadden de meest genoemde problemen betrekking op de evaluatie van het onderwijs. De meest voorkomende klachten betroffen de ontoereikendheid van de huidige methoden voor prestatiebeoordeling, waarbij respondenten ook specifieke klachten uitten over SET en het gebrek aan erkenning van het onderwijs in academische beloningssystemen. Andere gemelde problemen waren onder meer inconsistente evaluatieprocedures en promotiecriteria tussen afdelingen, een gebrek aan regelmatige evaluaties en het niet koppelen van evaluatieresultaten aan salarissen.
Royal et al. (2018) [11] schetsen enkele beperkingen van het gebruik van SET om curricula en docenten in gezondheidsprofessionele opleidingen in het algemeen hoger onderwijs te evalueren. Onderzoekers melden dat SET in het hoger onderwijs verschillende uitdagingen kent, omdat het niet direct kan worden toegepast op curriculumontwerp en het geven van colleges aan medische faculteiten. Veelgestelde vragen, waaronder vragen over de docent en de cursus, worden vaak gecombineerd in één vragenlijst, waardoor studenten vaak moeite hebben om onderscheid te maken tussen de vragen. Bovendien worden cursussen in medische opleidingen vaak door meerdere docenten gegeven. Dit roept vragen op over de validiteit, gezien het potentieel beperkte aantal interacties tussen studenten en docenten dat door Royal et al. (2018) [11] is onderzocht. In een studie van Hwang et al. (2017) [14] onderzochten onderzoekers hoe retrospectieve cursusevaluaties de perceptie van studenten over de cursussen van verschillende docenten volledig weergeven. Hun resultaten suggereren dat individuele klasevaluatie noodzakelijk is om cursussen van meerdere afdelingen binnen een geïntegreerd curriculum van een medische faculteit te beheren.
Uitdehaage en O'Neill (2015) [5] onderzochten in hoeverre geneeskundestudenten bewust deelnamen aan SET in een cursus met meerdere docenten. Elk van de twee preklinische cursussen had een fictieve docent. Studenten moesten binnen twee weken na afloop van de cursus anonieme beoordelingen geven aan alle docenten (inclusief de fictieve docent), maar mochten ervoor kiezen de docent niet te beoordelen. Het jaar daarop werd dit herhaald, maar nu met een portret van de fictieve docent. Zesenzestig procent van de studenten beoordeelde de virtuele docent als niet-gelijkenis, terwijl minder studenten (49%) de virtuele docent beoordeelden als wel gelijkenis. Deze bevindingen suggereren dat veel geneeskundestudenten blindelings SET's invullen, zelfs wanneer deze vergezeld gaan van foto's, zonder zorgvuldig te overwegen wie ze beoordelen, laat staan de prestaties van de docent. Dit belemmert de verbetering van de kwaliteit van het programma en kan schadelijk zijn voor de academische carrière van docenten. De onderzoekers stellen een raamwerk voor dat een radicaal andere benadering van SET biedt, waarbij studenten actief en betrokken worden.
Er zijn nog veel andere verschillen in het curriculum van medische opleidingen vergeleken met andere algemene opleidingen in het hoger onderwijs [11]. Medisch onderwijs is, net als beroepsonderwijs in de gezondheidszorg, duidelijk gericht op de ontwikkeling van duidelijk omschreven professionele rollen (klinische praktijk). Daardoor worden de curricula van medische en gezondheidsopleidingen statischer, met een beperkte keuze aan vakken en docenten. Opvallend is dat medische opleidingen vaak in cohortvorm worden aangeboden, waarbij alle studenten elk semester hetzelfde vak op hetzelfde moment volgen. Het inschrijven van een groot aantal studenten (meestal n = 100 of meer) kan dus van invloed zijn op de onderwijsvorm en de relatie tussen docent en student. Bovendien worden in veel medische faculteiten de psychometrische eigenschappen van de meeste instrumenten niet beoordeeld bij het eerste gebruik, en blijven de eigenschappen van de meeste instrumenten vaak onbekend [11].
Verschillende onderzoeken van de afgelopen jaren hebben aangetoond dat SET kan worden verbeterd door aandacht te besteden aan een aantal belangrijke factoren die de effectiviteit van SET op instrumenteel, administratief en interpretatief niveau kunnen beïnvloeden. Figuur 3 toont enkele stappen die kunnen worden gebruikt om een effectief SET-model te creëren. De volgende paragrafen geven een meer gedetailleerde beschrijving.
Verbeter SET op instrumenteel, management- en interpretatief niveau om effectieve SET-modellen te ontwikkelen.
Zoals eerder vermeld, bevestigt de literatuur dat genderbias de beoordeling van docenten kan beïnvloeden [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson et al. (2019) [40] voerden een onderzoek uit naar de vraag of het geslacht van studenten invloed had op hun reacties op inspanningen om bias te verminderen. In dit onderzoek werd de SET (Student Evaluation Test) afgenomen in vier klassen (twee klassen met mannelijke docenten en twee klassen met vrouwelijke docenten). Binnen elke klas werden studenten willekeurig toegewezen aan een groep die een standaard beoordelingsinstrument ontving of een groep die hetzelfde instrument ontving, maar dan met een formulering die genderbias moest verminderen. Het onderzoek wees uit dat studenten die de anti-bias beoordelingsinstrumenten gebruikten, vrouwelijke docenten significant hogere SET-scores gaven dan studenten die de standaard beoordelingsinstrumenten gebruikten. Bovendien waren er geen verschillen in de beoordelingen van mannelijke docenten tussen de twee groepen. De resultaten van dit onderzoek zijn significant en tonen aan hoe een relatief eenvoudige taalinterventie genderbias in de beoordeling van het onderwijs door studenten kan verminderen. Daarom is het een goede gewoonte om alle SET's zorgvuldig te overwegen en taal te gebruiken om genderbias in hun ontwikkeling te verminderen [40].
Om bruikbare resultaten te verkrijgen met een SET, is het belangrijk om vooraf zorgvuldig na te denken over het doel van de beoordeling en de formulering van de vragen. Hoewel de meeste SET-enquêtes duidelijk een sectie over organisatorische aspecten van de cursus bevatten, bijvoorbeeld 'Cursusevaluatie', en een sectie over docenten, bijvoorbeeld 'Docentevaluatie', is het verschil in sommige enquêtes mogelijk niet duidelijk, of kan er verwarring ontstaan onder studenten over hoe elk van deze gebieden afzonderlijk beoordeeld moet worden. Daarom moet het ontwerp van de vragenlijst passend zijn, de twee verschillende onderdelen van de vragenlijst verduidelijken en studenten bewust maken van wat er in elk gebied beoordeeld moet worden. Daarnaast wordt een pilotstudie aanbevolen om te bepalen of studenten de vragen op de bedoelde manier interpreteren [24]. In een onderzoek van Oermann et al. (2018) [26] hebben de onderzoekers literatuur over het gebruik van SET in een breed scala aan disciplines in het bachelor- en masteronderwijs onderzocht en samengevat om docenten richtlijnen te bieden voor het gebruik van SET in verpleegkunde en andere opleidingen voor gezondheidsprofessionals. De resultaten suggereren dat SET-instrumenten vóór gebruik geëvalueerd moeten worden, inclusief een pilotstudie met studenten die de items of vragen van het SET-instrument mogelijk niet kunnen interpreteren zoals de docent dat bedoelt.
Uit diverse onderzoeken is gebleken of het SET-bestuursmodel invloed heeft op de betrokkenheid van studenten.
Daumier et al. (2004) [47] vergeleken de beoordelingen van studenten van de in de klas voltooide docentenopleiding met de online verzamelde beoordelingen door het aantal reacties en beoordelingen te vergelijken. Onderzoek toont aan dat online enquêtes doorgaans een lagere respons hebben dan enquêtes in de klas. De studie wees echter uit dat online beoordelingen geen significant andere gemiddelde cijfers opleverden dan traditionele beoordelingen in de klas.
Er werd een gebrek aan tweewegcommunicatie tussen studenten en docenten geconstateerd tijdens het invullen van online (maar vaak ook geprinte) SET's, wat resulteerde in een gebrek aan mogelijkheden voor verduidelijking. Daardoor is de betekenis van SET-vragen, opmerkingen of studentenevaluaties niet altijd duidelijk [48]. Sommige instellingen hebben dit probleem aangepakt door studenten een uur lang bijeen te brengen en een specifiek tijdstip toe te wijzen om de SET online (anoniem) in te vullen [49]. In hun onderzoek hielden Malone et al. (2018) [49] verschillende bijeenkomsten om met studenten te bespreken wat het doel van de SET was, wie de SET-resultaten zou zien en hoe de resultaten zouden worden gebruikt, en andere kwesties die door studenten werden aangekaart. De SET wordt uitgevoerd zoals een focusgroep: de groep beantwoordt open vragen door middel van informeel stemmen, debat en verduidelijking. Het responspercentage lag boven de 70-80%, waardoor docenten, beheerders en curriculumcommissies uitgebreide informatie kregen [49].
Zoals hierboven vermeld, rapporteerden de onderzoekers in het onderzoek van Uitdehaage en O'Neill [5] dat studenten in hun onderzoek niet-bestaande docenten beoordeelden. Zoals eerder aangegeven, is dit een veelvoorkomend probleem in medische opleidingen, waar elk vak door meerdere docenten kan worden gegeven, maar studenten zich mogelijk niet herinneren wie aan elk vak heeft bijgedragen of wat elke docent heeft gedaan. Sommige instellingen hebben dit probleem aangepakt door een foto van elke docent, zijn/haar naam en het behandelde onderwerp/datum te tonen om het geheugen van studenten op te frissen en problemen te voorkomen die de effectiviteit van SET in gevaar brengen [49].
Het belangrijkste probleem met SET is wellicht dat leraren de kwantitatieve en kwalitatieve resultaten van SET niet correct kunnen interpreteren. Sommige leraren willen statistische vergelijkingen maken tussen verschillende jaren, anderen beschouwen kleine stijgingen/dalingen in gemiddelde scores als betekenisvolle veranderingen, weer anderen willen elk onderzoek geloven, en sommigen staan ronduit sceptisch tegenover elk onderzoek [45, 50, 51].
Het niet correct interpreteren van resultaten of het niet goed verwerken van feedback van studenten kan de houding van docenten ten opzichte van het lesgeven beïnvloeden. De resultaten van Lutovac et al. (2017) [52] Ondersteunende training van docenten is noodzakelijk en nuttig voor het geven van feedback aan studenten. Medisch onderwijs heeft dringend behoefte aan training in de correcte interpretatie van SET-resultaten. Daarom zouden docenten van medische faculteiten training moeten krijgen in hoe ze uitkomsten moeten evalueren en op welke belangrijke gebieden ze zich moeten concentreren [50, 51].
De beschreven resultaten suggereren dan ook dat SET's zorgvuldig ontworpen, uitgevoerd en geïnterpreteerd moeten worden om ervoor te zorgen dat de resultaten een betekenisvolle impact hebben op alle relevante belanghebbenden, waaronder docenten, bestuurders van medische faculteiten en studenten.
Gezien enkele beperkingen van SET, moeten we blijven streven naar een alomvattend evaluatiesysteem om vooringenomenheid bij het beoordelen van de effectiviteit van het onderwijs te verminderen en de professionele ontwikkeling van medische docenten te ondersteunen.
Een completer inzicht in de kwaliteit van het onderwijs door klinische docenten kan worden verkregen door gegevens uit meerdere bronnen te verzamelen en te trianguleren, waaronder studenten, collega's, programma-administrators en zelfevaluaties van docenten [53, 54, 55, 56, 57]. In de volgende paragrafen worden mogelijke andere instrumenten/methoden beschreven die naast effectieve SET kunnen worden gebruikt om een passender en completer inzicht in de effectiviteit van de opleiding te ontwikkelen (Figuur 4).
Methoden die gebruikt kunnen worden om een alomvattend model te ontwikkelen voor een systeem waarmee de effectiviteit van het onderwijs aan een medische faculteit kan worden beoordeeld.
Een focusgroep wordt gedefinieerd als “een groepsdiscussie die is georganiseerd om een specifieke reeks kwesties te onderzoeken” [58]. De afgelopen jaren hebben medische faculteiten focusgroepen opgericht om kwalitatieve feedback van studenten te verkrijgen en enkele valkuilen van online SET aan te pakken. Deze studies tonen aan dat focusgroepen effectief zijn in het verkrijgen van kwalitatieve feedback en het verhogen van de studenttevredenheid [59, 60, 61].
In een onderzoek van Brundle et al. [59] implementeerden de onderzoekers een evaluatieproces voor studenten waarbij cursusleiders en studenten in focusgroepen over de cursussen konden discussiëren. De resultaten geven aan dat focusgroepdiscussies een aanvulling vormen op online beoordelingen en de studenttevredenheid over het algehele beoordelingsproces verhogen. Studenten waarderen de mogelijkheid om rechtstreeks met cursusleiders te communiceren en geloven dat dit proces kan bijdragen aan de verbetering van het onderwijs. Ze gaven ook aan dat ze het standpunt van de cursusleider konden begrijpen. Naast studenten beoordeelden ook cursusleiders de focusgroepen als een middel om effectievere communicatie met studenten te faciliteren [59]. Het gebruik van focusgroepen kan medische faculteiten dus een completer beeld geven van de kwaliteit van elke cursus en de effectiviteit van het onderwijs door de betreffende docenten. Er moet echter worden opgemerkt dat de focusgroepen zelf enkele beperkingen hebben, zoals het geringe aantal deelnemende studenten in vergelijking met het online SET-programma, dat voor alle studenten beschikbaar is. Bovendien kan het organiseren van focusgroepen voor verschillende cursussen een tijdrovend proces zijn voor begeleiders en studenten. Dit vormt een aanzienlijke beperking, met name voor medische studenten die een zeer drukke agenda hebben en mogelijk klinische stages lopen op verschillende geografische locaties. Bovendien vereisen focusgroepen een groot aantal ervaren begeleiders. Het integreren van focusgroepen in het evaluatieproces kan echter gedetailleerdere en specifiekere informatie opleveren over de effectiviteit van de training [48, 59, 60, 61].
Schiekierka-Schwacke et al. (2018) [62] onderzochten de percepties van studenten en docenten over een nieuw instrument voor het beoordelen van de prestaties van docenten en de leerresultaten van studenten in twee Duitse medische faculteiten. Er werden focusgroepgesprekken en individuele interviews gehouden met docenten en medische studenten. Docenten waardeerden de persoonlijke feedback die het beoordelingsinstrument bood, en studenten gaven aan dat er een feedbacklus, inclusief doelen en consequenties, gecreëerd zou moeten worden om het rapporteren van beoordelingsgegevens te stimuleren. De resultaten van deze studie ondersteunen dus het belang van het sluiten van de communicatielus met studenten en het informeren van hen over de beoordelingsresultaten.
Programma's voor collegiale toetsing van het onderwijs (PRT) zijn erg belangrijk en worden al vele jaren in het hoger onderwijs toegepast. PRT omvat een samenwerkingsproces waarbij het onderwijs wordt geobserveerd en feedback wordt gegeven aan de observator om de effectiviteit van het onderwijs te verbeteren [63]. Daarnaast kunnen zelfreflectieoefeningen, gestructureerde vervolgdiscussies en de systematische toewijzing van getrainde collega's bijdragen aan de verbetering van de effectiviteit van PRT en de onderwijscultuur van de afdeling [64]. Deze programma's zouden veel voordelen hebben, omdat ze docenten in staat stellen constructieve feedback te ontvangen van collega-docenten die mogelijk in het verleden met vergelijkbare moeilijkheden te maken hebben gehad en die meer ondersteuning kunnen bieden door nuttige suggesties voor verbetering te geven [63]. Bovendien kan collegiale toetsing, mits constructief gebruikt, de inhoud en de lesmethoden van cursussen verbeteren en medische docenten ondersteunen bij het verbeteren van de kwaliteit van hun onderwijs [65, 66].
Een recent onderzoek van Campbell et al. (2019) [67] levert bewijs dat het model van collegiale ondersteuning op de werkplek een acceptabele en effectieve strategie is voor de ontwikkeling van docenten in de klinische gezondheidszorg. In een ander onderzoek voerden Caygill et al. [68] een studie uit waarbij een speciaal ontworpen vragenlijst werd verstuurd naar docenten in de gezondheidszorg aan de Universiteit van Melbourne, zodat zij hun ervaringen met het gebruik van collegiale ondersteuning konden delen. De resultaten wijzen erop dat er een grote belangstelling bestaat voor collegiale ondersteuning onder medische docenten en dat het vrijwillige en informatieve format van collegiale beoordeling wordt beschouwd als een belangrijke en waardevolle mogelijkheid voor professionele ontwikkeling.
Het is belangrijk op te merken dat PRT-programma's zorgvuldig ontworpen moeten worden om te voorkomen dat er een oordelende, 'managementgerichte' omgeving ontstaat die vaak leidt tot verhoogde angst bij de geobserveerde docenten [69]. Het doel moet daarom zijn om zorgvuldig PRT-plannen te ontwikkelen die een veilige omgeving creëren en constructieve feedback mogelijk maken. Daarom is speciale training nodig voor de beoordelaars, en mogen PRT-programma's alleen docenten betrekken die echt geïnteresseerd en ervaren zijn. Dit is vooral belangrijk als de informatie die uit de PRT wordt verkregen, wordt gebruikt bij beslissingen over faculteitsleden, zoals promoties naar hogere functies, salarisverhogingen en promoties naar belangrijke administratieve posities. Het moet worden opgemerkt dat PRT tijdrovend is en, net als focusgroepen, de deelname van een groot aantal ervaren faculteitsleden vereist, waardoor deze aanpak moeilijk te implementeren is in medische faculteiten met beperkte middelen.
Newman et al. (2019) [70] beschrijven strategieën die vóór, tijdens en na de training worden gebruikt, observaties die de beste praktijken benadrukken en oplossingen voor leerproblemen identificeren. De onderzoekers gaven twaalf suggesties aan beoordelaars, waaronder: (1) kies je woorden zorgvuldig; (2) laat de observator de richting van de discussie bepalen; (3) houd feedback vertrouwelijk en gestructureerd; (4) houd feedback vertrouwelijk en gestructureerd; Feedback richt zich op de vaardigheden van de docent in plaats van op de individuele docent; (5) leer je collega's kennen; (6) wees attent voor jezelf en anderen; (7) onthoud dat voornaamwoorden een belangrijke rol spelen bij het geven van feedback; (8) gebruik vragen om het perspectief van de docent te belichten; (10) creëer processen, vertrouwen en feedback bij collegiale observaties; (11) maak van observatie van het leren een win-winsituatie; (12) stel een actieplan op. Onderzoekers onderzoeken ook de impact van vooringenomenheid op observaties en hoe het proces van leren, observeren en feedback bespreken waardevolle leerervaringen kan opleveren voor beide partijen, wat leidt tot langdurige partnerschappen en een verbeterde onderwijskwaliteit. Gomaly et al. (2014) [71] meldde dat de kwaliteit van effectieve feedback het volgende moet omvatten: (1) verduidelijking van de taak door het geven van aanwijzingen, (2) verhoogde motivatie om meer inspanning aan te moedigen, en (3) de perceptie van de ontvanger dat het een waardevol proces is. verstrekt door een betrouwbare bron.
Hoewel docenten van medische faculteiten feedback ontvangen op PRT, is het belangrijk om hen te trainen in het interpreteren van die feedback (vergelijkbaar met de aanbeveling om training te volgen in de interpretatie van SET) en hen voldoende tijd te geven om constructief te reflecteren op de ontvangen feedback.
Geplaatst op: 24 november 2023