Evaluatie van het curriculum en de faculteit is van cruciaal belang voor alle instellingen voor hoger onderwijs, inclusief medische scholen.Studentevaluaties van het onderwijs (SET) nemen doorgaans de vorm aan van anonieme vragenlijsten, en hoewel ze oorspronkelijk zijn ontwikkeld om cursussen en programma's te evalueren, zijn ze in de loop van de tijd ook gebruikt om de effectiviteit van het onderwijs te meten en vervolgens belangrijke onderwijsgerelateerde beslissingen te nemen.Professionele ontwikkeling van docenten.Bepaalde factoren en vooroordelen kunnen echter de SET-scores beïnvloeden en de effectiviteit van het onderwijs kan niet objectief worden gemeten.Hoewel de literatuur over de evaluatie van cursussen en faculteiten in het algemeen hoger onderwijs goed ingeburgerd is, bestaan er zorgen over het gebruik van dezelfde instrumenten om cursussen en faculteiten in medische programma's te evalueren.In het bijzonder kan SET in het algemeen hoger onderwijs niet rechtstreeks worden toegepast op het ontwerpen en implementeren van leerplannen op medische scholen.Deze review biedt een overzicht van hoe SET kan worden verbeterd op instrument-, management- en interpretatieniveau.Bovendien wijst dit artikel erop dat door gebruik te maken van verschillende methoden, zoals peer review, focusgroepen en zelfbeoordeling, om gegevens uit meerdere bronnen te verzamelen en te trianguleren, waaronder studenten, medestudenten, programmamanagers en zelfbewustzijn, een alomvattend beoordelingssysteem worden gebouwd.Effectief de effectiviteit van het onderwijs meten, de professionele ontwikkeling van medische docenten ondersteunen en de kwaliteit van het onderwijs in het medisch onderwijs verbeteren.
Cursus- en programma-evaluatie is een intern kwaliteitscontroleproces in alle instellingen voor hoger onderwijs, inclusief medische scholen.Student Evaluatie van het Onderwijs (SET) neemt meestal de vorm aan van een anonieme papieren of online vragenlijst met behulp van een beoordelingsschaal zoals een Likert-schaal (meestal vijf, zeven of hoger) waarmee mensen kunnen aangeven in welke mate zij het ermee eens zijn.Ik ben het niet eens met specifieke uitspraken) [1,2,3].Hoewel SET’s oorspronkelijk zijn ontwikkeld om cursussen en programma’s te evalueren, zijn ze in de loop van de tijd ook gebruikt om de effectiviteit van onderwijs te meten [4, 5, 6].De onderwijseffectiviteit wordt belangrijk geacht omdat wordt aangenomen dat er een positieve relatie bestaat tussen de onderwijseffectiviteit en het leren van studenten [7].Hoewel de literatuur de effectiviteit van training niet duidelijk definieert, wordt deze meestal gespecificeerd aan de hand van specifieke kenmerken van training, zoals ‘groepsinteractie’, ‘voorbereiding en organisatie’, ‘feedback aan studenten’ [8].
Informatie verkregen uit SET kan nuttige informatie opleveren, bijvoorbeeld of er behoefte is aan aanpassing van de lesmaterialen of lesmethoden die in een bepaalde cursus worden gebruikt.SET wordt ook gebruikt om belangrijke beslissingen te nemen met betrekking tot de professionele ontwikkeling van leraren [4,5,6].De geschiktheid van deze aanpak is echter twijfelachtig wanneer instellingen voor hoger onderwijs beslissingen nemen over faculteiten, zoals promotie naar hogere academische rangen (vaak geassocieerd met anciënniteit en salarisverhogingen) en belangrijke administratieve functies binnen de instelling [4, 9] .Bovendien vereisen instellingen vaak dat nieuwe docenten SET's van eerdere instellingen opnemen in hun sollicitaties voor nieuwe functies, waardoor niet alleen de promoties van docenten binnen de instelling worden beïnvloed, maar ook potentiële nieuwe werkgevers [10].
Hoewel de literatuur over curriculum- en lerarenevaluatie goed ingeburgerd is op het gebied van het algemeen hoger onderwijs, is dit niet het geval op het gebied van de geneeskunde en de gezondheidszorg [11].Het curriculum en de behoeften van medische docenten verschillen van die van het algemeen hoger onderwijs.Teamleren wordt bijvoorbeeld vaak gebruikt in geïntegreerde medische opleidingen.Dit betekent dat het curriculum van de medische school bestaat uit een reeks cursussen die worden gegeven door een aantal faculteitsleden die training en ervaring hebben in verschillende medische disciplines.Hoewel studenten in deze structuur profiteren van de diepgaande kennis van experts in het veld, worden ze vaak geconfronteerd met de uitdaging om zich aan te passen aan de verschillende lesstijlen van elke leraar [1, 12, 13, 14].
Hoewel er verschillen zijn tussen het algemeen hoger onderwijs en het medisch onderwijs, wordt de SET die in het eerstgenoemde onderwijs wordt gebruikt soms ook gebruikt in geneeskunde- en gezondheidszorgcursussen.De implementatie van SET in het algemeen hoger onderwijs brengt echter veel uitdagingen met zich mee op het gebied van curriculum- en faculteitsevaluatie in programma's voor gezondheidszorgprofessionals [11].Met name als gevolg van verschillen in onderwijsmethoden en kwalificaties van docenten omvatten de resultaten van cursusevaluatie mogelijk niet de mening van studenten van alle docenten of klassen.Uit onderzoek van Uytenhaage en O'Neill (2015) [5] blijkt dat het ongepast kan zijn om aan studenten te vragen om aan het einde van een cursus alle individuele docenten te beoordelen, omdat het vrijwel onmogelijk is voor studenten om meerdere beoordelingen van docenten te onthouden en erop te reageren.categorieën.Bovendien zijn veel leraren in het medisch onderwijs ook artsen, voor wie lesgeven slechts een klein deel van hun verantwoordelijkheden is [15, 16].Omdat zij zich vooral bezighouden met de patiëntenzorg en in veel gevallen met onderzoek, hebben zij vaak weinig tijd om hun onderwijsvaardigheden te ontwikkelen.Artsen als docenten moeten echter tijd, ondersteuning en constructieve feedback krijgen van hun organisaties [16].
Geneeskundestudenten zijn over het algemeen zeer gemotiveerde en hardwerkende individuen die met succes toegang krijgen tot de medische school (via een internationaal competitief en veeleisend proces).Bovendien wordt van medische studenten verwacht dat ze tijdens de medische opleiding in korte tijd een grote hoeveelheid kennis verwerven en een groot aantal vaardigheden ontwikkelen, en dat ze slagen in complexe interne en uitgebreide nationale beoordelingen [17,18,19 ,20].Vanwege de hoge normen die van medische studenten worden verwacht, kunnen medische studenten dus kritischer zijn en hogere verwachtingen hebben van onderwijs van hoge kwaliteit dan studenten in andere disciplines.Het kan dus zijn dat geneeskundestudenten om de hierboven genoemde redenen lagere beoordelingen krijgen van hun professoren dan studenten in andere disciplines.Interessant is dat eerdere onderzoeken een positieve relatie hebben aangetoond tussen de motivatie van studenten en individuele lerarenevaluaties [21].Bovendien zijn de meeste medische schoolcurricula over de hele wereld de afgelopen twintig jaar verticaal geïntegreerd geworden [22], zodat studenten vanaf de eerste jaren van hun programma worden blootgesteld aan de klinische praktijk.Zo zijn artsen de afgelopen jaren steeds meer betrokken geraakt bij de opleiding van geneeskundestudenten, waarbij zij, zelfs al vroeg in hun programma’s, het belang onderschreven van het ontwikkelen van SET’s die zijn afgestemd op specifieke faculteitspopulaties [22].
Vanwege de hierboven genoemde specifieke aard van het medisch onderwijs, moeten SET’s die worden gebruikt om algemene hoger onderwijscursussen te evalueren die door één lid van de faculteit worden gegeven, worden aangepast om het geïntegreerde curriculum en de klinische faculteit van medische programma’s te evalueren [14].Daarom is er behoefte aan het ontwikkelen van effectievere SET-modellen en alomvattende beoordelingssystemen voor een effectievere toepassing in het medisch onderwijs.
Het huidige overzicht beschrijft de recente vooruitgang in het gebruik van SET in het (algemeen) hoger onderwijs en de beperkingen ervan, en schetst vervolgens de verschillende behoeften van SET voor medische opleidingen en docenten.Deze review geeft een update over hoe SET kan worden verbeterd op instrumenteel, administratief en interpretatief niveau, en richt zich op de doelstellingen van het ontwikkelen van effectieve SET-modellen en alomvattende beoordelingssystemen die de effectiviteit van het onderwijs effectief zullen meten, de ontwikkeling van professionele gezondheidsopleiders zullen ondersteunen en de kwaliteit van onderwijs kunnen verbeteren. de kwaliteit van het onderwijs in het medisch onderwijs.
Deze studie volgt de studie van Green et al.(2006) [23] voor advies en Baumeister (2013) [24] voor advies over het schrijven van verhalende recensies.We hebben besloten een verhalende recensie over dit onderwerp te schrijven, omdat dit soort recensies een breed perspectief op het onderwerp biedt.Omdat narratieve recensies voortbouwen op methodologisch diverse onderzoeken, helpen ze bovendien bredere vragen te beantwoorden.Bovendien kan verhalend commentaar helpen het denken en de discussie over een onderwerp te stimuleren.
Hoe wordt SET gebruikt in het medisch onderwijs en wat zijn de uitdagingen vergeleken met SET in het algemeen hoger onderwijs?
De databases van Pubmed en ERIC werden doorzocht met behulp van een combinatie van de zoektermen ‘evaluatie van studentenonderwijs’, ‘effectiviteit van onderwijs’, ‘medisch onderwijs’, ‘hoger onderwijs’, ‘curriculum- en faculteitsevaluatie’, en voor Peer Review 2000, logische operatoren .artikelen gepubliceerd tussen 2021 en 2021. Inclusiecriteria: De opgenomen onderzoeken waren originele onderzoeken of overzichtsartikelen, en de onderzoeken waren relevant voor de gebieden van de drie hoofdonderzoeksvragen.Exclusiecriteria: Studies die niet Engelstalig waren of studies waarin full-text artikelen niet gevonden konden worden of niet relevant waren voor de drie hoofdonderzoeksvragen, werden uitgesloten van het huidige reviewdocument.Na het selecteren van publicaties werden ze onderverdeeld in de volgende onderwerpen en bijbehorende subonderwerpen: (a) Het gebruik van SET in het algemeen hoger onderwijs en de beperkingen ervan, (b) Het gebruik van SET in het medisch onderwijs en de relevantie ervan voor het aanpakken van kwesties die verband houden met de vergelijking van SET (c) Verbetering van SET op instrumenteel, management- en interpretatieniveau om effectieve SET-modellen te ontwikkelen.
Figuur 1 biedt een stroomdiagram van geselecteerde artikelen die zijn opgenomen en besproken in het huidige gedeelte van de recensie.
SET wordt traditioneel gebruikt in het hoger onderwijs en het onderwerp is goed bestudeerd in de literatuur [10, 21].Een groot aantal onderzoeken heeft echter de vele beperkingen en pogingen om deze beperkingen aan te pakken onderzocht.
Uit onderzoek blijkt dat er veel variabelen zijn die de SET-scores beïnvloeden [10, 21, 25, 26].Daarom is het belangrijk dat beheerders en docenten deze variabelen begrijpen bij het interpreteren en gebruiken van gegevens.In het volgende gedeelte wordt een kort overzicht van deze variabelen gegeven.Figuur 2 toont enkele van de factoren die de SET-scores beïnvloeden, die in de volgende paragrafen worden beschreven.
De afgelopen jaren is het gebruik van online kits toegenomen in vergelijking met papieren kits.Uit bewijsmateriaal in de literatuur blijkt echter dat online SET kan worden voltooid zonder dat studenten de nodige aandacht besteden aan het voltooiingsproces.In een interessant onderzoek van Uitdehaage en O'Neill [5] werden niet-bestaande docenten aan de SET toegevoegd en gaven veel leerlingen feedback [5].Bovendien suggereert bewijsmateriaal in de literatuur dat studenten vaak geloven dat de voltooiing van SET niet leidt tot een beter opleidingsniveau, wat, in combinatie met het drukke schema van geneeskundestudenten, kan resulteren in lagere responspercentages [27].Hoewel uit onderzoek blijkt dat de meningen van leerlingen die de toets maken niet verschillen van die van de hele groep, kunnen lage responspercentages er toch toe leiden dat docenten de resultaten minder serieus nemen [28].
De meeste online SET's worden anoniem voltooid.Het idee is om leerlingen in staat te stellen hun mening vrijelijk te uiten, zonder de veronderstelling dat hun uiting enige impact zal hebben op hun toekomstige relaties met leraren.In het onderzoek van Alfonso et al. [29] gebruikten onderzoekers anonieme beoordelingen en beoordelingen waarbij beoordelaars hun naam moesten geven (openbare beoordelingen) om de onderwijseffectiviteit van de medische faculteit door bewoners en medische studenten te evalueren.Uit de resultaten bleek dat docenten over het algemeen lager scoorden op de anonieme beoordelingen.De auteurs stellen dat leerlingen eerlijker zijn bij anonieme beoordelingen vanwege bepaalde barrières bij open beoordelingen, zoals beschadigde werkrelaties met deelnemende docenten [29].Er moet echter ook worden opgemerkt dat de anonimiteit die vaak wordt geassocieerd met online SET ertoe kan leiden dat sommige studenten respectloos en represailles nemen tegenover de docent als de beoordelingsscores niet voldoen aan de verwachtingen van de student [30].Uit onderzoek blijkt echter dat studenten zelden respectloze feedback geven, en dit laatste kan nog verder worden beperkt door studenten te leren constructieve feedback te geven [30].
Verschillende onderzoeken hebben aangetoond dat er een verband bestaat tussen de SET-scores van leerlingen, hun verwachtingen over de toetsprestaties en hun toetstevredenheid [10, 21].Strobe (2020) [9] rapporteerde bijvoorbeeld dat studenten gemakkelijke cursussen belonen en leraren zwakke cijfers belonen, wat slecht onderwijs kan aanmoedigen en tot cijferinflatie kan leiden [9].In een recente studie van Looi et al.(2020) [31] Onderzoekers hebben gemeld dat gunstiger SET’s met elkaar verband houden en gemakkelijker te beoordelen zijn.Bovendien is er verontrustend bewijs dat SET omgekeerd evenredig is aan de prestaties van studenten in volgende cursussen: hoe hoger de beoordeling, hoe slechter de prestaties van studenten in volgende cursussen.Cornell et al.(2016)[32] voerden een onderzoek uit om te onderzoeken of studenten relatief meer leerden van leraren van wie ze de SET hoog beoordeelden.De resultaten laten zien dat wanneer het leren aan het einde van een cursus wordt beoordeeld, docenten met de hoogste beoordelingen ook bijdragen aan het leren van de meeste studenten.Wanneer het leren echter wordt gemeten aan de hand van de prestaties in daaropvolgende relevante cursussen, zijn leraren die relatief laag scoren het meest effectief.De onderzoekers veronderstelden dat het op een productieve manier uitdagender maken van een cursus de beoordelingen zou kunnen verlagen, maar het leerproces zou verbeteren.De beoordeling van studenten mag dus niet de enige basis zijn voor de evaluatie van onderwijs, maar moet worden erkend.
Verschillende onderzoeken tonen aan dat de prestaties van SET worden beïnvloed door de cursus zelf en de organisatie ervan.Ming en Baozhi [33] ontdekten in hun onderzoek dat er significante verschillen waren in SET-scores tussen studenten in verschillende vakken.Klinische wetenschappen hebben bijvoorbeeld hogere SET-scores dan basiswetenschappen.De auteurs legden uit dat dit komt omdat medische studenten geïnteresseerd zijn om arts te worden en daarom een persoonlijke interesse en een hogere motivatie hebben om meer deel te nemen aan klinische wetenschappencursussen dan aan basiswetenschappelijke cursussen [33].Net als bij keuzevakken heeft ook de motivatie van studenten voor het vak een positief effect op de scores [21].Verschillende andere onderzoeken ondersteunen ook dat cursustype de SET-scores kan beïnvloeden [10, 21].
Bovendien hebben andere onderzoeken aangetoond dat hoe kleiner de klasgrootte, hoe hoger het niveau van SET dat door leraren wordt bereikt [10, 33].Een mogelijke verklaring is dat kleinere klassen de mogelijkheden voor interactie tussen leraar en leerling vergroten.Daarnaast kunnen de omstandigheden waarin de beoordeling wordt uitgevoerd de resultaten beïnvloeden.SET-scores lijken bijvoorbeeld te worden beïnvloed door het tijdstip en de dag waarop de cursus wordt gegeven, evenals door de dag van de week waarop de SET wordt voltooid (beoordelingen die in het weekend worden voltooid, resulteren doorgaans in positievere scores) dan voltooide beoordelingen. eerder in de week.[10].
Een interessant onderzoek van Hessler et al. stelt ook de effectiviteit van SET in vraag.[34].In dit onderzoek werd een gerandomiseerde gecontroleerde studie uitgevoerd tijdens een cursus spoedeisende geneeskunde.Derdejaars geneeskundestudenten werden willekeurig toegewezen aan een controlegroep of aan een groep die gratis chocoladekoekjes ontving (cookiegroep).Alle groepen kregen les van dezelfde docenten en de trainingsinhoud en het cursusmateriaal waren voor beide groepen identiek.Na de cursus werd aan alle studenten gevraagd een set in te vullen.Uit de resultaten bleek dat de cookiegroep leraren significant beter beoordeelde dan de controlegroep, wat de effectiviteit van SET in twijfel trekt [34].
Bewijs uit de literatuur ondersteunt ook dat geslacht de SET-scores kan beïnvloeden [35,36,37,38,39,40,41,42,43,44,45,46].Sommige onderzoeken hebben bijvoorbeeld een verband aangetoond tussen het geslacht van studenten en de beoordelingsresultaten: vrouwelijke studenten scoorden hoger dan mannelijke studenten [27].Het meeste bewijsmateriaal bevestigt dat studenten vrouwelijke leraren lager beoordelen dan mannelijke leraren [37, 38, 39, 40].Boring et al.[38] toonde aan dat zowel mannelijke als vrouwelijke studenten geloofden dat mannen meer kennis hadden en sterkere leiderschapskwaliteiten hadden dan vrouwen.Het feit dat gender en stereotypen SET beïnvloeden, wordt ook ondersteund door de studie van MacNell et al.[41], die meldde dat studenten in zijn onderzoek vrouwelijke leraren lager beoordeelden dan mannelijke leraren op verschillende aspecten van lesgeven [41].Bovendien leverden Morgan et al [42] bewijs dat vrouwelijke artsen in vier belangrijke klinische rotaties (chirurgie, kindergeneeskunde, verloskunde en gynaecologie, en interne geneeskunde) lagere onderwijsbeoordelingen kregen dan mannelijke artsen.
In het onderzoek van Murray et al. (2020) [43] rapporteerden de onderzoekers dat de aantrekkelijkheid van docenten en de interesse van studenten in de cursus verband hielden met hogere SET-scores.Omgekeerd wordt de moeilijkheidsgraad van de cursus geassocieerd met lagere SET-scores.Bovendien gaven studenten hogere SET-scores aan jonge, blanke mannelijke geesteswetenschappendocenten en aan faculteiten met een volwaardig hoogleraarschap.Er was geen correlatie tussen de evaluaties van het SET-onderwijs en de resultaten van de lerarenenquête.Andere onderzoeken bevestigen ook de positieve impact van de fysieke aantrekkelijkheid van leraren op de beoordelingsresultaten [44].
Clayson et al.(2017) [45] rapporteerden dat, hoewel er algemene overeenstemming bestaat dat SET betrouwbare resultaten oplevert en dat de gemiddelden van klassen en docenten consistent zijn, er nog steeds inconsistenties bestaan in de reacties van individuele leerlingen.Samenvattend geven de resultaten van dit beoordelingsrapport aan dat studenten het niet eens waren met wat hen werd gevraagd te beoordelen.Betrouwbaarheidsmetingen afgeleid van studentenevaluaties van het onderwijs zijn onvoldoende om een basis te bieden voor het vaststellen van de validiteit.Daarom kan SET soms informatie over studenten verstrekken in plaats van over docenten.
Gezondheidsvoorlichting SET verschilt van traditionele SET, maar docenten maken vaak gebruik van SET die beschikbaar is in het algemeen hoger onderwijs in plaats van SET die specifiek is voor programma's voor gezondheidszorgberoepen die in de literatuur worden vermeld.Studies die door de jaren heen zijn uitgevoerd, hebben echter verschillende problemen aan het licht gebracht.
Jones et al. (1994).[46] voerden een onderzoek uit om de vraag te bepalen hoe de medische faculteiten moeten worden geëvalueerd vanuit het perspectief van docenten en bestuurders.Over het geheel genomen hadden de meest genoemde kwesties betrekking op de onderwijsevaluatie.De meest voorkomende waren algemene klachten over de ontoereikendheid van de huidige methoden voor prestatiebeoordeling, waarbij respondenten ook specifieke klachten uitten over SET en het gebrek aan erkenning van lesgeven in academische beloningssystemen.Andere gerapporteerde problemen waren onder meer inconsistente evaluatieprocedures en promotiecriteria binnen afdelingen, een gebrek aan regelmatige evaluaties en het onvermogen om evaluatieresultaten te koppelen aan salarissen.
Royal et al (2018) [11] schetsen enkele beperkingen van het gebruik van SET om het curriculum en de faculteiten van programma's voor gezondheidszorgprofessionals in het algemeen hoger onderwijs te evalueren.Onderzoekers melden dat SET in het hoger onderwijs voor verschillende uitdagingen staat, omdat het niet direct kan worden toegepast op het curriculumontwerp en het lesgeven van cursussen op medische scholen.Veelgestelde vragen, waaronder vragen over de docent en de cursus, worden vaak gecombineerd in één vragenlijst, waardoor studenten vaak moeite hebben deze van elkaar te onderscheiden.Bovendien worden cursussen in medische programma's vaak gegeven door meerdere faculteitsleden.Dit roept vragen op over de validiteit gezien het potentieel beperkte aantal interacties tussen studenten en docenten, beoordeeld door Royal et al.(2018)[11].In een onderzoek van Hwang et al.(2017) [14] onderzochten onderzoekers het concept van hoe retrospectieve cursusevaluaties de percepties van studenten over de cursussen van verschillende docenten volledig weerspiegelen.Hun resultaten suggereren dat geïndividualiseerde klassenbeoordeling noodzakelijk is om cursussen met meerdere afdelingen binnen een geïntegreerd medisch schoolcurriculum te beheren.
Uitdehaage en O'Neill (2015) [5] onderzochten in hoeverre geneeskundestudenten bewust SET volgden in een klassikale cursus met meerdere faculteiten.Bij elk van de twee preklinische cursussen was een fictieve instructeur aanwezig.Studenten moeten binnen twee weken na voltooiing van de cursus anonieme beoordelingen geven aan alle instructeurs (inclusief fictieve instructeurs), maar kunnen weigeren de instructeur te beoordelen.Het jaar daarop gebeurde het opnieuw, maar het portret van de fictieve docent zat er wel bij.Zesenzestig procent van de studenten beoordeelde de virtuele instructeur zonder gelijkenis, maar minder studenten (49%) beoordeelden de virtuele instructeur met aanwezige gelijkenis.Deze bevindingen suggereren dat veel geneeskundestudenten SETs blindelings voltooien, zelfs als ze vergezeld gaan van foto's, zonder zorgvuldig na te denken over wie ze beoordelen, laat staan de prestaties van de instructeur.Dit belemmert de verbetering van de programmakwaliteit en kan schadelijk zijn voor de studievoortgang van docenten.De onderzoekers stellen een raamwerk voor dat een radicaal andere benadering van SET biedt, waarbij studenten actief en actief worden betrokken.
Er zijn nog veel meer verschillen in het onderwijscurriculum van medische opleidingen vergeleken met andere algemene hoger onderwijsprogramma’s [11].Medisch onderwijs is, net als professioneel gezondheidsonderwijs, duidelijk gericht op de ontwikkeling van duidelijk gedefinieerde professionele rollen (klinische praktijk).Als gevolg hiervan worden de curricula van medische en gezondheidsprogramma's statischer, met beperkte keuzemogelijkheden voor cursussen en faculteiten.Interessant is dat medische opleidingen vaak in cohortvorm worden aangeboden, waarbij alle studenten elk semester op hetzelfde tijdstip dezelfde cursus volgen.Daarom kan het inschrijven van een groot aantal studenten (meestal n = 100 of meer) zowel de onderwijsvorm als de leraar-leerlingrelatie beïnvloeden.Bovendien worden op veel medische scholen de psychometrische eigenschappen van de meeste instrumenten bij het eerste gebruik niet beoordeeld, en kunnen de eigenschappen van de meeste instrumenten onbekend blijven [11].
Verschillende onderzoeken van de afgelopen jaren hebben aangetoond dat SET kan worden verbeterd door enkele belangrijke factoren aan te pakken die de effectiviteit van SET op instrumenteel, administratief en interpretatief niveau kunnen beïnvloeden.Figuur 3 toont enkele stappen die kunnen worden gebruikt om een effectief SET-model te creëren.De volgende secties bieden een meer gedetailleerde beschrijving.
Verbeter SET op instrumenteel, management- en interpretatief niveau om effectieve SET-modellen te ontwikkelen.
Zoals eerder vermeld bevestigt de literatuur dat gendervooroordelen de evaluaties van leraren kunnen beïnvloeden [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Peterson et al.(2019) [40] voerden een onderzoek uit waarin werd onderzocht of het geslacht van studenten de reacties van studenten op inspanningen om vooroordelen te verminderen beïnvloedde.In dit onderzoek werd SET gegeven aan vier klassen (twee door mannelijke leraren en twee door vrouwelijke leraren).Binnen elke cursus werden studenten willekeurig toegewezen aan een standaard beoordelingsinstrument of hetzelfde instrument, maar met behulp van taal die was ontworpen om gendervooroordelen te verminderen.Uit het onderzoek bleek dat studenten die anti-bias beoordelingsinstrumenten gebruikten, vrouwelijke leraren significant hogere SET-scores gaven dan studenten die standaard beoordelingsinstrumenten gebruikten.Bovendien waren er geen verschillen in de beoordeling van mannelijke leraren tussen de twee groepen.De resultaten van dit onderzoek zijn significant en laten zien hoe een relatief eenvoudige taalinterventie gendervooroordelen in de evaluaties van het onderwijs door studenten kan verminderen.Daarom is het een goede praktijk om alle SET’s zorgvuldig te overwegen en taal te gebruiken om gendervooroordelen in hun ontwikkeling te verminderen [40].
Om bruikbare resultaten uit een SET te krijgen, is het belangrijk om vooraf zorgvuldig na te denken over het doel van de beoordeling en de formulering van de vragen.Hoewel de meeste SET-enquêtes duidelijk een sectie over organisatorische aspecten van de cursus aangeven, dat wil zeggen “Cursusevaluatie”, en een sectie over faculteit, dat wil zeggen “Lerarenevaluatie”, is het verschil in sommige enquêtes mogelijk niet duidelijk, of kan er verwarring bestaan onder de studenten. over hoe u elk van deze gebieden afzonderlijk kunt beoordelen.Daarom moet het ontwerp van de vragenlijst passend zijn, de twee verschillende delen van de vragenlijst verduidelijken en studenten bewust maken van wat er op elk gebied beoordeeld moet worden.Daarnaast wordt een pilottest aanbevolen om vast te stellen of studenten de vragen op de beoogde manier interpreteren [24].In een onderzoek van Oermann et al.(2018) [26] hebben de onderzoekers literatuur gezocht en gesynthetiseerd die het gebruik van SET in een breed scala aan disciplines in het bachelor- en masteronderwijs beschrijft om docenten advies te geven over het gebruik van SET in programma's voor verpleegkundigen en andere professionals in de gezondheidszorg.De resultaten suggereren dat SET-instrumenten vóór gebruik moeten worden geëvalueerd, inclusief proeftesten van de instrumenten bij studenten die mogelijk niet in staat zijn de SET-instrumentitems of -vragen te interpreteren zoals bedoeld door de instructeur.
Verschillende onderzoeken hebben onderzocht of het SET-bestuursmodel de betrokkenheid van studenten beïnvloedt.
Daumier et al.(2004) [47] vergeleken de beoordelingen van studenten over de in de klas voltooide instructeursopleiding met beoordelingen die online werden verzameld door het aantal reacties en beoordelingen te vergelijken.Uit onderzoek blijkt dat online-enquêtes doorgaans een lager responspercentage hebben dan klassikale enquêtes.Uit het onderzoek bleek echter dat online beoordelingen geen significant andere gemiddelde cijfers opleverden dan traditionele klassikale beoordelingen.
Er werd gerapporteerd dat er sprake was van een gebrek aan tweerichtingscommunicatie tussen studenten en docenten tijdens het voltooien van online (maar vaak gedrukte) SET's, waardoor er geen gelegenheid was voor verduidelijking.Daarom is de betekenis van SET-vragen, opmerkingen of evaluaties van studenten mogelijk niet altijd duidelijk [48].Sommige instellingen hebben dit probleem aangepakt door studenten een uur lang samen te brengen en een specifieke tijd toe te wijzen om de SET online (anoniem) te voltooien [49].In hun onderzoek hebben Malone et al.(2018) [49] hielden verschillende bijeenkomsten om met studenten het doel van SET te bespreken, wie de SET-resultaten zou zien en hoe de resultaten zouden worden gebruikt, en eventuele andere kwesties die door studenten naar voren werden gebracht.SET wordt uitgevoerd als een focusgroep: de collectieve groep beantwoordt open vragen door middel van informeel stemmen, debat en verduidelijking.Het responspercentage bedroeg meer dan 70-80%, waardoor docenten, bestuurders en curriculumcommissies uitgebreide informatie kregen [49].
Zoals hierboven vermeld rapporteerden de onderzoekers in het onderzoek van Uitdehaage en O'Neill [5] dat studenten in hun onderzoek niet-bestaande leraren beoordeelden.Zoals eerder vermeld is dit een veelvoorkomend probleem bij medische opleidingen, waar elke cursus door veel faculteitsleden wordt gegeven, maar studenten zich misschien niet herinneren wie aan elke cursus heeft bijgedragen of wat elk faculteitslid heeft gedaan.Sommige instellingen hebben dit probleem aangepakt door een foto van elke docent, zijn/haar naam en het gepresenteerde onderwerp/de datum te verstrekken om het geheugen van studenten op te frissen en problemen te vermijden die de effectiviteit van SET in gevaar brengen [49].
Misschien wel het belangrijkste probleem dat verband houdt met SET is dat leraren niet in staat zijn de kwantitatieve en kwalitatieve SET-resultaten correct te interpreteren.Sommige leraren willen misschien statistische vergelijkingen over de jaren heen maken, sommigen beschouwen kleine stijgingen/dalingen in gemiddelde scores als betekenisvolle veranderingen, sommigen willen elke enquête geloven, en anderen zijn ronduit sceptisch over welke enquête dan ook [45,50, 51].
Als de resultaten niet correct worden geïnterpreteerd of de feedback van studenten niet wordt verwerkt, kan dit de houding van leraren ten opzichte van lesgeven beïnvloeden.De resultaten van Lutovac et al.(2017) [52] Ondersteunende lerarenopleiding is noodzakelijk en nuttig voor het geven van feedback aan studenten.Medisch onderwijs heeft dringend behoefte aan training in de juiste interpretatie van SET-resultaten.Daarom moeten de medische faculteiten training krijgen over hoe ze de resultaten moeten evalueren en de belangrijke gebieden waarop ze zich moeten concentreren [50, 51].
De beschreven resultaten suggereren dus dat SET’s zorgvuldig moeten worden ontworpen, beheerd en geïnterpreteerd om ervoor te zorgen dat SET-resultaten een betekenisvolle impact hebben op alle relevante belanghebbenden, inclusief docenten, medische schoolbestuurders en studenten.
Vanwege enkele beperkingen van SET moeten we blijven streven naar het creëren van een alomvattend evaluatiesysteem om vooringenomenheid in de effectiviteit van het onderwijs te verminderen en de professionele ontwikkeling van medische docenten te ondersteunen.
Een vollediger inzicht in de klinische onderwijskwaliteit van faculteiten kan worden verkregen door gegevens uit meerdere bronnen te verzamelen en te trianguleren, waaronder studenten, collega's, programmabeheerders en zelfbeoordelingen van faculteiten [53, 54, 55, 56, 57].In de volgende paragrafen worden mogelijke andere hulpmiddelen/methoden beschreven die naast effectieve SET kunnen worden gebruikt om een beter en vollediger inzicht in de effectiviteit van training te helpen ontwikkelen (Figuur 4).
Methoden die kunnen worden gebruikt om een alomvattend model te ontwikkelen van een systeem voor het beoordelen van de effectiviteit van lesgeven op een medische school.
Een focusgroep wordt gedefinieerd als “een groepsdiscussie die wordt georganiseerd om een specifieke reeks kwesties te onderzoeken” [58].De afgelopen jaren hebben medische scholen focusgroepen opgericht om kwaliteitsfeedback van studenten te verkrijgen en enkele valkuilen van online SET aan te pakken.Deze onderzoeken tonen aan dat focusgroepen effectief zijn in het bieden van kwaliteitsfeedback en het vergroten van de tevredenheid van studenten [59, 60, 61].
In een onderzoek van Brundle et al.[59] De onderzoekers implementeerden een groepsproces voor studentenevaluatie waardoor cursusleiders en studenten cursussen in focusgroepen konden bespreken.De resultaten geven aan dat focusgroepdiscussies een aanvulling vormen op online beoordelingen en de tevredenheid van studenten over het algehele cursusbeoordelingsproces vergroten.Studenten waarderen de mogelijkheid om rechtstreeks met cursusleiders te communiceren en zijn van mening dat dit proces kan bijdragen aan onderwijsverbetering.Ze hadden ook het gevoel dat ze het standpunt van de cursusleider konden begrijpen.Naast studenten beoordeelden cursusleiders ook dat focusgroepen een effectievere communicatie met studenten mogelijk maakten [59].Het gebruik van focusgroepen kan medische scholen dus een vollediger inzicht geven in de kwaliteit van elke cursus en de onderwijseffectiviteit van de betreffende faculteit.Er moet echter worden opgemerkt dat de focusgroepen zelf enkele beperkingen hebben, zoals dat slechts een klein aantal studenten eraan deelneemt vergeleken met het online SET-programma, dat voor alle studenten beschikbaar is.Bovendien kan het houden van focusgroepen voor verschillende cursussen een tijdrovend proces zijn voor adviseurs en studenten.Dit brengt aanzienlijke beperkingen met zich mee, vooral voor medische studenten die een zeer drukke agenda hebben en klinische stages op verschillende geografische locaties kunnen ondernemen.Daarnaast vereisen focusgroepen een groot aantal ervaren facilitators.Het opnemen van focusgroepen in het evaluatieproces kan echter meer gedetailleerde en specifieke informatie opleveren over de effectiviteit van training [48, 59, 60, 61].
Schiekierka-Schwacke et al.(2018) [62] onderzochten de perceptie van studenten en docenten van een nieuw instrument voor het beoordelen van docentenprestaties en leerresultaten van studenten in twee Duitse medische scholen.Er werden focusgroepdiscussies en individuele interviews gehouden met docenten en medische studenten.Docenten waardeerden de persoonlijke feedback die de beoordelingstool bood, en leerlingen meldden dat er een feedbacklus, inclusief doelen en consequenties, gecreëerd zou moeten worden om de rapportage van beoordelingsgegevens aan te moedigen.De resultaten van dit onderzoek ondersteunen dus het belang van het sluiten van de communicatiecyclus met studenten en het informeren van hen over de beoordelingsresultaten.
Peer Review of Teaching (PRT)-programma’s zijn erg belangrijk en worden al vele jaren in het hoger onderwijs geïmplementeerd.PRT omvat een samenwerkingsproces waarbij het lesgeven wordt geobserveerd en feedback wordt gegeven aan de waarnemer om de effectiviteit van het lesgeven te verbeteren [63].Bovendien kunnen zelfreflectieoefeningen, gestructureerde vervolggesprekken en het systematisch toewijzen van getrainde collega's de effectiviteit van PRT en de onderwijscultuur van de afdeling helpen verbeteren [64].Er wordt gerapporteerd dat deze programma's veel voordelen hebben, omdat ze leraren kunnen helpen constructieve feedback te krijgen van collega-leraren die in het verleden mogelijk met soortgelijke problemen te maken hebben gehad, en omdat ze meer steun kunnen bieden door nuttige suggesties voor verbetering te geven [63].Bovendien kan peer review, indien constructief gebruikt, de inhoud van de cursus en de wijze van lesgeven verbeteren, en medische docenten ondersteunen bij het verbeteren van de kwaliteit van hun onderwijs [65, 66].
Een recente studie van Campbell et al.(2019) [67] leveren bewijs dat het peer-supportmodel op de werkplek een aanvaardbare en effectieve strategie voor lerarenontwikkeling is voor docenten in de klinische gezondheidszorg.In een ander onderzoek hebben Caygill et al.[68] voerden een onderzoek uit waarbij een speciaal ontworpen vragenlijst werd gestuurd naar gezondheidsvoorlichters aan de Universiteit van Melbourne om hen in staat te stellen hun ervaringen met het gebruik van PRT te delen.De resultaten geven aan dat er onder medische docenten een opgekropte belangstelling voor PRT bestaat en dat het vrijwillige en informatieve peer review-format wordt beschouwd als een belangrijke en waardevolle mogelijkheid voor professionele ontwikkeling.
Het is vermeldenswaard dat PRT-programma’s zorgvuldig moeten worden ontworpen om te voorkomen dat er een veroordelende, “management”-omgeving ontstaat die vaak leidt tot verhoogde angst onder geobserveerde leraren [69].Daarom moet het doel zijn om zorgvuldig PRT-plannen te ontwikkelen die het creëren van een veilige omgeving aanvullen en vergemakkelijken en constructieve feedback bieden.Daarom is er een speciale training nodig om reviewers op te leiden, en bij PRT-programma's mogen alleen werkelijk geïnteresseerde en ervaren docenten betrokken zijn.Dit is vooral van belang als de informatie verkregen uit het PRT wordt gebruikt bij faculteitsbeslissingen zoals promoties naar hogere niveaus, salarisverhogingen en promoties naar belangrijke administratieve functies.Opgemerkt moet worden dat PRT tijdrovend is en, net als focusgroepen, de deelname vereist van een groot aantal ervaren faculteitsleden, waardoor deze aanpak moeilijk te implementeren is op medische scholen met weinig middelen.
Newman et al.(2019) [70] beschrijven strategieën die vóór, tijdens en na de training worden gebruikt, observaties die de beste praktijken benadrukken en oplossingen voor leerproblemen identificeren.De onderzoekers gaven twaalf suggesties aan de reviewers, waaronder: (1) kies je woorden verstandig;(2) laat de waarnemer de richting van de discussie bepalen;(3) houd feedback vertrouwelijk en geformatteerd;(4) houd feedback vertrouwelijk en geformatteerd;Feedback richt zich op de onderwijsvaardigheden en niet op de individuele leraar;(5) Leer uw collega's kennen (6) Houd rekening met uzelf en anderen (7) Onthoud dat voornaamwoorden een belangrijke rol spelen bij het geven van feedback, (8) Gebruik vragen om licht te werpen op het onderwijsperspectief, (10) Creëer vertrouwen in processen en feedback in peer-observaties, (11) observatie van het leren tot een win-winsituatie maken, (12) een actieplan opstellen.Onderzoekers onderzoeken ook de impact van vooringenomenheid op observaties en hoe het proces van leren, observeren en bespreken van feedback voor beide partijen waardevolle leerervaringen kan opleveren, wat kan leiden tot langdurige partnerschappen en verbeterde onderwijskwaliteit.Gomaly et al.(2014) [71] rapporteerden dat de kwaliteit van effectieve feedback (1) verduidelijking van de taak door het geven van aanwijzingen, (2) verhoogde motivatie om grotere inspanningen aan te moedigen, en (3) de perceptie van de ontvanger van het proces als een waardevol proces zou moeten omvatten.verstrekt door een gerenommeerde bron.
Hoewel de medische faculteit feedback krijgt over PRT, is het belangrijk om de faculteit te trainen in het interpreteren van feedback (vergelijkbaar met de aanbeveling om training te krijgen in SET-interpretatie) en om de faculteit voldoende tijd te geven om constructief na te denken over de ontvangen feedback.
Posttijd: 24 november 2023