Bedankt voor uw bezoek aan Nature.com.De browserversie die u gebruikt, heeft beperkte CSS-ondersteuning.Voor de beste resultaten raden wij u aan een nieuwere versie van uw browser te gebruiken (of de compatibiliteitsmodus in Internet Explorer uit te schakelen).Om voortdurende ondersteuning te garanderen, tonen we de site in de tussentijd zonder stijl of JavaScript.
De toepassingen van klinische kunstmatige intelligentie (AI) groeien snel, maar de bestaande curricula van medische scholen bieden beperkt onderwijs op dit gebied.Hier beschrijven we een training over kunstmatige intelligentie die we hebben ontwikkeld en gegeven aan Canadese medische studenten, en doen we aanbevelingen voor toekomstige trainingen.
Kunstmatige intelligentie (AI) in de geneeskunde kan de efficiëntie op de werkplek verbeteren en de klinische besluitvorming ondersteunen.Om het gebruik van kunstmatige intelligentie veilig te kunnen begeleiden, moeten artsen enig inzicht hebben in kunstmatige intelligentie.In veel reacties wordt gepleit voor het aanleren van AI-concepten1, zoals het uitleggen van AI-modellen en verificatieprocessen2.Er zijn echter weinig gestructureerde plannen geïmplementeerd, vooral op nationaal niveau.Pinto dos Santos et al.3.Er werden 263 medische studenten ondervraagd en 71% was het ermee eens dat ze een opleiding in kunstmatige intelligentie nodig hadden.Het onderwijzen van kunstmatige intelligentie aan een medisch publiek vereist een zorgvuldig ontwerp dat technische en niet-technische concepten combineert voor studenten die vaak over uitgebreide voorkennis beschikken.We beschrijven onze ervaring met het geven van een reeks AI-workshops aan drie groepen medische studenten en doen aanbevelingen voor toekomstig medisch onderwijs in AI.
Onze vijf weken durende workshop Introductie tot Kunstmatige Intelligentie in de Geneeskunde voor geneeskundestudenten werd tussen februari 2019 en april 2021 drie keer gehouden. Een schema voor elke workshop, met een korte beschrijving van de wijzigingen in de cursus, wordt weergegeven in Figuur 1. Onze cursus heeft drie primaire leerdoelen: studenten begrijpen hoe gegevens worden verwerkt in toepassingen van kunstmatige intelligentie, analyseren de literatuur over kunstmatige intelligentie voor klinische toepassingen en profiteren van de mogelijkheden om samen te werken met ingenieurs die kunstmatige intelligentie ontwikkelen.
Blauw is het onderwerp van de lezing en lichtblauw is de interactieve vraag- en antwoordperiode.Het grijze gedeelte is de focus van het korte literatuuroverzicht.De oranje secties zijn geselecteerde casestudies die modellen of technieken voor kunstmatige intelligentie beschrijven.Green is een begeleide programmeercursus die is ontworpen om kunstmatige intelligentie te leren klinische problemen op te lossen en modellen te evalueren.De inhoud en duur van de workshops variëren op basis van een beoordeling van de behoeften van de studenten.
De eerste workshop werd van februari tot april 2019 gehouden aan de Universiteit van British Columbia en alle 8 deelnemers gaven positieve feedback4.Vanwege COVID-19 werd de tweede workshop virtueel gehouden in oktober-november 2020, waarbij 222 geneeskundestudenten en 3 bewoners van 8 Canadese medische scholen zich registreerden.Presentatiedia's en code zijn geüpload naar een open access-site (http://ubcaimed.github.io).De belangrijkste feedback uit de eerste iteratie was dat de lezingen te intens waren en de stof te theoretisch.Het bedienen van de zes verschillende tijdzones van Canada brengt extra uitdagingen met zich mee.Zo verkortte de tweede workshop elke sessie tot 1 uur, vereenvoudigde het cursusmateriaal, voegde meer casestudies toe en creëerde standaardprogramma's waarmee deelnemers codefragmenten konden voltooien met minimale foutopsporing (Box 1).De belangrijkste feedback uit de tweede iteratie omvatte positieve feedback op de programmeeroefeningen en een verzoek om de planning voor een machine learning-project te demonstreren.Daarom hebben we in onze derde workshop, die in maart-april 2021 virtueel werd gehouden voor 126 geneeskundestudenten, meer interactieve codeeroefeningen en projectfeedbacksessies opgenomen om de impact van het gebruik van workshopconcepten op projecten te demonstreren.
Gegevensanalyse: een studiegebied in de statistiek dat betekenisvolle patronen in gegevens identificeert door gegevenspatronen te analyseren, verwerken en communiceren.
Datamining: het proces van het identificeren en extraheren van gegevens.In de context van kunstmatige intelligentie is dit vaak groot, met meerdere variabelen voor elke steekproef.
Dimensionaliteitsreductie: het proces waarbij gegevens met veel individuele kenmerken worden omgezet in minder kenmerken, terwijl de belangrijke eigenschappen van de oorspronkelijke dataset behouden blijven.
Kenmerken (in het kader van kunstmatige intelligentie): meetbare eigenschappen van een monster.Vaak door elkaar gebruikt met ‘eigenschap’ of ‘variabel’.
Gradient Activation Map: Een techniek die wordt gebruikt om modellen voor kunstmatige intelligentie te interpreteren (vooral convolutionele neurale netwerken), die het proces analyseert van het optimaliseren van het laatste deel van het netwerk om gebieden met gegevens of afbeeldingen te identificeren die zeer voorspellend zijn.
Standaardmodel: een bestaand AI-model dat vooraf is getraind om soortgelijke taken uit te voeren.
Testen (in de context van kunstmatige intelligentie): observeren hoe een model een taak uitvoert met behulp van gegevens die het nog niet eerder is tegengekomen.
Training (in de context van kunstmatige intelligentie): Een model voorzien van gegevens en resultaten, zodat het model zijn interne parameters aanpast om zijn vermogen om taken uit te voeren met behulp van nieuwe gegevens te optimaliseren.
Vector: reeks gegevens.Bij machinaal leren is elk array-element doorgaans een uniek kenmerk van het voorbeeld.
Tabel 1 geeft een overzicht van de nieuwste cursussen voor april 2021, inclusief gerichte leerdoelen per onderwerp.Deze workshop is bedoeld voor mensen die nieuw zijn op technisch niveau en vereist geen wiskundige kennis na het eerste jaar van een bachelordiploma in de geneeskunde.De cursus is ontwikkeld door 6 medische studenten en 3 docenten met een hogere graad in techniek.Ingenieurs ontwikkelen kunstmatige-intelligentietheorieën om les te geven, en medische studenten leren klinisch relevant materiaal.
Workshops omvatten lezingen, case studies en begeleide programmering.In de eerste lezing bespreken we geselecteerde concepten van data-analyse in de biostatistiek, waaronder datavisualisatie, logistische regressie en de vergelijking van beschrijvende en inductieve statistieken.Hoewel data-analyse de basis vormt van kunstmatige intelligentie, sluiten we onderwerpen als datamining, significantietesten of interactieve visualisatie uit.Dit was te wijten aan tijdgebrek en ook omdat sommige studenten een voorafgaande opleiding in biostatistiek hadden genoten en meer unieke machine learning-onderwerpen wilden behandelen.De daaropvolgende lezing introduceert moderne methoden en bespreekt AI-probleemformulering, voordelen en beperkingen van AI-modellen, en het testen van modellen.De lezingen worden aangevuld met literatuur en praktijkonderzoek naar bestaande kunstmatige intelligentie-apparaten.We benadrukken de vaardigheden die nodig zijn om de effectiviteit en haalbaarheid van een model te evalueren om klinische vragen te beantwoorden, inclusief het begrijpen van de beperkingen van bestaande kunstmatige intelligentie-apparaten.We hebben studenten bijvoorbeeld gevraagd de richtlijnen voor hoofdletsel bij kinderen te interpreteren, voorgesteld door Kupperman et al., 5, waarin een beslissingsboomalgoritme voor kunstmatige intelligentie werd geïmplementeerd om te bepalen of een CT-scan nuttig zou zijn op basis van een artsonderzoek.We benadrukken dat dit een veelvoorkomend voorbeeld is van AI die voorspellende analyses biedt die artsen kunnen interpreteren, in plaats van artsen te vervangen.
In de beschikbare open source bootstrap-programmeervoorbeelden (https://github.com/ubcaimed/ubcaimed.github.io/tree/master/programming_examples) demonstreren we hoe we verkennende data-analyse, dimensionaliteitsreductie, standaardmodelladen en training uitvoeren .en testen.We gebruiken Google Colaboratory-notebooks (Google LLC, Mountain View, CA), waarmee Python-code vanuit een webbrowser kan worden uitgevoerd.In figuur 2 wordt een voorbeeld gegeven van een programmeeroefening.Deze oefening omvat het voorspellen van maligniteiten met behulp van de Wisconsin Open Breast Imaging Dataset6 en een beslissingsboomalgoritme.
Presenteer de hele week programma's over gerelateerde onderwerpen en selecteer voorbeelden uit gepubliceerde AI-toepassingen.Programmeerelementen worden alleen opgenomen als ze relevant worden geacht voor het verschaffen van inzicht in de toekomstige klinische praktijk, zoals hoe modellen moeten worden geëvalueerd om te bepalen of ze klaar zijn voor gebruik in klinische onderzoeken.Deze voorbeelden culmineren in een volwaardige end-to-end toepassing die tumoren classificeert als goedaardig of kwaadaardig op basis van medische beeldparameters.
Heterogeniteit van voorkennis.Onze deelnemers varieerden in hun niveau van wiskundige kennis.Studenten met een geavanceerde technische achtergrond zijn bijvoorbeeld op zoek naar meer diepgaand materiaal, zoals hoe ze hun eigen Fourier-transformaties kunnen uitvoeren.Het bespreken van het Fourier-algoritme in de klas is echter niet mogelijk omdat dit diepgaande kennis van signaalverwerking vereist.
Uitstroom van bezoekers.De opkomst bij vervolgbijeenkomsten daalde, vooral bij online formats.Een oplossing kan zijn om de aanwezigheid bij te houden en een certificaat van voltooiing te verstrekken.Het is bekend dat medische scholen transcripties van de buitenschoolse academische activiteiten van studenten herkennen, wat studenten kan aanmoedigen een diploma te behalen.
Cursusontwerp: Omdat AI zoveel subvelden omvat, kan het een uitdaging zijn om kernconcepten met de juiste diepgang en breedte te selecteren.Zo is de continuïteit van het gebruik van AI-tools van het laboratorium tot de kliniek een belangrijk onderwerp.Hoewel we de voorverwerking van gegevens, het bouwen van modellen en validatie behandelen, behandelen we geen onderwerpen als big data-analyse, interactieve visualisatie of het uitvoeren van klinische AI-proeven. In plaats daarvan concentreren we ons op de meest unieke AI-concepten.Ons leidende principe is het verbeteren van de geletterdheid, niet van de vaardigheden.Het begrijpen van hoe een model invoerkenmerken verwerkt, is bijvoorbeeld belangrijk voor de interpreteerbaarheid.Eén manier om dit te doen is het gebruik van gradiëntactiveringskaarten, die kunnen visualiseren welke regio's van de gegevens voorspelbaar zijn.Dit vereist echter multivariate calculus en kan niet worden geïntroduceerd8.Het ontwikkelen van een gemeenschappelijke terminologie was een uitdaging omdat we probeerden uit te leggen hoe we met gegevens als vectoren konden werken zonder wiskundig formalisme.Merk op dat verschillende termen dezelfde betekenis hebben. In de epidemiologie wordt een ‘kenmerk’ bijvoorbeeld beschreven als een ‘variabele’ of ‘attribuut’.
Kennis vasthouden.Omdat de toepassing van AI beperkt is, valt het nog te bezien in hoeverre deelnemers kennis vasthouden.De curricula van medische scholen zijn vaak gebaseerd op gespreide herhaling om de kennis tijdens praktische rotaties te versterken9, wat ook kan worden toegepast op AI-onderwijs.
Professionaliteit is belangrijker dan geletterdheid.De diepgang van het materiaal is ontworpen zonder wiskundige nauwkeurigheid, wat een probleem was bij het lanceren van klinische cursussen in kunstmatige intelligentie.In de programmeervoorbeelden gebruiken we een sjabloonprogramma waarmee deelnemers velden kunnen invullen en de software kunnen uitvoeren zonder dat ze hoeven uit te zoeken hoe ze een complete programmeeromgeving moeten opzetten.
Zorgen over kunstmatige intelligentie aangepakt: Er bestaat wijdverbreide bezorgdheid dat kunstmatige intelligentie sommige klinische taken zou kunnen vervangen3.Om dit probleem aan te pakken leggen we de beperkingen van AI uit, inclusief het feit dat bijna alle AI-technologieën die door toezichthouders zijn goedgekeurd, toezicht van een arts vereisen11.We benadrukken ook het belang van bias omdat algoritmen gevoelig zijn voor bias, vooral als de dataset niet divers is12.Bijgevolg kan een bepaalde subgroep verkeerd worden gemodelleerd, wat leidt tot oneerlijke klinische beslissingen.
Bronnen zijn openbaar beschikbaar: We hebben openbaar beschikbare bronnen gemaakt, inclusief dia's en code voor lezingen.Hoewel de toegang tot synchrone inhoud beperkt is vanwege tijdzones, is open source-inhoud een handige methode voor asynchroon leren, aangezien AI-expertise niet op alle medische scholen beschikbaar is.
Interdisciplinaire samenwerking: Deze workshop is een joint venture geïnitieerd door medische studenten om samen met ingenieurs cursussen te plannen.Dit toont samenwerkingsmogelijkheden en kennislacunes op beide gebieden aan, waardoor deelnemers inzicht krijgen in de potentiële rol die zij in de toekomst kunnen bijdragen.
Definieer AI-kerncompetenties.Het definiëren van een lijst met competenties biedt een gestandaardiseerde structuur die kan worden geïntegreerd in bestaande, op competentie gebaseerde medische curricula.Deze workshop maakt momenteel gebruik van leerdoelniveaus 2 (Begrijpen), 3 (Toepassing) en 4 (Analyse) van Bloom's Taxonomie.Het hebben van middelen op hogere classificatieniveaus, zoals het creëren van projecten, kan de kennis verder versterken.Dit vereist samenwerking met klinische experts om te bepalen hoe AI-onderwerpen kunnen worden toegepast op klinische workflows en om het onderwijzen van repetitieve onderwerpen te voorkomen die al zijn opgenomen in standaard medische curricula.
Creëer casestudy's met behulp van AI.Net als bij klinische voorbeelden kan case-based learning abstracte concepten versterken door hun relevantie voor klinische vragen te benadrukken.In een workshopstudie werd bijvoorbeeld het AI-gebaseerde detectiesysteem voor diabetische retinopathie van Google 13 geanalyseerd om uitdagingen op het traject van laboratorium naar kliniek te identificeren, zoals externe validatievereisten en goedkeuringstrajecten van regelgevende instanties.
Maak gebruik van ervaringsleren: Technische vaardigheden vereisen gerichte oefening en herhaalde toepassing om ze onder de knie te krijgen, vergelijkbaar met de wisselende leerervaringen van klinische stagiairs.Eén mogelijke oplossing is het flipped classroom-model, waarvan wordt gerapporteerd dat het de kennisretentie in het technisch onderwijs verbetert14.In dit model beoordelen studenten het theoretische materiaal zelfstandig en wordt de lestijd besteed aan het oplossen van problemen aan de hand van casestudies.
Schaalvergroting voor multidisciplinaire deelnemers: we voorzien de adoptie van AI met samenwerking tussen meerdere disciplines, waaronder artsen en paramedische professionals in de gezondheidszorg met verschillende opleidingsniveaus.Daarom moeten curricula mogelijk worden ontwikkeld in overleg met docenten van verschillende afdelingen om de inhoud ervan af te stemmen op verschillende gebieden van de gezondheidszorg.
Kunstmatige intelligentie is hightech en de kernconcepten ervan houden verband met wiskunde en informatica.Het trainen van gezondheidszorgpersoneel om kunstmatige intelligentie te begrijpen brengt unieke uitdagingen met zich mee op het gebied van inhoudselectie, klinische relevantie en leveringsmethoden.We hopen dat de inzichten uit de AI in Education-workshops toekomstige docenten zullen helpen innovatieve manieren te omarmen om AI in het medisch onderwijs te integreren.
Het Google Colaboratory Python-script is open source en beschikbaar op: https://github.com/ubcaimed/ubcaimed.github.io/tree/master/.
Prober, KG en Khan, S. Medisch onderwijs heroverwegen: een oproep tot actie.Akkad.geneesmiddel.88, 1407–1410 (2013).
McCoy, LG etc. Wat moeten medische studenten echt weten over kunstmatige intelligentie?NPZh-nummers.Geneeskunde 3, 1–3 (2020).
Dos Santos, DP, et al.De houding van medische studenten ten opzichte van kunstmatige intelligentie: een multicenteronderzoek.EURO.straling.29, 1640–1646 (2019).
Fan, KY, Hu, R., en Singla, R. Inleiding tot machinaal leren voor medische studenten: een pilotproject.J. Med.onderwijzen.54, 1042–1043 (2020).
Cooperman N, et al.Identificatie van kinderen met een zeer laag risico op klinisch significant hersenletsel na hoofdletsel: een prospectieve cohortstudie.Lancet 374, 1160-1170 (2009).
Straat, WN, Wolberg, WH en Mangasarian, OL.Extractie van nucleaire kenmerken voor de diagnose van borsttumoren.Biomedische wetenschappen.Afbeelding verwerken.Biomedische wetenschappen.Weiss.1905, 861-870 (1993).
Chen, PHC, Liu, Y. en Peng, L. Hoe machine learning-modellen voor de gezondheidszorg kunnen worden ontwikkeld.Nat.Mat.18, 410–414 (2019).
Selvaraju, RR et al.Grad-cam: Visuele interpretatie van diepe netwerken via op gradiënt gebaseerde lokalisatie.Proceedings van de IEEE Internationale Conferentie over Computer Vision, 618–626 (2017).
Kumaravel B, Stewart K en Ilic D. Ontwikkeling en evaluatie van een spiraalmodel voor het beoordelen van evidence-based geneeskundecompetenties met behulp van de OVSE in het niet-gegradueerde medische onderwijs.BMK-geneeskunde.onderwijzen.21, 1–9 (2021).
Kolachalama VB en Garg PS Machine learning en medisch onderwijs.NPZh-nummers.geneesmiddel.1, 1–3 (2018).
van Leeuwen, KG, Schalekamp, S., Rutten, MJ, van Ginneken, B. en de Rooy, M. Kunstmatige intelligentie in radiologie: 100 commerciële producten en hun wetenschappelijk bewijs.EURO.straling.31, 3797–3804 (2021).
Topol, EJ Hoogwaardige geneeskunde: de convergentie van menselijke en kunstmatige intelligentie.Nat.geneesmiddel.25, 44–56 (2019).
Bede, E. et al.Mensgerichte evaluatie van een diepgaand leersysteem dat in de kliniek wordt ingezet voor de detectie van diabetische retinopathie.Proceedings van de CHI-conferentie van 2020 over menselijke factoren in computersystemen (2020).
Kerr, B. Het omgedraaide klaslokaal in technisch onderwijs: een onderzoeksoverzicht.Proceedings van de internationale conferentie over interactief samenwerkend leren 2015 (2015).
De auteurs danken Danielle Walker, Tim Salcudin en Peter Zandstra van het Biomedical Imaging and Artificial Intelligence Research Cluster van de University of British Columbia voor steun en financiering.
RH, PP, ZH, RS en MA waren verantwoordelijk voor het ontwikkelen van de lesinhoud van de workshop.RH en PP waren verantwoordelijk voor het ontwikkelen van de programmeervoorbeelden.KYF, OY, MT en PW waren verantwoordelijk voor de logistieke organisatie van het project en de analyse van de workshops.RH, OY, MT, RS waren verantwoordelijk voor het maken van de figuren en tabellen.RH, KYF, PP, ZH, OY, MY, PW, TL, MA, RS waren verantwoordelijk voor het opstellen en redigeren van het document.
Communication Medicine bedankt Carolyn McGregor, Fabio Moraes en Aditya Borakati voor hun bijdragen aan de recensie van dit werk.
Posttijd: 19 februari 2024