Hämtad från MedFaks tidigare QPS-blogg.
Publiceringsdatum: 2019-11-27 | Författare: Teresa Lindstedt
Till vad använder du QPS?
”Som examinator är jag ansvarig för ett stort kunskapsprov på termin tre på läkarprogrammet. I våras gjorde vi det skriftliga provet för första gången till en digital examination med hjälp QPS och i augusti gjorde vi ett motsvarande omprov. Provet testar en hel termins studier och är 120 frågor av singel best answer-modell. Denna termin har vi också använt QPS till en inlämningsuppgift i vetenskapligt förhållningssätt där studenterna skriver ett abstract och laddar upp och håller en muntlig presentation. Båda dessa moment bedöms i QPS enligt specifika kriterier. Andra kursmål examineras på andra sätt, vi har en digital portfölj som ligger utanför QPS men tanken är att vi ska få in all form av examination i QPS.”
Vilken är den största skillnaden mot tidigare system?
”Den allra största skillnaden upplever jag med det digitala kunskapsprovet. Vi använde tidigare wordformat när vi skapade det. Det gav dålig översikt. Det sparades lokalt och var ju ingen databas man kunde söka i. Man kunde heller inte riktigt veta när en fråga användes förra gången. Vi försökte hålla ordning på sånt manuellt men det cirkulerade flera olika versioner av word-dokumentet och det var svårt att veta vilken var den senast uppdaterade. Som examinator har jag större kontroll på processen nu, det känns tryggt. Det blir också en bättre examination för studenterna. Vi får bättre frågor, mest på grund av de hjälpfunktioner QPS har. Jag har kursmål direkt kopplade till examinationen och gör en kontroll ungefär när vi är halvvägs till ett färdigt prov för att se att alla kursmål har täckts upp. Man ser om man har missat något mål och om man har för många frågor på ett mål. Den överblicken gick inte att ha i word.”
Fler skillnader?
”Vi har en granskningsgrupp på fem personer. Arbetet för gruppen blir mycket tydligare med QPS. Vi skriver feedback till frågorna direkt i QPS och har sen fysiska möten där frågorna diskuterades. QPS ger oss tid att utvärdera frågornas solo-taxonomi och att utvärdera frågans relevans för kunskapsmålen. Man kan flagga upp en fråga, det ger en överblick och minskar risken att något glöms bort. Det digitala systemet förenklar helt enkelt vårt arbetssätt. Tillgängligheten är också bra. Man kan sitta på tåget och logga in från vilken digital enhet som helst.”
Vad har du lärt dig längs vägen?
”Många saker egentligen. Det är roligt att vara med i ett pilotprojekt och kunna påverka den slutgiltiga produkten. Vi har utformat vissa funktioner efter hand. Egentligen handlar det mest om att man med hjälp av systemet lär sig vilket sätt som är bäst att arbeta på. Denna termin arbetar vi med utgångspunkt i kursmålen och gör alla frågor som rör exempelvis levern både till provet och omprovet samtidigt. Det sparar tid, har vi lärt oss sedan i våras. Systemet hjälper oss också att förstå varför en fråga är bra eller inte. Det kan vara svårt. Nu ser man lättare om en fråga är utformad så att den ger svaret på en annan fråga, man ser att en fråga testar på två olika nivåer och vi har exempelvis fått upp ögonen för att de långa ingresser som vi tidigare i vissa fall var onödiga. Men i ärlighetens namn så har det också tagit mycket tid, exempelvis att hitta nya rutiner.”
Vad vill du tipsa andra om?
”Var inte rädd att testa även om det känns annorlunda med ett nytt system. Tidigare var vi själva systemet, nu sköter QPS det vi tidigare gjorde manuellt. Sökfunktionen är ju helt central och väldigt bra. Om jag nu söker på njuren får jag upp alla frågor om den, det tror jag är tidsbesparande. Verktyget ’analytics’ gör att vi verkligen kan förstå examinationsresultatet med hjälp av utförlig statistik. Med hjälp av det resonerar vi kring vad kan det bero på om studenterna inte klarar vissa mål bra. Är det kanske något i våra PBL-fall som är fel? Se QPS inte bara som ett examinationsverktyg utan också som ett sätt att självutvärdera. Vi har faktiskt haft vadslagning i granskningsgruppen när någon av oss tycker att en fråga är för svår. Sen har vi tittat i efterhand i statistiken, det är kul.
Hur har reaktionerna från studenterna varit?
”Först var det mycket oro, de pratade mycket om hur det skulle bli. Vi erbjöd dem då ett övningsprov som de fick göra ett par veckor i förväg hemma. När de på så sätt hade fått möjlighet att träna på systemet var det sen inga problem. De tyckte att det var bättre än när de skrev manuellt på papper – att det var lättare att göra rent ’mekaniska misstag’ med den gamla svarsmallen.”
Vad önskar du var annorlunda i QPS?
”Jag vill enkelt kunna flytta frågor mellan olika kunskapsprov, det är något man gör mycket. Nu är processen omständlig. Vi har mellan 10 och 15 olika frågeskrivare och då är det lätt att de skriver frågor om samma sak. För att förhindra överlapp flyttar man då frågor.”
Finns det något annat vi ska tänka på framöver?
”Olika utbildningsprogram har säkert olika behov, det är viktigt att vi fångar upp det. Men i princip har vi ju liknande examensuppgifter så om någon kommer på någonting bra, så måste vi dela med oss. Ännu mer konkret har vi redan använt en fråga relaterad till cellbiologi från termin ett i vårt prov. Det är jättebra att kunna göra så. Framför allt om en fråga bygger på tidigare kunskap så kan man hämta en fråga från ett tidigare prov och skriva om den så att den passar andra krav. Då blir progressionen dessutom tydlig för studenten.”