Navigering

Under "Questions to evaluate" ser du alla fritextfrågor som var med på provet:

Klicka på en fråga för att börja bedömningen. Då ser det ut så här:

Question. Här visas frågeställningen.

Marking. Här visas frågans maxpoäng och eventuella bedömningsinstruktioner. Läs mer om note for examiners.

Student's response. Här kan du se provdeltagarens svar. Om det finns en ordgräns och provdeltagaren överskrider gränsen så visas det med en gul varningsruta: 

 

Exam overview

Cronbach's α. Är ett mått på samvariationen mellan frågorna på provet. Det ger en fingervisning om resultatens tillförlitlighet. Värdet på Cronbach's α varierar mellan 0 (ingen samvariation mellan resultatet på varje enskild frågan fråga och totalresultatet) och 1 (fullständig samvariation).

Tillförlitligheten beror dock även på antalet frågor och antalet orelaterade kunskapsområden som provet omfattar. Rent matematiskt ökar Cronbach"s α med antalet frågor, vilket inte nödvändigtvis innebär ökad tillförlitlighet. Tillförlitliga tentamensresultat bör ha ett värde på minst 0,7 (och gärna högre än 0,9 om det är många frågor). Man bör alltså inte övertolka detta mått utan att ta hänsyn till antalet frågor och kunskapsområden.

SEM for mean. Kort för Standard Error of Measurement, vilket är ett mått på hur bra provet mäter provdeltagarens teoretiskt “sanna” poäng (score). Enheten är poängtal på provet. Ju högre tillförlitlighet provet har (här mätt med Cronbach"s α) desto lägre mätfel (SEM) får vi. Om en student får 100 poäng på provet och SEM är 5, så är studentens ”sanna” poängtal (med ett konfidensintervall på 68%) mellan 95 och 105 poäng. SEM måste beräknas för varje provdeltagare, men SEM för en genomsnittsstudent som anges här är en god indikator på det generella mätfelet (measurement error).

Number of candidates. Antal provdeltagare som genomförde provet.

Pass mark. Den nuvarande godkäntgränsen. Läs mer om hur du ändrar gränsen för godkänt.  

Pass rate. Här ser du se hur många procent av provdeltagarna som klarade provet.

Distribution. Här kan du se hur många procent av provdeltagarna som klarade provet och inte.

Knappen pass rate. Klicka här för att beräkna vilken godkäntgräns (Pass mark) du ska använda för att uppnå en viss Pass rate.

Knappen Cohen. Cohen är ett sätt att anpassa godkäntgränsen efter provets svårighetsgrad. Provets svårighetsgrad skattas genom att se resultatet för de bäst presterande studenterna. En basnivå definieras som ett slumpmässigt utfall på provet. Godkäntgränsen beräknas inom poängintervallet mellan de bäst presterande och denna basnivå. Ofta är det 60% av det poäntal som en topppresterande student uppnått (normalt brukar det ligga på den 95:e percentilen för att exkludera extrema outliers). En godkäntgräns på 60% enligt denna metod får dock ett annat värde räknat över hela provets poängskala räknat från 0 till 100%.

Klicka på Cohen-knappen för att ta fram en kalkylator och beräkna godkäntgränsen för ditt prov enligt Cohenmetoden. Här kan du ange andra värden än de förinställda om du vill. Klicka på Calculate pass mark för att beräkna en ny godkäntgräns. Läs mer om hur du ändrar gränsen för godkänt. Observera att Cohens metod utformades för MCQ och bör därför inte användas för prov med fritextfrågor där poängtalet genom gissning inte kan beräknas.

Question performance 

Cirkeldiagrammet till vänster - Pearson's r. Måttet beskriver hur väl poängen på en specifik fråga korrelerar med poängen på hela provet. Värdena varierar mellan -1 (absolut negativ korrelation), via 0 (ingen korrelation, inget samband), till 1 (absolut positiv korrelation, frågan ger perfekt utslag för provdeltagarnas/studenternas slutresultatet).

Diagrammet visar alltså fördelningen av hur stor andel av frågorna som har en korrelationskoefficient som ligger inom de olika intervallen av (ju mörkare grön desto närmare +1, och ju mer mörkgrönt totalt i diagrammet desto bättre är frågorna på att förutsäga slutresultatet. Observera att om frågorna mäter olika saker (t.ex. kursmål, ämnesområden) så blir korrelationskoefficienterna av naturliga skäl lägre.

Cirkeldiagrammet till höger - Item discrimination. Mäter hur väl frågan kan separera hög- och lågpresterande provdeltagare. Värdena varierar mellan -1 och 1. Här (och detta är det brukliga) definieras de som de 27% högst presterande och de 27% lägst presterande provdeltagarna.

Difficulty vs Discrimination. Diagrammet visar hur alla provets frågor (exam items) fördelar sig vad gäller diskriminationsstatistik och svårighet. En frågas svårighet definieras som ett värde mellan 0 och 1, och beror på hur stor del av provdeltagarna som svarat rätt på frågan. Frågor som besvarats rätt eller fel av nästan samtliga provdeltagare brukar i regel inte vara så värdefulla eller ha betydelse för tentamen. Frågor i de röda områdena är problematiska vad gäller både svårighet och diskrimination. Frågor i det gröna området är sannolikt mindre problematiska och kan anses hålla högre kvalitet.

Candidate performance

Diagrammet visar poängfördelningen på provet. Ju högre en stapel är, desto fler deltagare rör det sig om. Du kan hålla pilen över de blåa staplarna för att få mer exakta siffror. Nedanför diagrammet kan du även se genomsnitt och standardavvikelse.

Excluded items och excluded candidates 

Excluded items. Här ser du eventuella frågor som exkluderats från provet under efteranalysen och som inte ska ingå i det totala resultatet. Det kan till exempel vara en fråga som du upptäckt är felformulerad eller tvetydig eller att du råkat ange fel alternativ som det rätta. Om du tar bort (exkluderar) frågor kommer de dock att finnas med i provrapporten Individuella prov med deltagares svar (preliminärt) som är en exakt kopia av det genomförda provet. Läs mer om hur du exkluderar en fråga. 

Excluded candidates. Här ser du eventuella provdeltagare som exkluderats från provet. Det kan till exempel bero på att provdeltagaren var registrerad att skriva, men aldrig skrev provet.

Här finner du mer detaljerad information om frågorna och svarsalternativen. Sortera listan med frågor genom att klicka på en viss kolumnrubrik (klicka en gång för stigande ordning och ytterligare en gång för fallande).

Kolumnerna visar:

Question. Frågans nummer (och varje rad är en fråga på ditt prov).

Average. Är ett värde mellan 0 och 1 som anger hur stor del av provdeltagarna som svarat rätt på frågan. 

Pearson's r. Visar hur väl poängen på frågan korrelerar med poängen på hela tentamen. Värdena varierar mellan -1 (absolut negativ korrelation), via 0 (ingen korrelation, inget samband), till 1 (absolut positiv korrelation, frågan ger perfekt utslag för provdeltagarnas slutresultatet). Ju mörkare grön rutan är desto närmare är värdet +1, och ju mer mörkgrönt totalt desto bättre är frågan på att förutsäga slutresultatet på hela tentamen. 

Item. Anger det rätta svarsalternativet på frågan.

Item average. Anger hur många som svarade rätt (alltså samma värde som i Average-kolumnen).

Item discrimination. Anger hur väl frågan separerar hög- och lågpresterande provdeltagare. Värdena varierar mellan -1 och 1.

Om du har fritextfrågor på provet kommer dessa också med i tabellen, men ingen bokstav visas efter frågenumret i Item-kolumnen och Item average relaterar till hur många som fick max antal poäng.

Performance overview, filter

Till höger om tabellen finns en prestationsöversikt (Performance overview) där du bland annat kan se hur de olika frågorna fördelar sig i svårighetsgrad och hur många som svarat rätt på dem. Det går att filtrera informationen i pajdiagrammen genom att i Filter-rutan under diagrammen dra i de olika reglarna för att visa bara en delmängd av svarsalternativen eller välja endast en viss provdel (Exam section) eller frågetyp (Question type). Du kan också klicka på en viss tårtbit i diagrammet för att visa endast denna del. För att återställa till hela pajdiagrammet igen, dra ut reglarna i filtret under pajdiagrammet så långt ifrån varandra som det går igen.

Analys av en specifik fråga

Klicka på valfri fråga för att få upp en ruta med frågetexten och en mer detaljerad analys. Även här går det att utläsa till exempel hur stor andel av deltagarna som klarade frågan (Question average) och hur väl frågan separerar hög- och lågpresterande provdeltagare (Item discrimination). 

De blåa staplarna visar proportionen provdeltagare (segmenterat) som valt respektive svarsalternativ. Den översta stapeln motsvarar de 20% som presterade bäst på provet. I nedan tabell går alltså att utläsa att de 20% som presterade bäst på provet visste att alternativ A var rätt.

 

Under denna flik kan du se hur många studenter som valt respektive svarsalternativ.

Kolumnerna visar:

Question. Vilken fråga det är.

Item. Det rätta svarsalternativet.

Distractor. Hur många svarsalternativ det fanns på frågan och vilket som var det rätta (visas med en grön bock).

% Responses. Andel (%) provdeltagare som svarat de olika alternativen både i siffror och illustrerat med en blå liggande stapel.

Distribution. Fördelningen mellan svarsalternativen i olika studentgrupper. 

Diagrammet till höger visar hur deltagarnas svar fördelar sig över de olika svarsalternativen. En nästan vit tårtbit representerar de alternativ som färre än 5% av provdeltagarna valt, medan en helsvart tårtbit representerar alternativ som mer än 95% av provdeltagarna valt. Distraktorer som valts av mindre än 5% anses generellt sakna funktion som distraktioner. Det kan alltså vara bra att se över frågor och eventuellt ändra dessa alternativ innan frågan används på ett nytt prov. 

Det går att filtrera informationen i pajdiagrammet genom att i Filter-rutan under diagrammet dra i %-responses-reglarna för att visa bara en delmängd av svarsalternativen eller välja endast en viss provdel (Exam section), distraktion eller frågetyp. Du kan också klicka på en viss tårtbit i diagrammet för att visa endast denna del. I bilden har jag klickat på tårtbiten som visar 50-60% och då visas endast de svarsalternativ (items) med denna fördelning i tabellen till vänster.

För att återställa diagrammet igen, dra ut reglarna i filtret under pajdiagrammet så långt ifrån varandra som det går igen.

 

Om du delat in ditt prov i olika sektioner kan du här få en översikt över hur studenterna presterat inom respektive sektion. Du ser hur många frågor respektive sektion innehåller, samt medelvärdet på prestationen.