Webbläsaren som du använder stöds inte av denna webbplats. Alla versioner av Internet Explorer stöds inte längre, av oss eller Microsoft (läs mer här: * https://www.microsoft.com/en-us/microsoft-365/windows/end-of-ie-support).

Var god och använd en modern webbläsare för att ta del av denna webbplats, som t.ex. nyaste versioner av Edge, Chrome, Firefox eller Safari osv.

Analys och resultat

Guiden är indelad i fyra större avsnitt. Om ditt prov inte innehåller fritextfrågor kan du hoppa över de inledande delarna av avsnitt 7. Scrolla ner för att börja läsa eller använd genvägarna nedan för att komma direkt till avsnittet.

7. Bedömning av fritextfrågor

Om ditt prov innehåller fritextfrågor behöver du bedöma dessa innan analysen blir tillgänglig. Det görs under Evaluation-fliken, som blir synlig efter att du stängt provet och uppdaterat sidan. Endast tillagda bedömare får tillgång till fliken. Klicka på boxen nedan för att läsa mer om hur fliken är uppbyggd.

Navigering

Under "Questions to evaluate" ser du alla fritextfrågor som var med på provet:

Skärmavbild Evaluation-fliken

Klicka på en fråga för att börja bedömningen. Då ser det ut så här:

Skärmavbild bedöma en fråga

Question. Här visas frågeställningen.

Marking. Här visas frågans maxpoäng och eventuella bedömningsinstruktioner. Läs mer om note for examiners.

Student's response. Här kan du se provdeltagarens svar. Om det finns en ordgräns och provdeltagaren överskrider gränsen så visas det med en gul varningsruta: 

Skärmavbild för långt svar

 

Gör en bedömning

När du valt vilken fråga som ska bedömas, fyller du i din bedömning i Evaluation-blocket till höger:

Skärmavbild bedöma en fråga 2
  • Ange hur många poäng provdeltagaren ska tilldelas för sitt svar.
  • Ange eventuell kommentar.
  • Klicka på spara. 
  • Nästa deltagares svar kommer automatiskt upp och du kan fortsätta bedömningen. Upprepa stegen för att fylla i bedömningen.
  • När du är klar med bedömningarna på en fråga kan du välja en ny fritextfråga genom att trycka på "Return to question list".

Du kan använda rullgardinsmenyn om du vill gå tillbaka till bedömningen för en specifik provdeltagare.

Grades-fliken

En tillagd bedömare får också tillgång till Grades-fliken. Här kan man se respektive provdeltagares prov i sin helhet, med möjlighet att redigera bedömningen. Detta kan vara ett bra sätt för examinatorn att få översikt.

Skärmavbild Grades-fliken

Kommentar på provet

Du kan lämna en kommentar rörande provet som helhet. Kommentaren hamnar överst i samtliga provdeltagares provrapporter.

  • Gå till Evaluation-fliken
  • Fyll i textrutan i blocket för "Exam comments" (se bild nedan).
  • Klicka på spara.

Klarmarkera bedömning

Respektive bedömare klarmarkerar sin bedömning genom att klicka på "Submit Evaluation". Huvudbedömaren gör det sist och klarmarkerar därmed bedömningen som helhet.

Skärmavbild Submit final

När bedömningen klarmarkerats försvinner Grades- och Evaluation-flikarna. Istället får du tillgång till Analytics-fliken, och vissa rapporter genereras.

Slå ihop provdelar

Om provet består av flera provdelar kan dessa slås samman om man önskar analysera och sätta betyg på provet som helhet. Gör så här:

  • Om du använt fritextfrågor, kontrollera att du klickat på Submit evaluation på samtliga provdelar.
  • Kontrollera att provdelarna är stängda. Läs mer om hur du stänger ett prov.
  • Gå till Exams och klicka på "Create multi-exam analysis" längst ner på sidan (se bild nedan).
  • I fönstret som dyker upp, skriv in ett namn för det sammanslagna provet och markera de provdelar som ska ingå under "Exams to merge".
  • Klicka sedan på Merge-knappen nere till höger i fönstret.

Det sammanslagna provet dyker upp som ett nytt segment.

Merge exam

Preliminära rapporter

När provet har stängs genereras en preliminär provrapport. Den innehåller deltagarens givna svar och, beroende på inställningarna, facit. Rapporten är anonym och innehåller inget betyg. Rapporten kan skickas ut av olika skäl. Till exempel för att ge studenten möjlighet att ge synpunkt på frågor innan finalt resultat fastställs. 

Observera att innehållet i den preliminära rapporten är en direkt spegling av hur provet levererades vid skrivtillfället. Eventuellt efterarbete (såsom exkludering av frågor m.m.) visas inte i rapporten. 

  • Gå till Reports-fliken.
  • Klicka på brevsymbolen till höger om rapporten som heter Individuella prov med deltagares svar (preliminärt).
  • Klicka på Continue i rutan som dyker upp.
  • Skriv ett meddelande till provdeltagarna.
  • Klicka på "Send e-mail".

Om ditt prov innehåller fritextfrågor behöver dessa bedömas innan den preliminära rapporten genereras. Har du använt flera provdelar kan du skicka ut preliminära resultat för varje del.


8. Analytics

Analytics-fliken får du tillgång till så snart provet är stängt och eventuella fritextfrågor är rättade. Fliken består av flera underflikar med olika vyer:

Skärmavbild Analytics
  • Overview. Här får du en överblick över resultatet och viss statistik över frågorna.
  • Item performance. Här hittar du analyser per fråga och du kan exkludera frågor.
  • Distractor analysis. Här kan du titta närmare på frågornas svarsalternativ.
  • Cohort analysis. Om ditt prov är indelat i sektioner finner du här en översikt över hur provdeltagarna presterat på respektive sektion.

Klicka på boxarna nedan för att läsa mer om respektive vy.

Exam overview

Skärmavbild Analytics exam overview

Cronbach's α. Är ett mått på samvariationen mellan frågorna på provet. Det ger en fingervisning om resultatens tillförlitlighet. Värdet på Cronbach's α varierar mellan 0 (ingen samvariation mellan resultatet på varje enskild frågan fråga och totalresultatet) och 1 (fullständig samvariation).

Tillförlitligheten beror dock även på antalet frågor och antalet orelaterade kunskapsområden som provet omfattar. Rent matematiskt ökar Cronbach"s α med antalet frågor, vilket inte nödvändigtvis innebär ökad tillförlitlighet. Tillförlitliga tentamensresultat bör ha ett värde på minst 0,7 (och gärna högre än 0,9 om det är många frågor). Man bör alltså inte övertolka detta mått utan att ta hänsyn till antalet frågor och kunskapsområden.

SEM for mean. Kort för Standard Error of Measurement, vilket är ett mått på hur bra provet mäter provdeltagarens teoretiskt “sanna” poäng (score). Enheten är poängtal på provet. Ju högre tillförlitlighet provet har (här mätt med Cronbach"s α) desto lägre mätfel (SEM) får vi. Om en student får 100 poäng på provet och SEM är 5, så är studentens ”sanna” poängtal (med ett konfidensintervall på 68%) mellan 95 och 105 poäng. SEM måste beräknas för varje provdeltagare, men SEM för en genomsnittsstudent som anges här är en god indikator på det generella mätfelet (measurement error).

Number of candidates. Antal provdeltagare som genomförde provet.

Pass mark. Den nuvarande godkäntgränsen. Läs mer om hur du ändrar gränsen för godkänt.  

Pass rate. Här ser du se hur många procent av provdeltagarna som klarade provet.

Distribution. Här kan du se hur många procent av provdeltagarna som klarade provet och inte.

Knappen pass rate. Klicka här för att beräkna vilken godkäntgräns (Pass mark) du ska använda för att uppnå en viss Pass rate.

Knappen Cohen. Cohen är ett sätt att anpassa godkäntgränsen efter provets svårighetsgrad. Provets svårighetsgrad skattas genom att se resultatet för de bäst presterande studenterna. En basnivå definieras som ett slumpmässigt utfall på provet. Godkäntgränsen beräknas inom poängintervallet mellan de bäst presterande och denna basnivå. Ofta är det 60% av det poäntal som en topppresterande student uppnått (normalt brukar det ligga på den 95:e percentilen för att exkludera extrema outliers). En godkäntgräns på 60% enligt denna metod får dock ett annat värde räknat över hela provets poängskala räknat från 0 till 100%.

Klicka på Cohen-knappen för att ta fram en kalkylator och beräkna godkäntgränsen för ditt prov enligt Cohenmetoden. Här kan du ange andra värden än de förinställda om du vill. Klicka på Calculate pass mark för att beräkna en ny godkäntgräns. Läs mer om hur du ändrar gränsen för godkänt. Observera att Cohens metod utformades för MCQ och bör därför inte användas för prov med fritextfrågor där poängtalet genom gissning inte kan beräknas.

Question performance 

Skärmavbild Analytics Question performance

Cirkeldiagrammet till vänster - Pearson's r. Måttet beskriver hur väl poängen på en specifik fråga korrelerar med poängen på hela provet. Värdena varierar mellan -1 (absolut negativ korrelation), via 0 (ingen korrelation, inget samband), till 1 (absolut positiv korrelation, frågan ger perfekt utslag för provdeltagarnas/studenternas slutresultatet).

Diagrammet visar alltså fördelningen av hur stor andel av frågorna som har en korrelationskoefficient som ligger inom de olika intervallen av (ju mörkare grön desto närmare +1, och ju mer mörkgrönt totalt i diagrammet desto bättre är frågorna på att förutsäga slutresultatet. Observera att om frågorna mäter olika saker (t.ex. kursmål, ämnesområden) så blir korrelationskoefficienterna av naturliga skäl lägre.

Cirkeldiagrammet till höger - Item discrimination. Mäter hur väl frågan kan separera hög- och lågpresterande provdeltagare. Värdena varierar mellan -1 och 1. Här (och detta är det brukliga) definieras de som de 27% högst presterande och de 27% lägst presterande provdeltagarna.

Difficulty vs Discrimination. Diagrammet visar hur alla provets frågor (exam items) fördelar sig vad gäller diskriminationsstatistik och svårighet. En frågas svårighet definieras som ett värde mellan 0 och 1, och beror på hur stor del av provdeltagarna som svarat rätt på frågan. Frågor som besvarats rätt eller fel av nästan samtliga provdeltagare brukar i regel inte vara så värdefulla eller ha betydelse för tentamen. Frågor i de röda områdena är problematiska vad gäller både svårighet och diskrimination. Frågor i det gröna området är sannolikt mindre problematiska och kan anses hålla högre kvalitet.

Candidate performance

Skärmavbild Analytics Candidate performance

Diagrammet visar poängfördelningen på provet. Ju högre en stapel är, desto fler deltagare rör det sig om. Du kan hålla pilen över de blåa staplarna för att få mer exakta siffror. Nedanför diagrammet kan du även se genomsnitt och standardavvikelse.

Excluded items och excluded candidates 

Skärmavbild Analytics Excluded

Excluded items. Här ser du eventuella frågor som exkluderats från provet under efteranalysen och som inte ska ingå i det totala resultatet. Det kan till exempel vara en fråga som du upptäckt är felformulerad eller tvetydig eller att du råkat ange fel alternativ som det rätta. Om du tar bort (exkluderar) frågor kommer de dock att finnas med i provrapporten Individuella prov med deltagares svar (preliminärt) som är en exakt kopia av det genomförda provet. Läs mer om hur du exkluderar en fråga

Excluded candidates. Här ser du eventuella provdeltagare som exkluderats från provet. Det kan till exempel bero på att provdeltagaren var registrerad att skriva, men aldrig skrev provet.

Här finner du mer detaljerad information om frågorna och svarsalternativen. Sortera listan med frågor genom att klicka på en viss kolumnrubrik (klicka en gång för stigande ordning och ytterligare en gång för fallande).

Skärmavbild Item performance

Kolumnerna visar:

Question. Frågans nummer (och varje rad är en fråga på ditt prov).

Average. Är ett värde mellan 0 och 1 som anger hur stor del av provdeltagarna som svarat rätt på frågan. 

Pearson's r. Visar hur väl poängen på frågan korrelerar med poängen på hela tentamen. Värdena varierar mellan -1 (absolut negativ korrelation), via 0 (ingen korrelation, inget samband), till 1 (absolut positiv korrelation, frågan ger perfekt utslag för provdeltagarnas slutresultatet). Ju mörkare grön rutan är desto närmare är värdet +1, och ju mer mörkgrönt totalt desto bättre är frågan på att förutsäga slutresultatet på hela tentamen. 

Item. Anger det rätta svarsalternativet på frågan.

Item average. Anger hur många som svarade rätt (alltså samma värde som i Average-kolumnen).

Item discrimination. Anger hur väl frågan separerar hög- och lågpresterande provdeltagare. Värdena varierar mellan -1 och 1.

Om du har fritextfrågor på provet kommer dessa också med i tabellen, men ingen bokstav visas efter frågenumret i Item-kolumnen och Item average relaterar till hur många som fick max antal poäng.

Performance overview, filter

Skärmavbild item performance 2

Till höger om tabellen finns en prestationsöversikt (Performance overview) där du bland annat kan se hur de olika frågorna fördelar sig i svårighetsgrad och hur många som svarat rätt på dem. Det går att filtrera informationen i pajdiagrammen genom att i Filter-rutan under diagrammen dra i de olika reglarna för att visa bara en delmängd av svarsalternativen eller välja endast en viss provdel (Exam section) eller frågetyp (Question type). Du kan också klicka på en viss tårtbit i diagrammet för att visa endast denna del. För att återställa till hela pajdiagrammet igen, dra ut reglarna i filtret under pajdiagrammet så långt ifrån varandra som det går igen.

Analys av en specifik fråga

Klicka på valfri fråga för att få upp en ruta med frågetexten och en mer detaljerad analys. Även här går det att utläsa till exempel hur stor andel av deltagarna som klarade frågan (Question average) och hur väl frågan separerar hög- och lågpresterande provdeltagare (Item discrimination). 

De blåa staplarna visar proportionen provdeltagare (segmenterat) som valt respektive svarsalternativ. Den översta stapeln motsvarar de 20% som presterade bäst på provet. I nedan tabell går alltså att utläsa att de 20% som presterade bäst på provet visste att alternativ A var rätt.

Skärmavbild specifik fråga

 

Under denna flik kan du se hur många studenter som valt respektive svarsalternativ.

Skärmavbild Distractor analysis 1

Kolumnerna visar:

Question. Vilken fråga det är.

Item. Det rätta svarsalternativet.

Distractor. Hur många svarsalternativ det fanns på frågan och vilket som var det rätta (visas med en grön bock).

% Responses. Andel (%) provdeltagare som svarat de olika alternativen både i siffror och illustrerat med en blå liggande stapel.

Distribution. Fördelningen mellan svarsalternativen i olika studentgrupper. 

Skärmavbild Distractor analysis 2

Diagrammet till höger visar hur deltagarnas svar fördelar sig över de olika svarsalternativen. En nästan vit tårtbit representerar de alternativ som färre än 5% av provdeltagarna valt, medan en helsvart tårtbit representerar alternativ som mer än 95% av provdeltagarna valt. Distraktorer som valts av mindre än 5% anses generellt sakna funktion som distraktioner. Det kan alltså vara bra att se över frågor och eventuellt ändra dessa alternativ innan frågan används på ett nytt prov. 

Det går att filtrera informationen i pajdiagrammet genom att i Filter-rutan under diagrammet dra i %-responses-reglarna för att visa bara en delmängd av svarsalternativen eller välja endast en viss provdel (Exam section), distraktion eller frågetyp. Du kan också klicka på en viss tårtbit i diagrammet för att visa endast denna del. I bilden har jag klickat på tårtbiten som visar 50-60% och då visas endast de svarsalternativ (items) med denna fördelning i tabellen till vänster.

För att återställa diagrammet igen, dra ut reglarna i filtret under pajdiagrammet så långt ifrån varandra som det går igen.

 

Om du delat in ditt prov i olika sektioner kan du här få en översikt över hur studenterna presterat inom respektive sektion. Du ser hur många frågor respektive sektion innehåller, samt medelvärdet på prestationen.

Exkludera frågor

  • Gå till Analytics-fliken.
  • Välj "Item performance".
  • Välj "Exclude".
  • Gå tillbaka till "Overview" för att se hur exkluderandet av frågan påverkar analysen av provet.
Skärmavbild Exkludera fråga

Om du vill lägga tillbaka en exkluderad fråga finner du frågan under Analytics-fliken. Klicka på det blåa plustecknet.

Skärmavbild Inkludera fråga

Ändra gräns för godkänt

För att ändra godkäntgränsen behöver du

  • Gå till Info-fliken.
  • Ange vilken gräns som ska gälla vid "Pass mark".
  • Spara.
  • Gå tillbaka till Analytics-fliken för att se hur det påverkar analysen av provet.

Fastställ gräns för godkänt

När du är klar med din analys av provet och slutgiltigt har fastställt godkäntgränsen för provet är det dags att skicka in och publicera resultaten. När gränsen fastställs avanonymiseras provdeltagarna. 

  • Gå till Info-fliken.
  • Klicka på "Publish grades".
Skärmavbild Publish grades

9. Rapporter

Under Reports-fliken blir ett antal rapporter tillgängliga som kan vara användbara för dig som examinator eller kursadministratör. Läs mer om vad rapporterna innehåller.

Meddela resultat och betyg

När du vill skicka ut resultat och betyg till provdeltagarna kan du göra detta via mail genom att:

  • Gå till Reports-fliken.
  • Klicka på brevsymbolen till höger om aktuell rapport.
  • Klicka på Continue i rutan som dyker upp.
  • Redigera och skriv ett meddelande till provdeltagarna. Om du behåller den blåa rutan med texten FIRSTNAME, kommer respektive provdeltagares namn att infogas automatiskt vid utskicket. 
  • Klicka på "Send e-mail".
 Skärmavbild reports utskick

10. Avsluta provet

När den sista rapporten, som heter "Sammanfattande rapport för examinatorer", har genererats är det dags att avsluta provet. När provet avslutas blir analyserna tillgängliga även för frågeskrivarna. Efter det att provet är avslutat kan provet inte redigeras. Detta gäller även sammanslagningar av flera provdelar.

Om du använt provdelar behöver du avsluta både det sammanslagna provet och de separata provdelarna.

Skärmavbild Complete exam
  • Klicka på Complete exam.
  • Klicka på sedan Continue i rutan som dyker upp.

Skapa quiz av prov

Så snart provet är genomfört och eventuellt rättning klar kommer knappen "Create quiz" att dyka upp (se bild nedanför). 

Skärmavbild

När du klickar på den kan du ställa in vad ditt quiz ska heta, samt vilket kurstillfälle som quizet ska finnas tillgängligt på. Klicka på spara och sedan "Edit quiz" i rutan som dyker upp, du kommer då direkt till inställningarna för quizet. 

Läs vidare om inställningar och hur du redigerar ditt quiz i guiden.