Kvalitetssystem til evaluering og resultatvurdering

Evaluering og kvalitetsudvikling er to sider af samme sag. Det er både skolen og undervisningen, der skal evalueres. Og der er en bagvedliggende forestilling om, at der skal være sammenhæng mellem disse.

Ifølge bekendtgørelsen og kvalitetsudvikling og resultatvurdering, skal skolerne udvælge nogle nøgleområder til evaluering med henblik på opfølgende kvalitetsudvikling. Det betyder, at der vil forekomme evalueringsaktiviteter på to planer, dels på et undervisningsplan og dels på et organisatorisk plan.

Der ligger en stor udfordring i at få evalueringerne på disse to planer til at spille konstruktivt sammen, så der ikke bare bliver tale om parallelaktiviteter, der lever hver deres liv.

I reformen er der indbygget elementer, der skal forhindre, at dette sker. Dels skal den lokale undervisningsplan (inklusiv evalueringsplanerne) for de enkelte klasser offentliggøres på nettet, hvilket indebærer, at ledelsen skal forestå en eller anden form for godkendelse af dem. Og dels skal skolen udvælge nøgleområder til resultatvurdering og kvalitetsudvikling. Man må forestille sig, at nogle af de helt centrale nøgleområder angår undervisningen.

I Danmark har evaluering af uddannelser i mange år hvilet på den forudsætning, at en uddannelse skal vurderes i forhold til de målsætninger som uddannelsesinstitutionerne selv har formuleret, og de målsætninger, der er formuleret i de specifikke bekendtgørelser. Denne forudsætning er kommet under pres på grund af den stigende internationalisering af uddannelse der medfører krav om gennemsigtighed i forhold til både evalueringskriterier og evalueringsmetoder.

Det skal understreges, at kriterier ikke handler om rigide standarder eller mindstemål, men om kriterier for god praksis, som kan efterleves i varierende grad og opfyldes på forskellig vis. Det kan være et mål for formuleringen af kriterier, at de både skal være tilstrækkeligt præcise til at kunne fungere som vurderingsgrundlag og samtidig være tilstrækkeligt åbne til at kunne rumme praksis på uddannelsen.

Kvalitetssystem og evalueringsplan

Kvalitetssystemet er det overordnede element i forhold til evalueringsplanen. Det centrale her er udvælgelse af nøgleområder, der underkastes evaluering. Skolen har således valgfrihed mht. hvilke områder, der skal evalueres, men der skal være en defineret procedure for, hvordan skolen organiserer evalueringen af de udvalgte nøgleområder. Selvevaluering af de udvalgte nøgleområder skal foregå mindst hvert 3. år.

Organisering af evalueringen kan foregå som en tre-trins procedure, der beskriver:

A. Hvordan nøgleområder udvælges

Dvs. en beskrivelse af udvælgelsesforløbet, der fx fastlægger, hvem der har ansvar for, at der tages initiativ til udvælgelse af nøgleområder, der medvirker i udvælgelsen, og hvordan den endelige udvælgelse besluttes. Desuden en præcisering af hensigten med evalueringen.

2. Hvordan selve evalueringen foregår

Dvs. en fastlæggelse af, hvem der medvirker, hvad tidshorisonten er osv. Derimod er det ikke muligt at fastlægge den præcise evalueringsmetode, da det vil afhænge af formålet med evalueringen og karakteren af det område, der skal evalueres. Proceduren kan i stedet indeholde et generelt krav om, at evalueringsmetoden for den enkelte evaluering beskrives. Desuden kan der være et krav om, at evalueringen starter med en belysning af den hidtidige praksis for det felt, der skal evalueres. Endelig indeholder dette punkt bestemmelser for, hvordan resultatet af evalueringen offentliggøres og drøftes.

3. Hvordan der følges op på evalueringen

Bekendtgørelsen indeholder krav om skriftlige opfølgningsplaner, der skal hvile på den dokumentation, der er fremkommet under evalueringen. Opfølgningsplanerne skal indeholde forslag til ændringer og desuden handlings- og tidsplaner for iværksættelse af ændringer. De seneste to opfølgningsplaner skal være tilgængelige på skolens hjemmeside.

Udover evaluering af de udvalgte nøgleområder indeholder kvalitetsbekendtgørelsen krav om en procedure, der permanent belyser, hvordan undervisnings- og arbejdsformer medvirker til elevernes udvikling. På dette område overlapper kvalitetssikringssystemet evalueringsplanen.

Fig. 3. Kvalitetssystem

1	Generelle oplysninger	Oplysninger af mere permanent art. Organisationsdiagram for EUC Nord Mission, vission etc. for EUC Nord 2006-2008 Pædagogisk værdigrundlag Pædagogisk udgangspunkt Politik for kompetenceudvikling Plan for kompetenceudvikling Skolens kontakt til aftagere
2	Procedurer for arbejdet med nøgleområder	Procedurer for: Ÿ Udvælgelse af nøgleområder Ÿ Evaluering af nøgleområder Ÿ Opfølgning på evaluering af nøgleområder
3	Løbende evaluering af undervisnings- og arbejdsformer	Overgang fra folkeskolen, undervisningen i forhold til uddannelsens formål og overgang til videregående uddannelser – dvs. elevernes udvikling fra elev til studerende.
4	Organisering af kvalitetsarbejdet i øvrigt	· Metoder til informationsindsamling (evalueringsdesign) · Procedurer for analyse/refleksion · Succeskriterier for nøgleområder · Procedurer for opfølgning · Tidsplaner · Procedure for evaluering af kvalitetssystemet · Aktiviteter · Faglig/pædagogisk ansvar · Inddragelse i beslutninger
5	Tidsplan	· Afdelingen organiserer det fagligt/pædagogiske ansvar (ledelse, teams og den enkelte lærer) – efterår 2006

Procedure for arbejdet med nøgleområder
1	Udvælgelse	- Ledelsen igangsætter processen ved at indkalde forslag til nøgleområder. - Listen af forslag samordnes af ledelsen. - Ledelsen fastlægger nøgleområder efter drøftelse
2	Statusbeskrivelse	- Ledelsen vælger en evalueringsansvarlig, der koordinerer evalueringsprocessen - Den evalueringsansvarlige udformer en statusbeskrivelse – dvs. en belysning af den aktuelle praksis på nøgleområdet.
3	Evalueringsdesign	- På baggrund af statusbeskrivelsen vælger den evalueringsansvarlige de spørgsmål, evalueringen skal fokusere på. - Ledelsen beslutter evalueringsformen, herunder den konkrete udformning af evalueringsredskab. - De involverede gennemfører evalueringen. - Den evalueringsansvarlige indsamler og bearbejder evalueringens data, så de præsenteres i overskuelig form. - Resultaterne anvendes evt. direkte af de involverede personer. - Den evalueringsansvarlige fremlægger dokumentationen, inkl. en række begrundede muligheder for handlinger. - Resultatet drøftes med interessenterne. - Den evalueringsansvarlige fremlægger et skriftligt forslag til opfølgningsplan, der hviler på dokumentation fra evalueringen og drøftelser. Planen indeholder forslag til indsatser og tidsplan. - Initiativer fra opfølgningsplanen sendes videre til de berørte. - Opfølgningsplaner offentliggøres på skolen hjemmeside.

Evalueringsdesign

Hvordan?	Benchmarking er en metode til systematisk at søge efter viden hos sig selv og andre for at lære nye og bedre måde at løse en opgave på. Som metode indeholder benchmarking principielt to trin: · analyse og systematisk sammenligning af arbejdsprocesser (hvad gør vi, og hvad gør andre?) og resultater (hvad får vi ud af det, vi gør, og hvad får andre ud af det, de gør?) · læring og inspiration til at indrette sin arbejdstilrettelæggelse på en anderledes måde.
Hvad? Udvælgelse af (nøgleområder)	Afdækning af forskellige måder at holde skole på. Nøgleområderne er valgt i samarbejde med Aspekt. · Kerneydelse · Periferiydelser · Undervisningsmiljø · Kobles til udviklingen af kvaliteten af kerne- og periferiydelser samt til ressourceanvendelsen
Hvornår?	Web-baseret spørgeskemaundersøgelse 1 gang om året i samarbejde med Aspekt, R&D. Kontrakten med Aspekt omfatter: Dataindsamling via internet med e-mail invitation Når dataindsamlingen er afsluttet, modtager skolen sine egne resultater i papirform, hvor institutionens tal vises frekvens- og procentfordelt på hvert spørgsmål. Herudover modtager institutionen undersøgelsens åbne besvarelser fordelt på klasser/hold eller arbejdsfunktioner. ASPEKT R&D har i samarbejde med en række skoler udviklet et særligt koncept til benchmarking – i daglig tale kaldet ”karakterbogen”. I ”karakterbogen” opnår den institution, der har klaret sig bedst på et spørgsmål, karakteren 100. Alle andre institutioner benchmarkes så i forhold til ”bedste” institution.

Resultatvurdering	Vi har valgt at tage som udgangspunkt, at mindst 75% af eleverne skal erklære sig positivt i forhold til et område, for at området kan beskrives som tilfredsstillende; men vi kan (og bør) naturligvis forholde os individuelt til hvert enkelt spørgsmål. Det er tanken at gennemføre tilsvarende undersøgelse hvert år. Vi kan derfor med udgangspunkt i det nuværende succeskriterium fastlægge kvalitetsmål for hvert enkelt af undersøgelsens områder. (se også Fig. 3).
Anvendelse	1. Et grundlag for organisatorisk læring, hvor skolen systematisk udnytter den information den kan få fra en sammenlignelig skole til at forbedre egne ydelser. 2. Et ledelsesværktøj, hvor ledelse og medarbejdere på skolen udnytter ”benchmarkinginformationer” til at identificere aktuelle kvalitetsgab. 3. Et inspirationsværktøj, hvor ledelse og medarbejdere anvender benchmarking til at få ideer til udviklingen på den enkelte skole. 4. Et målstyringsværktøj, hvor ”benchmarkinginformationer” anvendes til at sætte mål for forbedringer på skolen.
Opfølgning	De indsamlede data og bearbejdning heraf gør det muligt at identificere, beskrive og vurdere evt. problemer. På basis heraf udarbejdes årlige handlingsplaner for evt. forbedringer i skolens kerne- og periferiydelser

Succeskriterier for nøgleområder

På spørgsmålet om skolens kerne og periferiydelser fungerer tilfredsstillende eller ej har vi i beskrivelse og vurdering lagt til grund, at højest 25% af eleverne må erklære sig negativt i forhold til et område for at resultatet for området kan anses for tilfredsstillende.