Mens systematisk evaluering av undervisningens kvalitet, etter vår oppfatning, helt til den siste tid har hatt en relativt svak posisjon i det tradisjonelle skolesystemet både i Norge og andre land, har undervisningsevaluering hatt en sentral plass i virksomheten til de fleste moderne fjernundervisningsinstitusjoner.
Det er mange årsaker til at undervisnings- eller programevaluering har vært tatt alvorlig i fjernundervisningskretser. Noen av disse er:
I det følgende skal vi se litt på teoretisk fundament og praksis mht evaluering ved noen utvalgte fjernundervisningsinstitusjoner. Vår gjennomgang er i hovedsak basert på artikler en rapport utgitt av det tyske Fernuniversität (Schuemer 1991), Mary Thorpes bok med tilknytning til det britiske Open University (Thorpe 1988) og egne erfaringer fra kontakt med en rekke internasjonale fjernundervisningsmiljøer.
De to nevnte bøker om evaluering utfyller og kompletterer hverandre ved ulik vekt på formalisert evaluering gjennomført av forskere/profesjonelle evaluerere og evaluering styrt og gjennomført av praktikerne i fjernundervisning.
Thorpes bok om evaluering av "åpen læring" og "fjernlæring" tar utgangspunkt i nødvendigheten av praktikernes deltaking i evalueringsprosessene. Boka blir dermed en slags lærebok/håndbok og veileder i "praktikerbasert" evaluering.
Praktikerne er alle som er involvert i utvikling, organisering og gjennomføring av fjernundervisningstilbudet i ulike typer organisasjoner.
Det betyr at praktikerne inkluderer administratorer, akademisk personell som lærere, veiledere eller forfattere, kontor- og resepsjonspersonell, sentralbord, markedsførere osv. Praktikerne kan representere rene fjernundervisningsinstitusjoner eller institusjoner som driver fjernundervisning som en del av sin virksomhet. Praktikerbegrepet omfatter også deltidsengasjerte medarbeidere og f. eks. medarbeidere som organiserer fjernundervisning i en bedrift eller organisasjon eller i et lokalt studiesenter.
Thorpe argumenterer for at dersom evaluering skal få positiv betydning for utvikling av undervisningssystemet, må praktikerne forstå betydningen av evaluering og delta i evalueringen. Resultatet av evalueringen har først og fremst to målgrupper - praktikerne selv og nåværende/fremtidige studenter. Hun hevder videre at evalueringen bør gjennomføres som en gruppeaktivitet som bringer sammen personell fra ulike deler og nivåer av organisasjonen.
Ifølge Thorpe er fjernundervisning på samme tid mer åpen for observasjon enn tradisjonell undervisning, ved at den både når det gjelder medieformidling og toveis kommunikasjon består av budskap som er dokumenterbare, samtidig som vi ikke kan observere læringsprosesser og læringsaktiviteter fordi de oftest foregår adskilt i "rom og/eller tid" fra undervisningen.
Thorpes bok setter spørsmålstegn ved om fjernundervisning og annen type undervisning vil ha forskjellige kriterier for vurdering av om tiltaket er vellykket eller ikke. Ofte tar fjernundervisning sikte på å bringe nye grupper inn i læringssituasjoner - "a second chance". Deltakere i ulike typer tilbud har ulik mål og ulike forutsetninger. Tolkning av data er problematisk, spesielt problematisk er det å ta stilling til om sammenlikninger mellom resultater i fjernundervisning og tradisjonelle tilbud er relevante.
Det er neppe noen som vil argumentere mot Thorpes hovedbudskap om betydningen av praktikerbasert evaluering. På den annen side har de større fjernundervisningsinstitusjonene som regel lagt vekt på å bygge opp forskningsavdelinger eller institutter og evalueringsenheter som har til formål å gjennomføre profesjonell evaluering og/eller yte støtte til organisasjonenes egen praktikerbaserte evaluering. Disse formelle strukturer og aktiviteter kommer klart fram i artiklene i den rapporten som vi har lagt hovedvekten på i denne artikkelen.
Rapporten fra Fernuniversität, "Evaluation Concepts and Practice in Selected Distance Education Institutions", er utgitt av Zentrales Institut für Fernstudienforschung (ZIFF) og redigert av Rudolph Schuemer. Rapporten er en samling bidrag fra forskere ved 13 ulike institusjoner som har gjort rede for policy, organisering, teoretisk forankring og praktisk gjennomføring av undervisningsevaluering ved egen institusjon. Bidragene representerer ulike institusjoner med ulik organisasjon, i I- og U-land i Europa, Nord- og Sør-Amerika og Asia. Bidragene viser ulike organisasjoners teoretiske forankring og praksis når det gjelder undervisnings- og systemevaluering. Det er typisk at de fleste bidragsyterne viser til at fjernundervisningsinstitusjoner har etablert egne enheter eller institutter for forskning og evaluering.
Vi har valgt ut 4 institusjoner for å gi et tverrsnitt av evalueringspraksis fra internasjonal fjernundervisning. Disse er:
Bartels viser til at systematisk evaluering alltid har vært en integrert del av fjernundervisningsbegrepet ved FernUniversität.
Fra starten ble ansvaret for evaluering lagt til en egen enhet Zentrum für Fernstudienentwicklung (ZFE). (I tillegg ble det etablert et nærmest frittstående institutt for fjernundervisningsforskning ved universitetet, Zentrales Institut für Fernstudienforschung (ZIFF)).
ZFE konsentrerte sin oppmerksomhet mot to områder:
Kursevaluering, evaluering av studiemateriellet i det enkelte kurs.
Systemevaluering, evaluering av undervisningssystemet, forskning på studiemotivasjon, frafall, tilgang til datamaskiner, studieforhold, kjønnsforskjeller etc.
I oppbyggingsfasen ble det lagt stor vekt på kursevaluering, mens vekten over tid ble skjøvet over til systemevaluering. Bartels nevner hovedårsaken til endringen å være at ekspansjonen i form av nye kurs er ble mindre etter hvert som de ulike studietilbudene ble ferdige. Det er likevel grunn til å merke seg at artikkelen gir informasjon om spesielle forhold knyttet til tysk universitetspraksis som ikke nødvendigvis stimulerer til formalisert kvalitetskontroll. Den enkelte professor har ved FernUniversität, som ved andre tyske universiteter, meget stor makt og kontroll over undervisningen i sitt fag. I motsetning til praksis ved f. eks. det britiske Open University, der kursene utvikles etter en "team"-utviklingsmodell med en rekke involverte spesialister, er de tyske kursene i stor grad resultat av et indviduelt utviklingsarbeid. Bartel viser til at mange ikke ønsker noen utenforstående formalisert vurdering av sine kurs, og dersom det eventuelt blir gjort, står den enkelte kursansvarlige fritt i å ta hensyn til resultatene eller ikke.
Kursevalueringen skjer enten som evaluering i løpet av utviklingsprosessen, eller som "kontinuerlig" evaluering mens materiellet er i bruk. Bartels legger vekt på at foreløpig evaluering i løpet av utviklingsprosessen ikke gir endelige svar. fordi prøving under "laboratorieforhold" bare gir begresede svar i forhold til prøving under virkelige forhold i normal undervisning.
I forbindelse med kursevaluering benytter ZFE ulike typer data og metoder. Artikkelen synes å legge stor vekt på metoder og analyser basert på standardiserte spørreskjemaer og kvantitative data, men viser også at kvalitative metoder har fått en økt betydning i 80-årene. Helt fra starten ble det benyttet standard spørreskjemaer med optisk lesning og bearbeiding av data med statistiske programpakker. Standardisert kursevaluering ble forlatt i 1984.
Det andre "hovedinstrumentet" i FernUniversitäts kursevaluering har vært "kurskritikk". Kurskritikk er typisk mer åpen og kvalitativt orientert, der utvalgte individer eller grupper av studenter har fått i oppgave å gå dypere inn i materiellet og studiet med sikte på å gi tilbakemelding i vid forstand. Studentene har til dels vært betalt spesielt for å bidra med kurskritikk. Kurskritikk har vært gitt som skriftlig tilbakemelding (til dels med notater i et spesifikt sett av studiemateriellet), som muntlig tilbakemelding i form av innleste meldinger på lydkasset og i form av gruppeintervjuer/samtaler.
Bartels påpeker fordelene med gruppeintervjuer, ved at de er billige og enkle å gjennomføre, og at de gir mer verdifull informasjon - f. eks. ved at forskjeller i oppfatninger kommer frem på en bedre måte. Kurskritikkintervjuene representerer, ifølge Bartels, en typisk kvalitativ tilnærmingsmåte, men lar seg likevel i en viss grad standardisere gjennom en intervjuveiledning. Det er grunn til å merke seg at gruppeintervjuene ikke fungerer etter hensikten dersom den ansvarlige professor er tilstede.
Parallelt med at ZFEs evaluering har utviklet seg fra å legge hovedvekt på kvantitative metoder/data til kvalitative, nevner Bartels at utviklingen også har gått i retning av evaluering foretatt av de ansvarlige fagspesialister i stedet for av samfunnsforskere. I lys av Mary Thorpes ønske om "praktikerstyrt" evaluering skulle dette representere en positiv utvikling, men i den tyske tradisjonen kan det i en viss grad tyde på en utvikling mot reelt sett en mindre åpen vurdering og redusert kvalitetskontroll, jmf. følgende sitat:
"... For this reason, course evaluation has only a relatively low priority in their field of work. The result is that, although course evaluation does exist at the FernUniversität, it is given only a minimum of emphasis. Most of the academic departments agree with this policy because they think that they develop very well prepared study material with only a minimal need for revision. From their point of view, an intensive course evaluation is no longer considered necessary."(Bartels 1991, s. 63)
Systemevaluering omfatter undersøkelser av selve undervisningssystemet og tilknyttede problemområder. FernUniversitäts systemevaluering har i stor grad vært kvantitativt orientert - enten basert på empiriske primærdata eller statistisk bearbeiding av sekundærdata fra administrative kilder. Kvalitative undersøkelser har vært rene unntakelser. Undersøkelsene har tatt opp frafall og årsaker til frafall, motivasjon for studier blant fjernstudenter, problemstillinger knyttet til kjønnsforskjeller i rekruttering og kvinners spesielle behov, oppfølging av uteksaminerte kandidater osv.
Bartels viser til at prosjekter knyttet til systemevaluering kan ha to ulike utgangspunkter:
I begge tilfeller har instituttet/rektor myndighet for å akseptere/nekte publisering av resultatene. Slik vi leser Bartels artikkel beklager han at det etter hvert er blitt mindre interesse for formalisert systemevaluering og mer formelle og tungvinte/"byråkratiske" regler for å få anledning til å gjennomføre systemevalueringsprosjekter.
"... While in the foundation phase of the FernUniversität the results of evaluation studies had some influence on those people who had responsibility in the decision-making process, in the consolidation phase this influence was less significant."(Bartels 1991, s. 65)
Mens vitenskapelig arbeid ved FernUniversität (både ZIFF og ZFE) har hatt relativt stor internasjonal betydning, kan det virke som evalueringssystemene ikke fungerer hensiktsmessig for universitetets egen utvikling. I så måte er FernUniversität et godt eksempel på problemer som kan oppstå i forhold til ekstern/intern basis for evalueringsarbeidet, og hvordan evalueringsoppgavene organiseres i institusjonen, og hvordan ulike maktinteresser påvirker evalueringsarbeidet. Hvis Bartels oppfatninger er representative for virkeligheten, kan det se ut som FernUniversität er i ferd med å "stivne" i gamle strukturer på en måte som er uheldig for utvikling av studiekvalitet.
Margalit Ganor innleder med å legge vekt på at evaluering må være en integrert del av den pedagogiske virkeligheten i fjernundervisningsinstitusjoner, blant annet som resultat av den arbeidsdeling som finner sted og manglende tilbakemelding - forhold som vi har tatt opp i innledningen til denne artikkelen.
Ansvaret for planlegging og gjennomføring av evaluering er lagt til en egen "Avdeling for evaluering og didaktikk". Artikkelen gir en oppfatning av evaluering, metoder og data som i stor grad er kvantitativt baserte. Videre viser hun til at "evalueringsavdelingen" har et vidt ansvar for forskning og evaluering samt bistand i pedagogisk utvikling og opplæring av universitets stab i fjernundervisningspedagogikk og -metodikk.
I forbindelse med oppbygging av evalueringssystemene er det lagt vekt på systematiske rutiner for innsamling av data som lar seg statistisk bearbeide på standardiserte måter. Avdelingen benytter bl. a. systematisk innsamling av
Videre benyttes standardiserte spørreskjemaer til studenter, lærere, veiledere, samt observasjon av undervisning på samlinger etc.
Ganor beskriver evalueringssystemet som basert på en "Facet Approach" og anvendt gjennom "Mapping Sentence Technique". Det er 8 "fasetter" hvor de 7 første beskriver ett aspekt eller en evalueringskomponent og den siste evalueringsresultatet.
Den følgende oversikt gir alle elementene i systemet:
A. Referent:
a1 Student
a2 Lærer
a3 Kurskoordinator
a4 Kursforfatter
a5 Evaluerer
a6 Andre
uttrykt i
B. Form:
b1 Kognitiv
b2 Affektiv
b3 Instrumentell
om
C. Studiekomponent:
c1 Studiemateriell
c2 Audiovisuelle medier
c3 Oppgaver, prøver, eksamener
c4 Veiledning, kommentarer og retting fra fjernlærer
c4 Undervisning på samlinger
c5 Andre forhold
c6 Totaliteten
med hensyn til
D. Didaktisk form:
d1 Presentasjon
d2 Oppgaver
d3 Forklaringer
d4 Evaluering
d5 Totaliteten
når det gjelder
E. Læringsinnhold:
e1 Fagstoff
e2 Ferdigheter
undervist i
F. Form:
f1 Individuelt arbeid
f2 Gruppearbeid
gjennom
G. Språkform:
g1 Skriftlig
g2 Muntlig
g3 Annet
R. Vurderingsresultat:
Fra svært bra/positivt - svært dårlig/negativt
Ganor beskriver sammenhengen slik:
"Referent (A) expresses attitudes in modality (B) towards study component (C) regarding didactic aspect (D) of course material (E) taught in study framework (F) by means of language (G). Range of evaluation (R) is from very positive to very negative, in the sense of study component contribution to distance study." (Ganor 1991, s. 83)
Ganor påpeker at evlueringsavdelingen legger vekt på to områder innen forskning og evaluering:
Et hovedbudskap i Ganors artikkel er den nære sammenheng mellom forskning og evalueringsaktivitetene og veiledning, opplæring og tjenester rettet mot universitetets hel- og deltidsansatte lærere og administratorer.
I likhet med insitusjonene nevnt ovenfor har også Empire State College et eget "Office for Research and Evaluation". Ifølge Lehmann og Granger ble forsknings- og evalueringsmodellen, PERC (Program Effectiveness and Related Costs), utviklet i løpet av 70-årene - de første 10 år etter etableringen av institusjonen.
Institusjonen har en klar målsetting om å utvikle og prøve ut effektive studiealternativer for søkere til høyere utdanning. Dette innebærer bl. a.:
Denne målsetting og følgende konsekvenser, bl. a. individualisert undervisning, åpen læring, selvvalgt studieprogram, flexible studieplaner, fjernundervisning og desentralisert undervisning, blir dermed viktige objekter - og kriterier - for evalueringen.
PERC 4 hovedtrekk: (1) Metoden konsentrerer seg om å evaluere læringsresultater først og dernest relaterer den kostnadene til disse resultatene. (2) Den støtte seg til et mangesidig perspektiv for å bedømme studentenes læring. (3) Den oppmuntrer til et longitudinelt design, og (4) den legger vekt på praktisk brukbarhet av resultatene for beslutningstakerne i systemet.
Det grunnleggende spørsmål er: "Hvilke studenter med hva slags lærere i hva slags studiprogrammer forandrer seg på hvilke måter til hvilke kostnader?"
I spørsmålet ligger til fem kjernevariablene: Læringsresultater, kostnader studenter, lærere og studieprogrammer (fig. 1(ikke med i denne WWW-presentasjonen)).
Fig. 1. De fem hovedvariablene i PERC (Paola et al. 1977).
Forfatterne legger særlig vekt på at kostnadsvurderingene ikke må komme først i beslutningsprosessen fordi det vil kunne hindre studietilbud som med en fullstendig vurdering vil kunne vise seg å være relativt sett kostnadseffektive.
Når det gjleder resultater, understreker modellen at den fundmentale evalueringsaktivitet er å bestemme hva studentene lærer og i hvilken grad de når sine læringsmål.
PERC-modellen ved Empire State College vurderer læringsresultater ved hjelp av en "mange-perspektivet evalueringsstrategi", som har fem komponenter: (1) ulike betraktere av studentenes læring, (2) ulike metoder for vurdering av læringsresultater, (3) ulike beslutningstakere som benytter informasjonen i relasjon til sine behov, (4) ulike tidspunkter for innsamling av informasjon om studentenes forandringer, og (5) ulike standarder og kriterier for vurdering av resultater. I tråd med vanlig samfunnsvitenskapelig begrepsbruk snakker vi om metodetriangulering i vid forstand.
Fig. 2. "PERCs mange-perspektivede evalueringsstrategi" (Paola et al. 1977)(ikke med i denne WWW-presentasjonen).
PERCs longitudinelle evalueringsopplegg benytter både kvalitative og kvantitative data og analysemetoder for å "måle" studentes læring og endringer. Ulike kartleggings- og casestudieteknikker benyttes for å komplettere hverandre gjennom hele evalueringsprosessen. Denne fremgangsmåten skal, ifølge Lehmann og Granger, skaffe de nødvendige informasjoner for på hvert trinn i prosessen å bygge opp kunnskap om hvor undervisningsprogrammet fungerere og hvor det ikke fungerer tilfredsstillende.
Modellen omfatter både formativ og summativ evaluering gjennom kvantitative og kvalitative evalueringsmetoder og fokuserer på både studentenes læring, undervisnings-/læringsprosessen, studieplaner, lærerkompetanse, spesifikke delprogrammer og institusjonen som helhet.
Fig. 3. PERCs longitudinelle opplegg (Paola et al. 1977)(ikke med i denne WWW-presentasjonen).
Forfatterne hevder at PERC som evalueringsmodell representerer en omfattende, sammensatt og kostnadseffektiv evalueringsmetode som også stimulerer felles kollegialt ansvar for gjennomføring av undervisningsevaluering. De hevder også at en grunnleggende og konsekvent evalueringsstrategi, som PERC, kan ha en svært viktig funksjon når det gjelder å demonstrere resultater fra fjernundervisning for ulike grupper - som eventuelt er skeptiske til alternative undervisningsformer.
Etter vår oppfatning representerer evalueringsopplegget ved Empire State College en av de mest systematiske evalueringsopplegg som er rapport fra fjernundervisningsfeltet.
Alan Woodley argumenterer for at "institutional research" og evaluering ved Open University utføres av to hovedårsaker, som et middel for selvutvikling og kvalitetsforbedring - som et middel for selvforsvar. I dette legger han samme betydning som Empire state College legger i PERC som middel for å bevise resultater for skeptikere til fjernundervisning.
Ved Open University gjennomføres også forskning og evaluering ved en egen enhet, Institute of Educational Technology (IET), men Woodley viser også til at evalueringsforskning også utføres av staben i andre avdelinger, administrasjonen, markedsavdelingen, fakultetene og regionkontorene.
Open University skiller, ifølge Woodley, mellom to typer institusjonsevaluering på hen holdsvis makro- og mikronivå, "systemevaluering" og "kursevaluering".
Systemevaluering på makronivå omfatter vurdering av:
Når det gjelder evaluering på kursnivå, følger Woodley den vanlige oppdelingen i formativ og summativ evaluering.
Formativ evaluering omfatter to hovedmetoder, som i prinsipp vil være kjent fra de fleste fjernundervisningsinstitusjoner, bruk av "konsultentuttalelser" og utprøving.
Open University er antagelig den fjernundervisningsinstitusjon som har gått lengst når det gjelder å anvende en "teammodell" for undervisningsutvikling. I denne modellen inngår gjensidig vurdering og kontroll i utviklingsfasen gjennom "peer review" der kolleger gjennomgår og kommenterer utkast til studiemateriell, samt systematisk "critical commenting" der lærere og forfattere gjennomgår materiellet sammen med alle kollegene i utvikingsgruppen.
"Utprøving" av kursmateriell benyttes systematisk - både ved forsøk på små studentgrupper med deler av et studiemateriell, eller omfattende systemer for utprøving av foreløpige utgaver av materiellet for en større studentgruppe gjennom et helt kursopplegg. Både spørreskjemaer og intervjuer benyttes for å skaffe informasjon før revisjon for "endelig" utgave.
Når det gjelder summativ evaluering benytter Open University informasjon både fra lærere og andre involvert i undervisnings-/veiledingsprosessen og fra studentene. Typisk vil datainnsamlingen fra lærere skje gjennom mer kvalitative metoder, mens standard spørreskjemaer blir sendt til studentene. Informasjonen fra studentene vil omfatte synspunkter på hvordan materiellet har blitt benyttet, tid benyttet på studiene, spesielle vanskeligheter etc. Studentene kan også bli spurt om kvalitetsvurderinger av undervisningen totalt sett, deler av studiet, eller ulike komponenter i undervisningen (trykt materiell, fjernsyn etc.).
Woodley nevner to andre mye brukte evalueringsformer/metoder ved Open University, "cross-sectional" studier som går på intensive vurderinger av spesielle forhold blant studenter i ulike kurs, for å kunne trekke gyldige generaliseringer om disse forhold. Slike undersøkelser har vært gjennomført for evaluering av bruk av audio-visuelle medier, samlinger, og datamaskinbasert undervisning. På samme måte har nye undervisningsmetoder, eksempelvis prosjektarbeid, vært undersøkt i en rekke ulike kurs for å gi tilsvarende generell informasjon om hvordan metodene virker.
Woodley nevner avslutningsvis tre typer eller kategorier evalueringsprosjekter,
Når det gjelder fremtiden, gir Woodley to synspunkter på sannsynlig utvikling. Det første gjelder antagelse om større vekt på "markedsundersøkelser".
"Under the present Government the OU is being pressured to be less reliant on state funds and to generate more income from student fees. Faced with shortages of 18 years-olds due to as demographic dip, other institutions are going out of their way to recruit mature students. These two forces are likely to lead to an even greater emphasis on market evaluation." (Woodley 1991, s. 220)
Det andre gjelder tilsvarende forhold ved Open University som Bartels påpeker for FernUniversität - at systematisk kursevaluering og utprøving er i ferd med å forsvinne fra evalueringsagendaen, bl. a. fordi fagpersonellet ved Open University synes de har vært så lenge ved institusjonen:
"... that they know how to produce good courses.(Woodley 1991, s. 219).
Denne uttalelsen oppfatter vi som et visst faresignal i forhold til videre kvalitetsutvikling og Open Universitys evne til å beholde sin ledende posisjon på fjernundervisningsfeltet i årene fremover.
"Maktkampen" mellom forskere og universitetslærerne kommer også fram i Woodleys avslutning:
"Given their status as tenured academics, researchers in IET will be able to pursue radical evaluation as long as they receive the support of the OU's academic community. However, they will almost certainly be required to do so with less financial funding and, as the first generation of staff begin to leave the OU, they will almost certainly not be replaced by evaluators with the same security and freedom to determine the evaluation agenda." (Woodley 1991, s. 220).
Schuemer sier i sin artikkelsamling at bidragene ikke representerer et systematisk utvalg av institusjoner. Vi har fulgt prinsippet videre og valgt ut noen få institusjoner som samlet gir en god innsikt i evaluering på fjernundervisningsfeltet. De valgte institusjonene er neppe typiske fordi de sannsynligvis har en mer omfattende praksis og teoretisk forankring i sitt evalueringsarbeid enn flertallet. På den annen side gir de et godt bilde på problemer, utfordringer og metoder i fjernundervisningsevaluering i internasjonal sammenheng.
Ganor, M. (1991): Evaluation at a Distance. I Schuemer (1991).
Bartels, J. (1991): Evaluation at the FernUniversität. I Schuemer (1991).
Lehman, T. & Granger, D. (1991): Assessment at Empire State College - Strategies and methods used in evaluating distance education. I Schuemer (1991).
Paola, E. G., Lehmann, T., Bradley, P. & Debus, R. (1977): The PERC Handbook. Saratoga Springs, NY, Office of Research and Evaluation, Empire State College. (Etter Lehmann & Granger 1991).
Schuemer, R. (1991): Evaluation Concepts and Practice in Selected Distance Education Institutions. Hagen, FernUniversität.
Thorpe, M. (1988): Evaluating open and distance learning. Essex, Longman.
Woodley, A. (1991): Evaluation at the British Open University. I Schuemer (1991).