Kvalitet blir vanligvis definert som egnethet for bruk ('fitness for purpose'/'fitnessfor use') i forhold til brukerens eller kundens behov (Juran 1988),eller i følge NS-ISO 8402, "helhet av egenskaper og kjennetegnet produkt eller en tjeneste har, som vedrører det evne til åtilfredsstille fastsatte krav eller behov som er antydet". Definisjonensier altså at kvalitet er avhengig av brukerens syn på hensiktenmed produktet eller tjenesten. I utdanning er det ikke alltid like lettå identifisere brukeren. Ofte er det slik at det offentlige betaler,studenten er den direkte bruker, mens arbeidsgivere er sekundærebrukere osv. Kvaliteten er derfor en 'verdivurdering' foretatt avulike interessenter, det offentlige, lærere, administratorer, studenter,arbeidsgivere osv. På den annen side, for å vurdere og sikrekvalitet må vi ha en klar oppfatning av hva kvalitet er. En annendefinisjon kunne være at 'produktet er i overensstemmelse meddefinerte krav'. Konsekvensen må være at, formålog krav dermed må defineres av de viktigste interessentene. Birnbaum(1989) har påpekt at interessentenes vurdering ofte kan sprike nårdet gjelder vurdering av kvalitet i utdanning. Han har påpekt tredimensjoner av kvalitet i høgere utdanning: 'den meritokratiske'(institusjonens konformitet med profesjonelle og akademiske normermed de fagansatte som referansegruppe), 'den sosiale' (graden avinstitusjonens evne til å tilfredsstille samfunnets kollektive behov)og 'den individualistiske' (institusjonens bidrag til personligvekst og utvikling hos studentene (fra Van Vucht & Westerheijden 1993)).
Noen andre viktige begreper er 'kvalitetsstyring', 'kvalitetssikring',kvalitetsledelse' og 'kvalitetsvurdering'. Kvalitetsstyringdefineres normalt som "driftsmessige teknikker og aktiviteter sombenyttes for å oppfylle krav til kvalitet" (ISO 8402). VanVucht& Westerheijden (ibid.) legger til at i utdanning inkluderer termenogså det offentliges strategier for kontroll av utdanningsvirksomheten.Kvalitetssikring er "alle de planlagte og systematiske tiltak somer nødvendige for å få tilstrekkelig tiltro til at etprodukt eller en tjeneste tilfredsstiller angitte krav til kvalitet".Kvalitetsledelse er definert som "den del av ledelsesoppgaven somgjelder å fastsette og iverksette kvalitetspolitikken". ISO-dokumentenedefinerer 'kvalitetsrevisjon', mens Van Vucht and Westerheijden(ibid.) anbefaler termen, kvalitetsvurdering, som en mer egnet term i utdanningssektoren.Kvalitetsvurdering blir da "en systematisk evaluering for åavgjøre i hvilken grad kvalitetsaktivitetene er i overensstemmelsemed planlagte tiltak og om produktet (undervisningsprosessen/utdanningen)er effektivt gjennomført og hensiktsmessig med sikte på åoppnå målsetningene" (ibid. s. 12).
Fjernundervisning har - så lenge formen har eksistert - værtet forholdsvis marginalt fenomen i utdanningssystemet. Derfor har fjernunderviseremåttet føre en kontinuerlig kamp for anerkjennelse av denneformen for undervisning som kvalitetsmessig likeverdig med andre utdanningstilbud.Selv de store offentlige fjernundervisningsinstitusjonene som er blittetablert i løpet av de siste 25 år har møtt motstandog skepsis fra mer tradisjonelle akademiske miljøer og har måttetkjempe for å bli godtatt. Ikke-offentlige fjernundervisning har normaltvært enda mer utsatt skepsis, og til dels mistenksomhet, fra detetablerte utdanningssystemet - og fra myndighetene. Dette problemet harvært forsøkt løst på ulike måter.
Enkelte har sett det som mest hensiktsmessig å la markedet reageremot institusjoner eller kurstilbud som ikke holder mål. Tanken eri tråd med i ideene bak kvalitetsledelse, at kvalitet vil lønneseg i det lange løp, og at mindreverdige tilbud vil forsvinne avseg selv. I mange land er situasjonen slik at markedet sammen med den generelleforbrukerlovgivningen er det eneste instrument for oppfølging avkvalitet i fjernundervisning. Problemet ved en slik løsning er atmed postordre salg til enkeltindivider kan man tjene penger på folksgodtroenhet i ganske lang tid, før markedet har evne til åreagere. Et annet forhold er at selv kortvarige forsøk av en slikkarakter kan ha ødeleggende virkning på fjernundervisningensalminnelige omdømme.
Seriøse institusjoner har normalt vært interessert i tiltaksom kan sikre et visst kvalitetsnivå, og både nasjonale oginternasjonale organisasjoner på feltet har ofte formulert normerfor god undervisning, etikk og forretningspraksis.
Noen nasjonale organisasjoner har tatt et skritt videre og etablerteegne vurderingssystemer med institusjonalisert godkjenning av institusjonerog/eller kurstilbud. Det best kjente eksemplet er Distance Education andTraining Council (tidligere National Home Study Council) i USA. I Storbritanniahar de etablert en liknende frivillig ordning da Council for the Accreditationof Correspondence Colleges ble etablert i 1969.
En fjerde løsning er kvalitetskontroll gjennom spesifikk lovgivning.Norge var faktisk det første landet som iverksatte en egen lov forbrevundervisning i 1948. Andre land, som f. eks. Belgia, Frankrike, Nederlandog Tyskland har fulgt etter. Det er også laget et eget dokument påvegne av EU kommisjonen om "Distance Education and Economic and ConsumerLaw in the Single Market" (Remien 1994)m ed sikte på en eventuellsamordning av reguleringer knyttet til fjernundervisningsfeltet.
Det er mange årsaker til at systematisk evaluering og tiltak forbåde å kontrollere og bedre kvalitet har vært viktig- og har vært tatt på alvor i fjernundervisningskretser:
Derfor har det utviklet seg en viss tradisjon av forskning og evalueringbåde i offentlige og ikke-offentlige fjernundervisningsinstitusjoner,og disse aktivitetene har vært direkte knyttet til systematiske tiltakfor forbedring av kvalitet. Det har ofte vært nær kontakt mellomforskning og praktisk undervisningsutvikling, noe som har gjort det enklereogså å utvikle 'praktiker-basert' evaluering. F. eks.har det britiske Open Universty helt fra starten hatt en egen avdeling,Institute of Educational Technology (IET), med ansvar for forskning ogevaluering. Et annet eksempel er det tyske FernUniversität med sineZentrales Institut für Fernsstudienforschung (ZIFF) og Zenter furFernstudienentwicklung (ZFE) for henholdsvis 'grunnforskning' og 'anvendtforskning og evaluering'. Disse eksemplene har vært fulgt opp avfjernundervisningsuniversiteter som har blitt etablert senere i Europaog andre deler av verden (see Schuemer 1991). Det er også grunn tilå nevne at norske fjernundervisningsinstitusjoner også hardrevet forsknings- og utviklingsarbeid i en årrekke.
I løpet av de senere år har det vært lagt økendevekt på betydningen av at de som er direkte involvert og ansvarligmå spille hovedrollen i kvalitetsarbeidet. Tanken er at dersom evalueringvirkelig skal få virkning for kvalitetsforbedringsprosessen, måden ikke skje som ekstern kontroll, men ved at de involverte praktikernetar del i, og kanskje har hovedansvaret for, evalueringsarbeidet (Thorpe1988).
På mange områderav samfunnslivet - i industri, forvaltning og tjenesteytende næringer- har vi de seinere år sett en sterkt økende interesse forog vektlegging av kvalitetsspørsmål. I industrien er kvalitetskontrollet kjent fenomen, som i hovedsak betyr at man kontrollerer og godkjennereller forkaster produserte varer ut fra fastlagte spesifikasjoner. En høyfeilprosent betyr lite kostnadseffektiv produksjon. Kvalitetskontroll førerderfor til et behov for kvalitetssikring - dvs rutiner og systemer somkan sikre at de produserte varer holder den spesifiserte kvalitetsstandard.
En bedrift som kan dokumentere et effektivtkvalitetssikringssystem, vil lettere kunne vekke tillit som leverandørav varer. Dette er en av grunnene til at det er utarbeidet nasjonale oginternasjonale standarder for kvalitetssikring. De internasjonale standardenedefinerer ikke produktenes kvalitet, men beskriver de krav som børstilles til bedriftenes kvalitetssystemer. Kvalitetsspesifikasjonene fastsettesav den enkelte bedrift, eller av bedrift og kontraktspartner i fellesskap.
De standarder som foreligger, er utvikleti tilknytning til produksjonsrettet industri. De anvendes imidlertid iøkende grad i tjenesteorientert virksomhet og bearbeides og suppleresmed tanke på slik virksomhet. Ofte kombineres bruk av kvalitetsstandardermed tanker om "kvalitetsledelse" (Total Quality Management).Kvalitetsledelse assosieres gjerne med en omfattende innsats for åinnrette hele organisasjonen og dens virkemåte mot brukernes behov,med en kontinuerlig overvåkning og forbedring av kvaliteten i organisasjonensytelser. Siden 1986/87 har ISO 9000-serien vært et viktig utgangspunktfor kvalitetsarbeid. ISO-seriens suksess i industrien har vist at det harvært et stort behov for å etablere internasjonalt akseptertestandarder. Om ISO-kravene egner seg like godt for direkte overføringtil utdanningsvirksomhet, er det nok mange som stiller seg kritiske til.
Siden tidlig på 80-tallet har kvalitetsbegrepetfått mye oppmerksomhet generelt på utdanningsfeltet - bådei den generelle debatten i høgere utdanning og i forbindelse medoffentlig utdanningspolitikk. Problemstillinger knyttet til kvalitet ihøgere utdanning har vært behandlet av en europeisk komitémed rapport til EU-kommisjonen (Van Vucht & Westerheijden 1993).
Denne rapporten peker på en del faktorer som forklarer den offentligeoppmerksomheten mot kvalitet i utdanningssektoren - og spesielt i høgereutdanning:
Franke-Wikberg (1992) gir uttrykk for liknende synspunkter i sin beskrivelseav generelle trender når det gjelder kvalitetstenkning og evalueringi Vest-Europa. Hun legger vekt på at det er to hovedmodeller forkvalitetsarbeid og evaluering, 'produkt-orientert som har kontroll avkvalitet som mål' og 'prosess-orientert modell som har kvalitetsforbedringersom mål' . Med dette utgangspunktet viser hun hvordan disse ulikemodellene har dominert tenkningen til ulike tider. I følge Franke-Wikberg(ibid.) dominerte produktorienterte evalueringsmodeller i 60-åreneda undervisningsteknologien sto sterkt som pedagogisk grunnlagsfilosofi,mens mer prosessorienterte modeller dominerte i 70-, og begynnelsen av80-årene. Fra slutten av 80-årene gjenoppsto produktorientertevaluering som mer sentral i evalueringstenkningen. I denne sammenhengener det kanskje rimelig å vise til Thorpe (1988) som hevder av positivkvalitetsutvikling har best forutsetninger når de som er direkteinvolvert, er de sentrale i et kontinuerlig og prosessorientert evalueringsarbeid.
Van Vucht and Westerheijden (1993) oppsummerer den generelle utviklingnår det gjelder nye systemer for kvalitetsledelse og kvalitetssikringi europeisk høgere utdanning ved å påpeke at fokusfor arbeidet er undervisningsprosessen og at måleneer både institusjonens egen kvalitetsforbedring og samfunnetsbehov for se sammenhenger mellom innsats og resultater (accountabilitytowards society).
Generelle trekk er:
Nasjonalt er det et formelt organ som har ansvar for å administreresystemet på'meta-nivå'. Dette organet er koordinatorog handler prinsipielt uavhengig av myndighetene og er ikke forpliktettil å pålegge institusjonene spesielle fremgangsmåteri kvalitetsarbeidet.
Ovennevnte synspunkter er i stor utstrekning i samsvar med flere avforslagene fra Studiekvalitetsutvalget i Norge, som skulle "vurdereforbedring av studieopplegg, undervisning og læring ved universiteterog høgskoler med sikte på et kvalitetativt bedre utdanningsresultatog bedre studentgjennomstrømming" (Studiekvalitetsutvalget1990). Det er også tatt flere initiativer i Norge på videregåendeskoles nivå, f. eks. RVO's skolevurderingsprosjekt, der det ogsålegges vekt på at: "Skolevurdering ... innebærer at denenkelte skolen har større ansvar for systematisk vurdering..."(RVO 1988).
I det følgende skal vi presentere tre eksemplerpå 'kvalitetssystemer' som er utviklet spesielt for fjernundervisning.De to første er utviklet av europeiske organisasjoner, mens detsiste er vårt eget system eller 'kvalitetsnormer for fjernundervisning'utviklet av NFF som en støtte til medlemmene i sitt eget arbeidmed kvalitetsutvikling.
SATURN Quality Working Group: SATURN Quality Guide for Open and DistanceLearning (1992)
AECS: Quality Guide (1994)
NFF/Norsk forbund for fjernundervisning: NFFs Kvalitetsnormer forfjernundervisning. Revidert utgave (1996), (Ljoså & Rekkedal1993).
Alle tre prosjektene tar sitt utgangspunkt i anerkjente synspunkternår det gjelder kvalitet og kvalitetsledelse fra industri og næringslivog prøver å integrere disse med spesifikke aspekter ved utdanningog spesielt fjernundervisning. Ingen av dokumentene anbefaler direkte anvendelseav ISO-krav, men ser på ISO-dokumentasjonen som mulige veiledenderetningslinjer. Alle tre legger vekt på 'egenvurdering', regelmessigsystematisk gjennomgang av organisasjonens aktiviteter, instrukser, prosedyrerog resultater, som hovedmetoden for å avdekke sterke og svake siderog som grunnlag for kontinuerlig kvalitetsforbedring.
SATURN var en virksomhet på europeisk nivå med universiteter,som drev fjernundervisning, industri- og næringslivsorganisasjoneri likeverdi partnerskap med sikte på utvikling av flernasjonale studietilbud.Kvalitetsutvikling på fjernundervisningsfeltet ble sett påsom et viktig innsatsområde, og organisasjonens 'Quality WorkingGroup' publiserte den første versjonen av 'Saturn QualityGuide for Open and Distance Learning' i januar 1992.
Veiledningen definerer kvalitet og relaterer sine begreper til andreinitiativer på området, som f. eks. ISO-arbeidet. Den leggerhovedvekt på aktiviteter og prosesser som er sentrale når detgjelder tilbud om fjernundervisning. Veiledningen er basert på enmodell som definerer visse 'nøkkelområder' som blirbehandlet ut fra ulike 'deltakerroller' ('informasjonsspredere'('information providers'), 'utviklere'('developers'), 'leverandører'('deliverers'), 'institusjonelle kunder' ('corporate customers')og 'deltakere' ('learners'). Et spesielt interessant punkt i Saturn-guidener at også institusjonelle brukere og elever/studenter blir trukketsom ansvarlige aktører i kvalitetsarbeidet. Totalkvaliteten er altsåavhengig av brukerens innsats og er også avhengig av at brukertestiller krav.
For hvert nøkkelområde presenterer veiledningen en 'sjekkliste'som viser nødvendige/ønskelige 'handlinger' i formav 'kontrollspørsmål'. Sjekklisten forutsetter at organisasjonenhar formulert en 'kvalitetspolitikk' og presenterer også kontrollspørsmålsom skal besvares på dette punktet.
Saturn-guiden forutsetter at det er formulert en generell kvalitetspolitikksom påpeker ansvaret for 'tilbydere' og 'brukere' nårdet gjelder 'kvalitetspolitikk', 'informasjon', 'formulering av mål','produkter, tjenester og leveringsspesifikasjoner' og 'evalueringog forbedringer'.
Nøkkelområdene som blir presentert i guiden er:
De detaljerte sjekklistene for hver av deltakerrollene beskriver viktigeaktiviteter for hvert av nøkkelområdene som bør utføresfør opplæringen, under opplæringen og etteropplæringen.
Veiledningen er utviklet av AECS Research and Development Committee.Målet med kvalitetsprosjektet var å:
Det teoretiske grunnlaget for arbeidet ble hentet fra "The TotalQuality Management System" (EFQM 1992) presentert av EuropeanFoundation for Quality Management.
Grunnlaget for hele tenkningen er nødvendigheten av 'selv-evaluering',regelmessig og systematisk gjennomgang av organisasjonens aktiviteter ogresultater. Veiledningen gir retningslinjer for vurdering av organisasjonensaktiviteter, prosesser, ressurser og resultater.
Modellen er presentert nedenfor.
Modellen beskriver at:
Kundetilfredshet, Ansattes (people) tilfredshet og samfunnspåvirkning
oppnås gjennom
Lederskap som styrer og utvikler
Policy og Strategi, Ledelse av ansatte, Ressurser og Prosesser
på en måte som kontinuerlig fører til bedre
Forretningsmessige resultater (EFQM 1992, s. 3).
Hver av de ni elementene i modellen representerer kriterier for vurderingav organisasjonens fremgang mot 'Total kvalitetsledelse'. Resultatene dreierseg om hva organisasjonen har oppnådd/oppnår, mens 'enablers'dreier seg om hvordan resultatene er oppnådd. Et totalt kvalitetsledelsesprogrambestår i selvvurdering og selvutvikling gjennom regelmessig gjennomgangav alle 9 kriteriene og gjennomføre forbedring på grunnlagav klare strategier (ibid, s. 3).
AECS-veiledningen går gjennom alle de 9 områdene spesieltmed utgangspunkt i fjernundervisning og beskriver hvordan hvert områdekan håndteres i institusjonen. I denne sammenheng er det beskrevet4 nivåer når det gjelder utvikling av total kvalitetsledelse.
Veiledningen har spesielt definert 'kjerneaktivitetene' i fjernundervisningsinstitusjonersom:
NFFs kvalitetsnormer kom i førsteutgave i 1993 og ble revidert i 1996. Kvalitetsnormene er utviklet somet resultat av endringene i Voksenopplæringsloven fra 1993, der ansvaretfor å sikre undervisningskvalitet i de frittstående fjernundervisningsinstitusjoneneeksplisitt ble pålagt institusjonene selv. Tidligere hadde Brevskolerådeten vesentlig kontrollfunksjon både på kurs- og institusjonsnivå.Som et resultat av endringen anmodet KUF om at NFF skulle utvikle veiledendekvalitetsnormer for fjernundervisning. Grunnlagsdokumentene for lovendringenuttrykte at kvalitetssikring, oppfølging og kontroll i institusjoneneskulle omfatte den totale undervisningsvirksomheten.
De veiledende kvalitetsnormene erutviklet av NFFs Kvalitetsutvalg i samarbeid med departementet ogmedlemsinstitusjonene. Kvalitetsnormene forutsettes å ha en internfunksjon for institusjonene ved at de skal tjene som retningsgivende forinstitusjonens eget kvalitetsarbeid.
I forbindelse med utvikling av normenehadde kvalitetsutvalget en omfattende diskusjon om modeller, form og krav.Det var enighet om at institusjonene selv bør bestemme hvordan detinterne arbeid skal organiseres og utføres i den enkelte institusjon.Man ville derfor ikke stille bestemte krav om dokumentasjon eller valgav system. Man la ikke vekt på definere krav til kvalitetssikringssystem,men på å definere kvalitetsnormer for aktiviteter, prosesserog resultater. Jeg oppfatter dette som viktig fordi det er stor uenighetom i hvilken grad kvalitet oppnår best gjennom formelle kvalitetssikringssystemereller gjennom på andre måter (jmf. den innledende diskusjonenom forskjellen mellom kvalitetsstyring og kvalitetssikring.
Kvalitetsutvalget tok utgangspunkt i en todimensjonalmodell for evaluering av undervisning presentert i en rapport fra Universiteteti Lund (Nilsson 1992) og tilpasset denne til fjernundervisning. Fjernundervisningsinstitusjonenesvirksomhet ble inndelt i 4 hovedområder:
Hver av disse områdeneble igjen inndelt i 4 'faser'.
Dette gir til sammen en matrise på 16 felter som vi kalte 'kvalitetsområder'.Forutsetningen er at institusjonen skal foreta en selvvurdering innenfordisse kvalitetsområdene. Kvalitetsutvalget noen 'faktorer'som kan eller bør inngå i institusjonens vurdering av egenkvalitet. For hver av faktorene er det formulert et antall 'kvalitetsnormer'.
Det er viktig å fastslå at fra Kvalitetsutvalgets side ernormene å betrakte som anbefalinger og veiledning for institusjonensselvvurdering og ikke spesielt beregnet som grunnlag for ekstern kontroll.Likevel forutsatte vi at normene burde kunne benyttes i forbindelse medKUFs vurderingsarbeid i forbindelse med eventuelle godkjenning av nye institusjoner.Vi forutsatte også at normene burde representere en veiledning forfjernundervisningstilbud i andre virksomheter enn de frittståendefjernundervisningsinstitusjonene.
NFFs Kvalitetsnormer for fjernundervisning kom i ny utgave i 1996. Revisjonener et resultat av tilbakemeldinger på grunnlag av erfaringer sålangt og utvikling på mediefeltet innen fjernundervisning. Endringenebestår i hovedsak i at den reviderte utgaven tar bedre hensyn tilmedievariasjonen, formuleringene er gjennomgått med sikte påå oppnå større klarhet, normene omtaler deltakerne konsekventsom studenter og en har foretatt en nyvurdering av bruk av børeller skal i formuleringen av de enkelte normene.
Vi ser ar det er mange likhetstrekk mellom den generelle utvikling iNorge og internasjonalt når det gjelder eksterne krav til utdanningsinstitusjonerom kvalitetsvurdering og kvalitetsutvikling. Det synes også åvære samsvar mellom tradisjoner som er utviklet med bakgrunn i pedagogikk,undervisningsutvikling og evaluering og synspunkter som kommer med bakgrunni kvalitetsarbeid fra industri og næringsliv.
Vekten på ekstern kontroll eller intern selvevaluering og sammenhengmellom ulike metoder varierer noe fra land til land og mellom tradisjonellundervisning og fjernundervisning i regi av offentlig og ikke-offentligeinstitusjoner. Når det gjelder de ulike veiledningene i kvalitetsarbeidjeg har sett på, synes det klart at NFFs arbeid, og som det fremgårav betegnelsen kvalitetsnormer, mest klart representerer en normativ veiledningom hva som er god kvalitet i fjernundervisning. De andre eksemplene leggeri større utstrekning vekt på hvordan kvalitetsarbeidet skaldrives, selv om de også i varierende grad og i mer eller mindre generelletermer beskriver hva som representerer god kvalitet.
Deler av denne artikkelen er bearbeidet fra Ljoså & Rekkedal(1993) og Rekkedal (1996).
AECS (1994): Quality Guide. AECS.
Birnbaum, R. (1989): The Quality Cube: how college presidents assessquality. In: Quality in the Academic: Proceeding from a national symposium.National Center for Postsecondary Governance and Finance. University ofMaryland.
EFQM (1992): TotalQuality Management. The European Model for Self-Appraisal. Guidelines forIdentifying and Addressing Total Quality Issues.
Franke-Wikberg, S. (1992): Quality in Higher Education: An InternationalIssue under Debate. Paper to the EADTU Conference 'Quality, Standardsand Research in European Distance Education. Umeå.
NS-ISO 8402 (1989): Norsk Verkstedsindustris Standardiseringssentral.
NS-ISO 9000/9001/9002/9003/9004 (1988): Norsk Verkstedsindustris Standardiseringssentral.
Juran, J. M. (1988): Quality Control Handbook. N. Y.: McGrawHill.
SATURN (1992): SATURN Quality Guide for Open and Distance Learning.Pilot guide, January 1992.
Ljoså, E. & Rekkedal, T. (1993): From External Controlto Internal Quality Assurance. Background for the Development of NADE'sQuality Standards for Distance Education. Oslo: NADE. (Norsk utgave:Fra ekstern kontroll til intern kvalitetssikring. Bakgrunn for utviklingav NFFs kvalitetsnormer for fjernundervisning. NFF 1993.)
NFF (1996): Kvalitetsnormer for fjernundervisning. Revidert utgave.Oslo: NFF.
Nilsson, K.-A. (1992): Utvärdering för kvalitet. En handledningför grunnutbildingen. Pedagogisk Utvecklingsarbete vid Lunds Universitet.Lund: Universitetet i Lund.
Rekkedal, T. (1996): Quality of Education Produced and Delivered byDifferent Institutions. In: Open and Distance Learning Enhancing Mobilityin Europe - the Future with Socrates. Papers to the EvaluationConference organised by the Commission of the European Communities andHelsinki University of Technology, 3-4- May, 1996.
Schuemer, R. (1991): Evaluation Concepts and Practice in selectedDistance Education Institutions. Hagen: FernUniversität.
SOFF (1991): Evalueringsbilder. En veiledning ved evaluering av fjernundervisning.Tromsø: SOFF.
Studiekvalitetsutvalget (1990): Innstilling fra Studiekvalitetsutvalgetavgitt til Utdannings- og forskningsdepartementet 9. juli 1990. Oslo:UFD.
Remien, O. (1994): Distance Education and Economic and Consumer Lawin the Single Market. Brüssel: European Commission.
RVO (1988): Skolevurdering. Et grunnlagsdokument. Oslo: RVO.
Thorpe, M. (1988): Evaluating Open & Distance Learning. London:Longman.
Van Vucht, F. A. & Westerheijden, D. F. (1993): Quality managementand quality assurance in European higher education. Methods and mechanisms.Brüssel: Commission of the European Communities.