Een internationale vergelijking van het opleidingsniveau

Een internationale vergelijking van het opleidingsniveau Trudy Rexwinkel, Jacques Haenen, Albert Pilot Indien u belangstelling heeft voor het full paper, naast dit short paper, mailt u dan naar: [email protected]. Daarnaast wordt in dit paper verwezen naar een tweede onderzoek van dezelfde auteurs: Quality Assurance in higher education: analysis of grades for reviewing course levels. Quality and Quantity, In Press, DOI: 10.1007/s11135-011-9481-6. 1. Inleiding De internationale vergelijkbaarheid van het opleidingsniveau is een belangrijk aandachtspunt geworden in de Europese landen nadat de bachelor- en masteropleidingen waren ingevoerd. Doel was het bachelor- en masterniveau in de verschillende landen met elkaar te kunnen vergelijken (European Association of Quality Assurance, (ENQA 2009). Dit doel brengt evenwel theoretische en methodologische vraagstukken smet zich mee. Internationale vergelijking is namelijk pas mogelijk als de resultaten van een niveauonderzoek valide en betrouwbaar zijn. Essentieel hierin is de constructvaliditeit (Van de Vijver 2003; Coe 2010). Verschillende programma’s voeren onderzoek uit naar internationale vergelijkingen. Hoe hanteren zij het probleem van de constructvaliditeit? De Organisatie voor Economische Samenwerking en Ontwikkeling (OESO) heeft een verkennend onderzoek Assessment of Higher Education Learning Outcomes (AHELO) uitgevoerd naar de mate waarin instellingen van hoger onderwijs studenten voorbereiden op deelname aan de kenniseconomieën. Het resultaat van het onderzoek wees uit dat ‘in de meeste landen beoordelingsresultaten niet toegankelijk zijn en dat het dientengevolge nauwelijks mogelijk is de validiteit en betrouwbaarheid van beoordelingsresultaten vast te stellen’ (Nusche 2008: p.5-9). National Survey of Student Engagement (NSSE) onderzoekt de relatie tussen de betrokkenheid van de student met de studie en de kwaliteit van de opleiding. Elk jaar, vanaf 2000 wordt dit onderzoek uitgevoerd bij studenten van universiteiten in Canada en de VS. Om internationale vergelijkbaarheid te vergroten, nemen de onderzoekers speciale maatregelen. NSSE analyseert bijvoorbeeld alleen steekproeven met hoge aantallen respondenten. Normen vermeldt NSSE niet. ‘Om de data beter te kunnen begrijpen zou meer informatie verstrekt moeten worden over de achtergronden van respondenten, behandeling van missing data, van arme schaalbetrouwbaarheid en het voorkomen van inaccurate antwoorden’ (Rutowski and Rutowski 2010, p. 411). Programme for International Student Assessment (PISA) onderzoekt bij 15-jarigen de kennis en vaardigheden die burgers nodig hebben voor het deelnemen aan samenleving en arbeidsmarkt. PISA neemt speciale maatregelen om de internationale vergelijkbaarheid te versterken: experts-docenten uit verschillende landen maken de opdrachten, items en het ontwerp van de steekproef, zorgen voor de vertaling en het voorkomen van misverstand (OESO 2007). Deze onderzoeken kennen dus ook het probleem van de internationale constructvaliditeit, maar zijn niet bijzonder transparant over de aanpak ervan. Er worden vooral maatregelen genoemd die vooraf genomen worden en die gericht zijn op preventie van constructinvaliditeit. In deze studie willen wij het probleem van de constructvaliditeit nader exploreren met de volgende onderzoeksvraag. Welke instrumenten kunnen de internationale vergelijking van het opleidingsniveau in het hoger onderwijs ondersteunen? Deze onderzoeksvraag impliceert dat het begrip opleidingniveau en de problematiek van validiteit bij internationale vergelijking helder is. Beide komen aan bod in paragraaf 2. Over de deelnemers, instrumenten en procedure van de studie rapporteren we in paragraaf 3, en over de resultaten in paragraaf 4. Het paper wordt afgesloten met de conclusie en discussie in paragraaf 5. 2. Theoretisch raamwerk Doel van deze studie is het probleem van de validiteit bij het internationaal onderzoek naar het opleidingsniveau beter te begrijpen. Voor dit doel is inzicht nodig in het begrip opleidingsniveau en de noodzakelijke validiteit. Begrip opleidingsniveau is samengesteld uit drie componenten: inhoud en doelen, complexiteit van de inhoud die de desbetreffende opleiding(en) representeert, en bepaalde niveaukenmerken. Bij de keuze van de componenten zijn inzichten in het leren en meten leidend geweest. Het gehele begrip is elders uitgewerkt (Rexwinkel, Haenen, Pilot, 2010) Validiteit van het opleidingsniveau wordt bepaald bij de operationalisering. De componenten van het opleidingsniveau worden gespecificeerd. De validiteit van elke specificering wordt vastgesteld in overeenstemming met aard en werking ervan (Dellinger & Leech 2007, p. 322; Niaz 2009, p. 537; Creswell 2007 p. 203). Constructvaliditeit Bij de meting, aan het einde van de operationalisering, is constructvaliditeit essentieel. Constructvaliditeit geeft aan in hoeverre het beoogde construct wordt gemeten. Het construct kan niet direct worden gemeten (Gay & Airasian 2003). Constructen liggen onder de variabelen die worden gemeten en worden ontdekt door constructanalyse (Harkness, Van de Vijver and Johnson 2003), een type factoranalyse dat geschikt is voor onderzoeken van data, beoordelingen, evaluatie van behandelingen (Cronbach 1992, p. 391). De methode die evidentie levert voor constructvaliditeit is de Principal Component Analyses met varimax rotatie (Martin & Eroglu 1993, p. 195-198). Constructvaliditeit helpt het begrip opleidingsniveau beter te begrijpen, de scores beter te interpreteren en te gebruiken (Kim, Wang, Ng 2010, p. 495; Marsh & Martin 2011, p.63-67). Een voorwaarde voor internationale vergelijking van onderzoeksresultaten is dat de constructen identiek zijn. De kracht van de constructen wordt bevestigd door het meten van intercorrelaties resulterend in Pearson’s correlations coefficient r + α (Field 2005, p. 32,140). 3. Methode De studie is uitgevoerd met opleidingen uit vijf landen. Deze opleidingen wensten het opleidingsniveau internationaal te vergelijken. Hiermee stonden zij voor dezelfde eisen van validiteit en betrouwbaarheid (Brint,Proctor,Hannemen,Mulligan,Rotondi and Murphy 2011). Omdat deze studie naar de internationale vergelijkbaarheid van het opleidingsniveau minder bekend was en er tamelijk veel verkend moest worden, wordt zij gekenschetst als een exploratory case study (Creswell, 2007, p. 341). Deelnemers, de resultaten van de analyse van de groep deelnemers is in Appendix A. Instrumenten Belangrijk doel was de complexiteit van de opleidingsinhoud zo nauwkeurig mogelijk tot uitdrukking te brengen. Hiervoor hebben we een instrument ontwikkeld en getoetst op betrouwbaarheid. Het is het assenstelsel gebaseerd op de inzichten van Bloom et al. (1974) en Anderson en Krathwohl (2001) (figuur 1). Figuur 1 Kennis en intellectuele bekwaamheden en vaardigheden Kennis is weergegeven op de y-as en intellectuele bekwaamheden en vaardigheden (IAS) op de x-as. Kennis representeert concrete kennis van specificeringen en kenmerken, en abstracte kennis van instrumenten, organiseerders en meta-cognitie. De kennisdimensie is nauw verbonden met de IAS-dimensie op de y-as. Deze dimensie bestaat uit de basisvaardigheden ‘begrijpen’ en ‘initieel toepassen’, en uit complexe vaardigheden zoals geavanceerd toepassen, analyseren, synthetiseren en evalueren. Het formuleren van cognitieve doelen vereist daarom altijd beide dimensies. De stippellijnen creëren kwadranten waarmee het onderscheid wordt aangegeven tussen concrete en abstracte kennis en basis en complexe IAS. Dit onderscheid wordt bevestigd met de inter-beoordelaars-betrouwbaarheidstest (Appendix B). Procedure was gericht op preventie van constructinvaliditeit. Om dit te bereiken werden de componenten van het opleidingsniveau in samenwerking uitgewerkt (zodat de inbreng van elke opleiding aanwezig zou zijn in de gemeten constructen) en met gebruikmaking van dezelfde hulpmiddelen en instrumenten (zodat het begrip opleidingsniveau onderscheiden werd in dezelfde componenten). De procedure is uitgevoerd in drie stappen: Stap 1: Creëren van referentiekader bracht met zich mee dat twee experts-docenten van de Noorse en Nederlandse opleiding inhoud en doelen uitwerkten in thema’s en ontwikkelingen uit het beroepenveld en uit analyses van externe omgeving. Voorbeelden waren Ecotoerisme, Human resources development in hospitality industry en Kennis van verschillende culturen. Zeven vande negen thema’s werden positief beoordeeld door verschillende stakeholders: docenten en studenten van de vijf opleidingen. Stap 2: Ontwikkelen van eindtermen hield in dat twee experts-docenten uit VS en België de thema’s uit het referentiekader gespecificeerd hadden in eindtermen. Deze brachten de complexiteit van de opleidingsinhoud zo optimaal mogelijk tot uitdrukking. Voor het formuleren vande niveaukenmerken gebruikten experts-docenten het assenstelsel (figuur 1) wat leidde tot abstracte kennis en complexe intellectuele bekwaamheden en vaardigheden. Veertig eindtermen kwamen tot stand en werden beoordeeld door experts-docenten van de Oostenrijkse en Nederlandse opleiding. Stap 3: Member-check in het werkveld hield in dat experts-docenten van de Oostenrijkse en Nederlandse opleiding de eindtermen transformeerden in items voor een vragenlijst. De vijfpunt-schaal vragenlijst werd gepre-test bij afgestudeerden van vijf opleidingen en ter beoordeling voorgelegd aan de opleidingen. Alle opleidingen gingen akkoord met de vragenlijst die vervolgens werd uitgezet onder recent afgestudeerden van vijf opleidingen. Afgestudeerden rapporteerden in welke mate zij het betreffende eindterm-item beheersten: 1=slecht; 2=te weinig; 3=enigszins; 4=voldoende; 5=goed. 4. Analyse en resultaten De resultaten worden per stap gerapporteerd. Stap 1: Vijf opleidingen gingen akkoord met zeven vande negen thema’s (80%) van het Referentiekader, wat een goede indicatie was voor overeenstemming ofwel face-validity (Kane 2006). Stap 2: Eindtermen zijn gemeten op inhoudsvaliditeit wat resulteerde in Cohen’s Kappa coëfficiënt 0.71 wat een goede beoordeling was (Maas 2009, p.22; Commissie van Testaangelegenheden (COTAN) 2009). Stap 3: De analyses van de member-checks was gericht op N, M, SD, Constructvaliditeit en effectingen r en α. Stap 3.1. Analyseren van de afzonderlijke steekproeven (Appendix C). De validiteit van de uitkomsten van de survey werd bepaald door N, M, SD, Constructvaliditeit en Effectmetingen r en α: de omvang van de steekproeven N is beperkt, ofschoon de maat voldoet aande normen voor operationele veldtest (Snijkers, 2002, p. 65). Alertheid blijft nodig omdat N invloed heeft op de hoogte en kracht van α en r (Cronbach 1992, p. 156). De uitkomsten van de vijf opleidingen komen tegemoet aan de normen van constructvaliditeit, intercorrelaties en schaalbetrouwbaarheid: de componenten verklaren ≥ 50% van de variantie (Field 2005, p.632), de correlatie coëfficiënten zijn alle significant op de niveaus p3.00) en ‘ruim voldoende’ en ‘goed’ (> 3.50) werden verklaard met kenmerken vande responsgroepen en bevestigd door een ander, tweede onderzoek. Hiervoor werden gebruikt onderzoeksresultaten naar doelstellingen en gerealiseerde doelstellingen. Die waren te vinden in analyses van cijfers die docenten aan studenten gaven (Rexwinkel, Haenen, Pilot,2011), accreditatierapporten mits specifiek (ACPH,2011; FIBAA2010; NVAO2005,2011; NOKUT,2010), en onderwijs- en evaluatiemateriaal van de opleiding. Deze studie resulteerde in de internationale vergelijking van het opleidingsniveau: Opleiding Oostenrijk: 3.85 Opleiding VS: 3.67 Opleiding NL: 3.06 Opleiding België: 2.75 Opleiding Noorwegen: 2.70 5. Conclusies De studie heeft een aantal instrumenten opgeleverd die tot doel hadden de validiteit te bevorderen, te weten de systematische werkwijze die leidde tot valide eindtermen, het assenstelsel dat hielp bij het tot uitdrukking brengen van de complexiteit vande opleidingsinhoud en de werkwijze met het prototype die het mogelijk maakte de data internationaal te vergelijken, waarbij het opleidingsniveau in drie stappen per opleiding werd vastgesteld en bevestigd. Over deze instrumenten is verder discussie en onderzoek nodig. Discussie De vorm van het eindresultaat ende instrumenten zullen voorwerp van discussie zijn. Het betreft de hiervoor genoemde instrumenten, inhet bijzonder de stappen met het prototype. In de praktijk zijn steekproeven bij alumni vaak beperkt. Hiervoor is dus gezocht naar een methodologische oplossing die zoveel mogelijk recht doet aan het begrip opleidingsniveau.