Voor de kwaliteit van praktijkgericht onderzoek binnen Fontys ICT
Samenvatting
In het kader van het tweede Fontys ICT Ambitieplan 2018-2023 OPEN UP had het R&D-thema als doel om onderwijs en praktijkgericht onderzoek met elkaar te verbinden. Daarbij werd eerst in kaart gebracht wat praktijkgericht onderzoek kenmerkt en hoe van die kenmerken de kwaliteit kan worden bepaald of beschreven. Dit heeft geleid tot het opstellen en uitwerken van een model met onderliggend instrumentarium. Het model heeft vier dimensies (relevantie, degelijkheid, overdraagbaarheid en valorisatie) die praktijkgericht onderzoek kenmerken en waarmee de kwaliteit van praktijkgericht onderzoek kan worden uitgedrukt als de overspanning tussen de vier dimensies. Het onderliggend instrumentarium biedt handreikingen om de dimensies in praktijk om te zetten en die kwaliteit te beoordelen, onderhouden en te ontwikkelen door middel van meting, organisatie en producten/opbrengsten. Het instrumentarium is onderdeel van de leerlijn onderzoekend probleem oplossen waardoor een brug geslagen is tussen onderzoek en onderwijs.
Fontys ICT transformeert naar een kennisinstituut dat onderwijs, onderzoek en co-creatie met externe partners integreert. Met Research Based Learning (RBL) verwerven studenten de nodige (onderzoeks)vaardigheden om betere ICT-professionals te worden.
De kwaliteit van onderzoeksactiviteiten wordt beoordeeld volgens de standaarden van het Brancheprotocol Kwaliteitszorg Onderzoek (Vereniging Hogescholen, 2022) [1]. Deze standaarden richten zich op de organisatie en relevantie van lectoraten en hun onderzoek.
Het combineren van onderzoek en onderwijs brengt extra uitdagingen met zich mee die moeten worden aangepakt:
Het model, zoals is weergegeven in Figuur 1, maakt een onderscheid tussen vier dimensies die samen praktijkgericht onderzoek kenmerken. Twee dimensies zijn gericht op externe en twee op interne kennisoverdracht.
Figuur 1
Het model met de vier dimensies kenmerkend voor praktijkgericht onderzoek en hun instrumenten en motto.
Externe kennisoverdracht gaat over waarde en interactie met partners, netwerken, agenda en samenleving. We onderscheiden twee naar buiten gerichte dimensies:
Bij interne kennisoverdracht gaat het om onderzoek waarop je kunt vertrouwen door een onderwijskundig kader, werk- en studieomgeving te bieden aan studenten, docenten, onderzoekers en projectleiders of organisatie. We onderscheiden twee intern gerichte dimensies:
Hoewel de dimensies onafhankelijk kunnen worden behandeld, komen ze, wanneer ze in volgorde worden geplaatst, overeen met het natuurlijke proces van onderzoek: beginnend met een relevante onderzoeksvraag, het toepassen van degelijke methodologieën die leiden tot relevante (deel) beroepsproducten en die door het overdragen van kennis de continuïteit borgen. Tenslotte laten producten en kennis hun meerwaarde zien voor het werkveld.
Om de kwaliteit van praktijkgericht onderzoek te beoordelen, te behouden en te verbeteren, definiëren we instrumenten die op de dimensie werken om zo:
Met de dimensies in de vorm van pijlen kan een totaalbeeld, grafisch verbeeld in Figuur 2, worden gemaakt dat staat voor de kwaliteit van het praktijkgericht onderzoek.
Figuur 2
Onafhankelijke meetbaarheid dimensies en radarplot kwaliteit praktijkgericht onderzoek.
Toelichting: de pijlen geven aan dat elke dimensie onafhankelijk meetbaar is. Een radarplot (overspanning van de dimensies) laat zien wat de kwaliteit van het praktijkgericht onderzoek is en welke dimensie(s) extra aandacht nodig heeft.
Enkele opmerkelijke instrumenten zijn:
Een ontwerpend onderzoeksproces kunnen we in kaart brengen (Figuur 3) als een regulatieve cyclus die verwant is aan de Plan-Do-Check-Act (PDCA) kwaliteitscyclus.
Figuur 3
Volgorde van de vier kenmerkende dimensies praktijkgericht onderzoek zoals die overeenkomen met de PDCA kwaliteitscyclus en de regulatieve cyclus van ontwerpgericht onderzoek.
Relevantie
Een relevant project sluit aan bij onderzoekspositionering, die op haar beurt maatschappelijk is ingebed. Een relevant praktijkgericht onderzoeksproject vertrekt dan ook vanuit een passende onderzoeksuitdaging en gedegen oriëntatie (probleem analyse).
Degelijkheid
De kern van elk onderzoek zijn de activiteiten die de uitdaging aangaan. De validiteit en betrouwbaarheid van deze activiteiten kunnen extern worden beoordeeld door het gebruik van goed gedefinieerde en algemeen begrepen ontwerpende onderzoekspatronen, onderzoeksstrategieën en onderzoeksmethoden.
Overdraagbaarheid
Het volgen van degelijke onderzoeksmethoden leidt tot heldere hand-overs, d.w.z. producten die kennis overdragen naar een vervolg of aangrenzend onderzoeksproject.
Valorisatie
Wanneer relevant, degelijk uitgevoerd en overdraagbaar onderzoek wordt opengesteld voor de buitenwereld, toont het zijn meerwaarde. Interactie in gemeenschappen met een actieve onderzoeksportfolio geeft verdere richting aan relevanter onderzoek.
Tabel 1 geeft een overzicht van de instrumenten per dimensie kenmerkend voor praktijkgericht onderzoek.
Tabel 1
Overzicht van het instrumentarium (product/opbrengst, organiseren en meten) per dimensie.
INSTRUMENTARIUM PER DIMENSIE | ||
---|---|---|
1. Relevantie | ||
Producten | Organiseren | Meten |
Positioneren - Een duidelijke positionering gedefinieerd en gepresenteerd door elke onderzoeksorganisatie (lectoraat) is het uitgangspunt om te matchen met relevantie. | Adaptiviteit en co-creatie - Om relevant te blijven, moet onderzoek adaptief zijn. Co-creatie met partners stimuleert voortdurende afstemming van onderzoeksprojecten. | Impact index - De relevantie met betrekking tot het vakgebied kan worden gemeten aan de hand van het aantal subsidies, deelname aan de (nationale) agenda, de impactfactor van publicaties en de bijdragen aan onderwijseenheden. |
2. Degelijkheid | ||
Producten | Organiseren | Meten |
Design research en DOT framework - Een duidelijke set van paradigma's, strategieën en methoden wordt gepropageerd om degelijk onderzoek te stimuleren. Toegepast ICT-onderzoek omvat het Design Research Paradigma en het DOT Framework. | Professionalisering - Betrouwbaar onderzoek vereist docent-onderzoekers die bekwaam zijn in het uitvoeren en begeleiden van onderzoek. Onderzoek vindt zijn weerslag in functiebeschrijvingen, rollen en professionele ontwikkelingsplannen. | Peer assessments en meta analyse - Het uitvoeren van (peer) assessments legt bloot of methodieken met voldoende nauwkeurigheid worden toegepast. Effectieve ontwerppatronen kunnen worden bestudeerd als een metastudie van onze methodologie. |
3. Overdraagbaarheid | ||
Producten | Organiseren | Meten |
Hand-overs - Het opstellen en nakomen van overdrachtsafspraken met productdemonstraties, (broncode) repositries en documentatie vergemakkelijkt waardevolle overdrachten. | Lifecycle management - Toezicht op een overdracht door een belanghebbende die verantwoordelijk is voor de grotere levenscyclus, stimuleert overdrachten van hogere kwaliteit. | Lifecycle analyse - Overdraagbaarheid zorgt ervoor dat een project deel uitmaakt van een groter geheel - de levenscyclus die direct kan worden gemonitord. |
4. Valorisatie | ||
Producten | Organiseren | Meten |
Portfolio en Body of Knowledge - Door opbrengsten te ontsluiten en te presenteren kunnen externe partijen ze gebruiken. Waarde wordt behouden voor verder onderzoek door het onderhouden van een actieve hoeveelheid kennis. | Community of Practice - Een gemengde groep mensen met een gedeelde passie die van elkaar leren door regelmatig met elkaar te sparren en/of samen te werken, stimuleert een duurzame kenniscreatie en waardevolle onderzoeksresultaten. | Technology Readiness Levels (TRL's) - TRL's beschrijven in 10 niveaus de afstand tot de markt van een innovatie. Een transitie naar een hoger niveau wijst op toegevoegde waarde. |
Op het vier dimensies model is een gap-analyse uitgevoerd met behulp van de standaarden Brancheprotocol Kwaliteit Onderzoek (BKO) [1] en de Fontys SCOD-modelindicatoren [2]. In Figuur 4 is deze analyse schematisch weergegeven.
Figuur 4
Mapping van SCOD-indicatoren en BKO-standaarden op het vier dimensies model.
Hoewel in het BKO 2023-2028 de standaarden van vijf naar vier zijn bijgesteld, toont de analyse aan dat de standaarden grotendeels worden afgedekt. De afdekking is echter niet volledig als het gaat over [a] sturing, [b] ethiek governance en [c] zelfevaluatie.
Hoewel het model wel instrumentarium bevat dat gebruikt kan worden voor de organisatie van kennis is het niet gericht op de sturing van de organisatie. Dat maakt het model met name geschikt voor gebruik op operationeel niveau.
Ethische governance valt onder sturing. Daarnaast maakt ethiek onderdeel uit van een degelijke methodologie. Dat aspect is binnen het OPEN UP ambitieplan uitgewerkt door de themagroep Impact on Society. In samenwerking hebben de twee ambitiethema’s nieuwe DOT framework methodekaartjes ontwikkeld op het vlak van ethiek. Peer reviews en assessments zijn meetinstrumenten binnen de degelijkheidsdimensie en wordt inmiddels toegepast bij de onderlinge evaluatie van (Fontys ICT-)lectoraten.