60 verkeerseduatieproducten langs de meetlat

De zoektocht gaat door naar een wetenschappelijk verantwoorde effectmeting van verkeerseducatieproducten die het ultieme bewijs moet leveren dat verkeerseducatie ertoe doet. De ‘educatieve checklist vormt een eerste stap. Hiermee zijn in drie jaar tijd zo’n 60 landelijke verkeerseducatieproducten op systematische wijze beoordeeld op kwaliteit. Een analyse en een blik in de toekomst.

Inleiding

Het afgelopen decennium is in Nederland hard gewerkt om de kwaliteit van verkeerseducatie te verbeteren. Eén van de tools die hieruit is voortgekomen is de educatieve checklist: een methode om op systematische wijze te beoordelen of een verkeerseducatief product (project, maatregel, interventie) op een goede manier is ontwikkeld. De checklist beoordeelt aan de hand van tien essentiële stappen de verkeerseducatieve interventies. Hiermee wordt inzichtelijk of de interventies op een verantwoorde wijze zijn opgezet en vormgegeven, en of zij aan bepaalde kwaliteitseisen voldoen. De beoordeling gaat uit van het materiaal dat digitaal, en op papier beschikbaar is.

Tussen 2013 en 2015 zijn zo’n 60 landelijk beschikbare verkeerseducatieve producten getoetst aan de hand van de checklist. Dit artikel beschrijft de ontwikkeling van de checklist , hoe de beoordeling van producten in zijn werk gaat, welke inzichten zijn opgedaan na drie jaar toetsen en hoe de checklist in de toekomst een rol blijft spelen bij de verbetering van de kwaliteit van verkeerseducatie-interventies.

Achtergrond

In 1998 heeft de gezamenlijke behoefte aan meer structuur en meer coördinatie geleid tot een congres over Permanente Verkeerseducatie . Daar zijn de eerste fundamenten gelegd voor een proces van samenwerking tussen de diverse regio’s op het gebied van verkeerseducatie. Met het congres is het concept Permanente Verkeerseducatie gemeengoed geworden.

Permanente Verkeerseducatie, PVE

PVE heeft tot doel de verkeersdeelnemer ‘van driewieler tot rollator’ vertrouwd te maken met kennis (kennen), vaardigheden (kunnen) en verantwoordelijkheidsgevoel (willen) om zich veilig te (blijven) gedragen in het verkeer.

Binnen PVE worden zes doelgroepen onderscheiden. De indeling in doelgroepen is gebaseerd op een combinatie van leeftijd en vervoersmodaliteit.

• 0 – 4 jaar (vroeg- en voorschoolse educatie)
• 4 – 12 jaar (basisschool)
• 12 – 16 jaar (voortgezet onderwijs)
• 16 – circa 25 jaar (beginnende bestuurders)
• circa 25 – circa 60 jaar (rijbewijsbezitters)
• vanaf circa 60 jaar (oudere verkeersdeelnemers)

Doelendocument: ‘het paarse boek’

Het congres in 1998 leidde uiteindelijk tot het zogenoemde ‘paarse boek’, onder de titel ‘Naar een succesvolle invoering van Permanente Verkeerseducatie’ (van Betuw en Vissers, 2002). Dit rapport bevatte uitgangspunten voor het beleid ten aanzien van PVE. De kerndoelen waren geformuleerd op een wat globaal niveau en konden nog te weinig sturing geven aan concrete activiteiten. Om die sturing wel te kunnen geven zijn in 2004 meer concreet geformuleerde leer- en onderwijsdoelen ontwikkeld in opdracht van destijds het Ministerie van Verkeer en Waterstaat en is het ‘Doelendocument Permanente Verkeerseducatie’ opgesteld. In dit ‘doelendocument’ zijn de leerinhouden voor verkeerseducatie voor de verschillende doelgroepen in een matrixstructuur ondergebracht.

Toolkit Permanente Verkeerseducatie
De volgende stap in de zoektocht naar meer samenhang en structuur was de ontwikkeling van de ‘Toolkit PVE’: een actueel overzicht van in Nederland beschikbare verkeerseducatieve programma’s en materialen. Dit web-based instrument helpt werkers in het veld van verkeerseducatie om een keuze te maken uit het rijke aanbod aan projecten en producten. De toolkit karakteriseert elk product per doelgroep, maar geeft nog geen inzicht in de kwaliteit van de beschikbare programma’s. De vraag naar het kunnen rangschikken van verkeerseducatieve programma’s op kwaliteit groeide.

Werkgroep beoordelingsmethode van kwaliteit
Gezien de groeiende behoefte aan kwaliteitsbeoordeling werd een werkgroep opgericht met als doel het ontwikkelen van een kwalitatieve beoordelingsmethode voor verkeerseducatieve producten. Er werd gezocht naar een aantal beoordelingscriteria op basis waarvan een transparant en zorgvuldig kwaliteitsoordeel kan worden geveld. Binnen het project werd gekozen voor een pragmatische aanpak waarbij samen met experts, materiaalontwikkelaars en vertegenwoordigers uit het veld van verkeerseducatie de mogelijkheden van een kwalitatieve beoordeling van producten is onderzocht. Mede gebaseerd op de methode van ‘intervention mapping’, die gaat over hoe je een succesvolle interventie moet opbouwen, is in 2011 een 10-stappen checklist verkeerseducatie ontwikkeld. Na een aantal proefsessies en aanpassingen, was de checklist verkeerseducatie een feit.

Checklist verkeerseducatie

Met behulp van de checklist wordt via het beoordelen aan de hand van tien essentiële stappen in kaart gebracht of verkeerseducatieve interventies op een verantwoorde wijze zijn opgezet en vormgegeven, en of zij aan bepaalde kwaliteitseisen voldoen. Door middel van de beoordelingscriteria wordt duidelijk dat de getoetste interventie bepaalde doelen nastreeft. Daarnaast wordt helder gemaakt of de juiste didactische benadering wordt toegepast om de gestelde doelen te realiseren en het beoordeelt de kwaliteitsborging van het ontwikkelde product.

Doelgroep voor de checklist
De checklist is bedoeld voor professionals in het werkveld van verkeerseducatie. Dat zijn enerzijds educatieprofessionals bij intermediaire organisaties zoals regionale organen verkeersveiligheid (ROV’s), provincies, stadregio’s, gemeenten en anderzijds, professionals die zich bezighouden met de ontwikkeling van educatieve programma’s. De checklist is niet primair bedoeld voor de eindgebruikers, zoals scholen, leerkrachten, (verkeers)ouders, trainers en rij-instructeurs. Wel krijgen zij op basis van de eindscore op de checklist snel inzicht in de kwaliteit van de programma’s.

Het juiste stappenplan
De educatieve checklist bevat voor ontwikkelaars en andere gebruikers een overzicht van stappen die bij de ontwikkeling van een product moeten worden gezet. Alvorens een programma te ontwikkelen, moet eerst een goede analyse worden gemaakt van het probleemgedrag. Vervolgens moet de juiste doelgroep worden gekozen. Het SMART (Specifiek, Meetbaar, Acceptabel, Realistisch, Tijdsgebonden) formuleren van leerdoelen is cruciaal binnen de ontwikkeling van verkeerseducatieproducten. Vervolgens dienen de juiste didactische uitgangspunten te worden gekozen, om ervoor te zorgen dat de leerdoelen ook worden gehaald bij de gekozen doelgroep. Daarna moet goed worden nagedacht over inhoud en vormgeving, toetsing en evaluatie, handleiding en draaiboek, implementatie, procesevaluatie en effectmeting. Het is belangrijk dat deze ontwikkelstappen chronologisch en met veel aandacht worden doorlopen bij de ontwikkeling van nieuwe producten. Maar ook voor bestaande producten dienen periodiek deze stappen te worden doorlopen om te toetsen of het product nog voldoende aansluit bij de werkelijke situatie.

Een product of project is niet automatisch goed, wanneer aan veel criteria wordt voldaan. Hoe het product wordt gebruikt, of hoe het project wordt uitgevoerd, bepaalt voor een groot deel de uiteindelijke kwaliteit. In feite geeft de checklist een eerste advies aan de gebruiker op basis van beschikbare documentatie en toelichting van de producent. Het advies is niet dwingend en laat de verantwoordelijkheid bij de gebruiker over wat hij wil gebruiken in welke situatie en waarom.

Procedure

Het toetsen van de producten aan de hand van de checklist gebeurt via een samenwerking tussen CROW-KpVV, Royal HaskoningDHV en experts op het gebied van verkeerseducatie uit vrijwel alle provincies en regio’s van het land; samen de ‘toetsers’ genoemd. Voor de beoordeling wordt voor elk product een toetsgroep gevormd met een afgevaardigde van beide organisaties en (minimaal) twee experts. Bij het toetsen van een product is de producent zelf ook actief betrokken. De producent stuurt alle informatie over het product, zodat de toetsers op basis daarvan een eerste beoordeling kunnen doen. Voor de beoordeling van de producten wordt uitgegaan van de documenten die beschikbaar zijn, zoals de docentenhandleidingen, handboeken en documentatie voor cursisten. De producent wordt gevraagd om zelf de checklist in te vullen. Beide experts verkeerseducatie uit het land vullen na elkaar de checklist in, zodat ze op elkaars opmerkingen kunnen reageren. Vervolgens vult de expert van Royal Haskoning DHV de checklist aan. Na deze eerste beoordeling op papier vindt het interview plaats met de producent en de toetsers, om de vragen die de toetsers hadden, te stellen aan de producent en de scores te bespreken en eventueel aan te passen. Hierna volgt het eindoordeel. CROW-KpVV verzorgt de verslaglegging en de communicatie met de producent over de uitslag en de uiteindelijke presentatie op de website.

Resultaten

Tussen 2013 en 2015 zijn zo’n 60 landelijke beschikbare verkeerseducatieproducten getoetst met de educatieve checklist. In Nederland zijn overigens veel meer verkeerseducatieproducten beschikbaar. Voor toetsing met de checklist zijn de volgende voorwaarden gesteld: 1 landelijk beschikbaar (hoeft niet (al) landelijk te worden toegepast); 2 er moet interactie zijn met de doelgroep in de vorm van bijvoorbeeld een les (dus boekjes of pakketten zonder ‘les’ niet); 3 de producent moet willen meewerken. De resultaten zijn beschikbaar via de toolkit verkeerseducatie op de website mobiliteit en gedrag van CROW.

Wanneer de gevonden resultaten worden samengevoegd, scheppen deze een beeld van het huidige aanbod verkeerseducatieproducten in Nederland en de kwaliteitsaspecten waar meer of minder op wordt gescoord. Uit de analyse blijkt dat er voor de doelgroep 12- tot 16-jarigen verreweg de meeste programma’s beschikbaar zijn( zie tabel hieronder). Voor de grootste groep weggebruikers, namelijk 25- tot 60-jarigen is het aanbod juist klein.

Klik hier voor een vergroting

Tabel 1 aantal landelijk beschikbare verkeerseducatieproducten per doelgroep

Klik hier voor een vergroting

Tabel 2

Tabel 2 hierboven toont de scores van alle producten per stap. Een algemene observatie is dat producenten weinig over hun product op papier hebben staan. Om het goed te doen op de checklist is het belangrijk dat er over alle stappen informatie is opgenomen in bijvoorbeeld de handleiding. Tabel 2 laat zien dat vooral op stap 2 en stap 5 veel producten de maximale score behalen. De doelgroep (stap2) wordt goed gekozen en sluit meestal aan bij de keuze voor het te beïnvloeden gedrag. Ook zien de gebruikte materialen (stap 5) er over het algemeen goed uit. Op stap 1, het gekozen gedrag, scoort de meerderheid van de producten bovengemiddeld, al kan de uitwerking op papier vaak nog beter. Op de leerdoelen (stap 3) doen veel producten het minder goed, omdat deze niet voldoende SMART worden uitgewerkt. De didactische uitgangspunten (stap 4) zijn vaak goed gekozen, maar het ontbreekt bij sommige producten aan de argumentatie voor de keuze. Op de stappen 6 tot en met 9 wordt wisselend gescoord. Tot slot blijkt uit Tabel 2 dat op stap 10 het slechtst wordt gescoord. Wetenschappelijke effectmetingen worden vaak nog niet uitgevoerd.

Naar aanleiding van dit inzicht is in 2015 in opdracht van het Ministerie van Infrastructuur en Milieu een onderzoek uitgevoerd naar de stand van zaken effectmeting. In het eindrapport zijn tevens de tien regels voor het uitvoeren van een goede effectmeting opgenomen (CROW - Vissers en Hegeman, 2015). Voor veel producenten is de score op de checklist aanleiding geweest om de kwaliteit van hun producten te verbeteren. Zo heeft de ANWB naar aanleiding van de checklistscore een effectmeting uitgevoerd (Klik hier voor de effectmeting van ANWB-Streetwise).

Behalve de inzichten en het overzicht dat de educatieve checklist heeft opgeleverd, had het checklistproject ook het doel om bij alle betrokken meer aandacht te krijgen voor de kwaliteit van verkeerseducatie. En dat doel is bereikt. Via de checklist zijn veel producenten van leermiddelen gestimuleerd om interventies te ontwikkelen volgens een logisch opgebouwd stappenplan of interventies aan te passen op basis van het commentaar en de tips. Op die manier worden marktpartijen uitgedaagd om interventies te ontwikkelen die ertoe doen. Ook bij partijen die verkeerseducatie subsidiëren (ROV’s provincies, stadsregio’s) is de aandacht voor de kwaliteit van verkeerseducatie gegroeid. Een aantal subsidieverleners gebruikt de uitslagen van de toetsingen al om te bepalen welke producten worden gesubsidieerd.

Toekomst
De afgelopen jaren hebben alle betrokken partijen, zowel subsidieverstrekkers, experts verkeersveiligheid, als producenten verkeersveiligheid en het CROW-KpVV, veel geïnvesteerd om te komen waar we nu zijn. Figuur 1 hieronder, geeft de vordering hierin schematisch weer. Belangrijke stappen daarbij waren de toolkit verkeerseducatie en de ontwikkelde checklist verkeerseducatie. Inmiddels worden er met de tien gouden regels effectmeting en de onlangs ingeslagen weg naar structurele effectmeting verkeerseducatie, alweer vervolgstappen gemaakt om de kwaliteit van verkeerseducatie te blijven verbeteren.

Klik hier voor een vergroting

Figuur 1 Ontwikkeling kwaliteit van verkeerseducatie is eind jaren 90 ingezet en is het laatste jaar nog fors gegroeid

Nu een groot deel van de verkeerseducatieproducten getoetst is, gaat de educatieve checklist een nieuw traject in, gericht op het actueel houden van de toets-resultaten. CROW-KpVV heeft in 2015 de website mobiliteit en gedrag gelanceerd. De toolkit permanente verkeerseducatie heeft een plek gekregen binnen deze site. Hiervoor is de toolkit meteen geactualiseerd. Van de programma’s die getoetst zijn met de checklist verkeerseducatie, is ook het toetsoordeel toegevoegd aan de website. Om de website mobiliteit en gedrag als een betrouwbaar naslagwerk te behouden, moeten nieuwe verkeerseducatieprogramma’s worden toegevoegd en verbeterde programma opnieuw worden getoetst. Een actueel overzicht is noodzakelijk voor de drie functies die de site op dit moment vervult:

• Het geeft subsidieverstrekkers (provincies, regionaal organen verkeersveiligheid, stadsregio’s, gemeenten) inzicht in het aanbod en kwaliteit van verkeerseducatieproducten en –programma’s, waarmee zij bewuste keuzes kunnen maken aan welke projecten subsidie wordt verstrekt.
• Het geeft producenten van verkeerseducatie de mogelijkheid zichzelf te profileren en te zien wat het aanbod van verkeerseducatie (al) is. Zo wordt voorkomen dat producten worden ontwikkeld die er al zijn.
• Het stimuleert de samenwerking en uitwisseling van alle bij verkeerseducatie betrokken partijen.

Actueel houden van de website kan door verkeerseducatieproducten eens in de 3-5 jaar te toetsen op actualiteit. Vanuit de website worden producenten periodiek benaderd met de vraag of de beschrijving nog actueel is. Zo niet, dan dienen producenten zelf aan te geven wat is aangepast. Vervolgens gaat hetzelfde team van experts verkeersveiligheid, Royal Haskoning DHV en CROW-KpVV, beoordelen of de score op de checklist hierdoor wijzigt. Bij grote aanpassingen en nieuwe producten of nieuwe producenten vindt uitgebreide toetsing plaats, met minimaal twee experts en een interview.

Op weg naar structurele effectmeting verkeerseducatie

Door de inzet van CROW-KpVV en verkeersveiligheidsexperts van alle provincies en de Stadregio Amsterdam en de experts van Royal Haskoning DHV is met de inzet van de checklist verkeerseducatie bij het beoordelen van projecten en programma’s weer een grote stap genomen in het verbeteren van de kwaliteit van verkeerseducatie. Uiteindelijk is een goed opgezette en wetenschappelijk verantwoorde effectmeting het ultieme bewijs dat verkeerseducatie ertoe doet. Hier gaat de komende jaren meer in geïnvesteerd worden door middel van het project ‘Op weg naar structurele effectmeting verkeerseducatie’. De gezamenlijke provincies hebben in december 2015 hierover afgesproken dat ze hiervoor budget beschikbaar stellen voor de komende vijf jaar.