Hoe kan je onderzoek en statistiek verbinden met programmamanagement? Deze vraag kreeg ik voorgelegd door het Centrum voor Onderzoek en Statistiek van de gemeente Rotterdam. Voor een speciale conferentie heb ik mijn reactie als volgt verwoord:
De programmamanager stuurt op het dichterbij brengen van doelen: in welke mate deze doelen dichterbij komen, kan goed onderzocht worden door statistici. Daar gaat het om het tempo waarin de doelen al dan niet dichterbij komen. Op dit gebied hebben afdelingen Onderzoek en Statistiek veel ervaring. Kijk maar eens op de verschillende sites van gemeenten: stadsmonitor, belevingsonderzoek, WOZ-gegevens, het wemelt er van gegevens. Het probleem is niet zozeer dat van gegevens, maar van het overzichtelijk krijgen van de gegevens voor derden.
Effectiviteit
Ook kunnen Onderzoek en Statistiek een rol spelen bij de vraag of de maatregelen in een programma tot die doelen hebben geleid. Die vraag is aanzienlijk lastiger. Het vraagt om een heel nauwgezet en ingewikkeld onderzoeksontwerp om deze vraag valide en betrouwbaar te kunnen beantwoorden. Het is natuurlijk wel de hamvraag, maar het vergt een enorme inspanningen. Daarbij wezen de deelnemers vorige week er ook op welk niveau van maatregelen je onderzoekt: elk apart of een clustering ervan? Het verrast niet dat er nog weinig van dit soort onderzoek is.
Omgeving
Elk programma speelt zich af in een omgeving waar ander beleid en exogene ontwikkelingen ook aan de orde zijn. Demografie, economie, milieu zijn voor bepaalde programma’s exogeen: ze hebben wel invloed maar worden niet door het programma beïnvloed. Weten hoe dat in elkaar steekt is zeker een gebied waar onderzoekers programmamanagers kunnen ondersteun, heel graag zelfs.
De gedachte kan zomaar postvatten dat de onderzoekers pas aan zet zijn, als het programma eenmaal bedacht is en uitgevoerd wordt. Niets is minder waar. Wijkanalyses vormen vaak de basis waarop een programma kan starten. Daarnaast hebben onderzoekers al zoveel ervaring op een bepaalde terrein dat zij wellicht in staat zijn via scenario’s berekeningen te maken van mogelijk effecten onder bepaalde omstandigheden. Dit zou het opstellen van een haalbaar programma kunnen ondersteunen.
Maar ook het formuleren van doelen is iets waar een programmamanager baat kan hebben bij de deskundigheid van onderzoekers: is het een meetbaar doel, is de indicator valide, zijn vragen die in het begin van een programma beantwoord kunnen worden.
Daarnaast hoeven niet alle onderzoeken gebaseerd te zijn op harde geobjectiveerde, kwantitatieve gegevens. Veel onderzoek is ook kwalitatief van aard. Met name op individueel, sociaal niveau blijkt dat programmamanagers wel degelijk positieve effecten zien van hun maatregelen. Systematisch verzameld en expliciet vastgelegd kunnen dit soort gegevens toch een meer algemene geldigheid gaan krijgen.
Presentatie
Onderzoekers moeten de valkuil vermijden dat ze alleen streven naar perfect onderzoek, volgens hun eigen maatstaven. Er is ook de maatstaf van de bruikbaarheid voor de programmamanager. Die heeft vaak baat bij een heldere presentatie. Zo heeft Rotterdam een Sociale Index opgesteld: een heldere indicator die samengesteld wordt door allerlei deelonderzoeken te combineren. Dat kan de onderzoeker op zijn bureau doen, terwijl de bestuurder met de Index op pad gaat. Dat bevordert de communicatie en verhoogt de helderheid in het besturen van een programma.