Drie problemen die je beter kunt voorkomen bij het opstellen van (normatieve) centrale vragen (deel 2)

In een vorige bijdrage over het opstellen van (oordeelsvormend) centrale onderzoeksvragen heb ik uitgelegd wat wordt bedoeld met het opnemen van een beoordelingskader of toetsingskader in een centrale vraag die moet leiden tot een oordeel. In theorie lijkt dit niet zo moeilijk; de praktijk leert echter dat je tegen diverse problemen kunt aanlopen. In deze bijdrage zal ik uitleggen hoe je de drie meest voorkomende problemen kunt tackelen.

Hier kun je deel 1 teruglezen.

Bij het opstellen van een centrale vraag en dan concreet bij het opnemen van het beoordelingskader in een centrale vraag kunnen beroepsbeoefenaren en studenten - zo is mijn ervaring - tegen drie problemen aanlopen:

PROBLEEM 1: "Help: mijn opdrachtgever wil een advies!"

Eerder hebben we je laten zien dat oordeelsvorming vaak centraal staat in het werk van professionals. Dit geldt ook voor veel praktijkgerichte onderzoeken. Maar soms wil een opdrachtgever bij praktijkgerichte onderzoeken dat de onderzoeker nog een stap verder gaat. Niet alleen moet de onderzoeker tot een bepaald oordeel - als soort kennis - komen maar moet hij of zij op basis van dit oordeel met een advies komen. De eerste vragen die dan opborrelen, zijn: Moet in de centrale vraag terugkomen dat een advies wordt gegeven? En wat betekent dit voor het beoordelingskader?

Het antwoord op de eerste vraag is ja, je doet er goed aan het beoordelingskader terug te laten komen in de centrale onderzoeksvraag bij adviserende kennisonderzoeken. Eerder heb je gelezen dat om een centrale vraag functioneel te maken, je moet laten zien wat het kennisdoel is. Als het geven van een advies het kennisdoel is, moet je - om de centrale vraag functioneel te maken - dit doel terug laten komen in je hoofdvraag. Helemaal nu het bovenliggend doel van een onderzoeksformulering en/of onderzoeksopzet het inzicht geven in je onderzoek richting je opdrachtgever is.

Dit levert bijvoorbeeld de volgende centrale vraag op:

Welke aanbevelingen kunnen worden gegeven na toetsing van de praktijk dat politie-agenten berichten plaatsen op sociale media aan de AVG?

Door te spreken over aanbevelingen is duidelijk dat een advies wordt gegeven; namelijk een voorstel om op een bepaalde manier te handelen. Het is een handelingsvoorstel.

Deze centrale vraag laat tegelijkertijd ook de structuur van het onderzoek doorklinken: de deelvragen kunnen uit de centrale vraag worden afgeleid. Zie hiertoe om te beginnen de drie deelvragen die ik genoemd heb in de vorige bijdrage.

Vervolgens kondigt de centrale vraag (impliciet) een vierde deelvraag aan:

Adviseren wat het (met deelvraag 3 gevonden) oordeel betekent voor de opdrachtgever. Dit resulteert in dit concrete geval in de deelvraag: "Welke mogelijkheden / opties / verbeterpunten zijn er om politieagenten conform de AVG berichten te laten plaatsen op social media?", "Wat is nodig om politieagenten conform de AVG berichten te laten plaatsen op social media?", "Wat moet gebeuren om ...", "Op welke wijze / verschillende manieren kan ervoor worden gezorgd dat politieagenten ..." [1].

Doordat de centrale vraag ook de structuur laat zien, voldoet de centrale vraag aan het criterium 'functioneel-zijn'.

PROBLEEM 2: "Help! Mijn opdrachtgever snapt niets van mijn te lange centrale vraag!"

Een tweede probleem bij het opstellen van centrale vragen - en dat vooral op bij adviserende kennisvragen - is de neiging van de onderzoeker om lange, onbegrijpelijke hoofdvragen op te stellen (om maar volledig te zijn). Een voorbeeld van een juridische onderzoeksvraag:

Welke aanbevelingen kan ik geven aan de Nationale Politie na toetsing van de praktijk dat politie-agenten met betrekking tot hun werkzaamheden op sociale media berichten plaatsen aan de AVG die in 2018 is gewijzigd door o.a. de introductie van een nieuw aan te stellen functionaris gegevensbescherming?

Snap jij deze centrale vraag?

Waarschijnlijk niet of deels niet. Dit komt omdat ik in deze hoofdvraag de meest voorkomende problemen heb laten terugkeren. Wat in negatieve zin opvalt in deze centrale vraag:

Het beoordelingskader is te uitgebreid. Getoetst wordt aan "de AVG die in 2018 is gewijzigd door o.a. de introductie van een nieuw aan te stellen functionaris gegevensbescherming". Genoemd wordt dus dat de AVG in 2018 is gewijzigd, maar waarom is dit relevant voor de centrale vraag? (los even of dit ook klopt)
De verwijzing naar "o.a." maakt het beoordelingskader vaag. Wordt dus niet bedoeld dat enkel hieraan wordt getoetst?
De opdrachtgever wordt genoemd. Met name bij adviserende onderzoeksvragen zie je dit terug; bij oordelende kennisvragen minder. Maar is dit nodig?
De onderzoeker benoemt zijn of haar eigen rol: "ik ga aanbevelingen geven". Wat voegt dit echter toe; is het niet vanzelfsprekend dat de onderzoeker dit gaat doen?

Het beoordelingskader kan waarschijnlijk korter worden beschreven. Mogelijk wordt bedoeld een toetsing aan "de regeling inzake de functionaris gegevensbescherming zoals opgenomen in de AVG"? Als het mogelijk is, moet je de uitwerking van de centrale vraag niet te gedetailleerd maken. Al doemt dan wel mogelijk een ander probleem op.

PROBLEEM 3: "Help! Het beoordelingskader is te algemeen beschreven!"

Een te gespecificeerde uitwerking van het toetsingskader is misschien niet wenselijk. Aan de andere kant moet dit niet tot gevolg hebben dat een onderzoeker niet in beeld heeft wat het toetsingskader precies is. Hiervan is sprake als in de centrale vraag in zeer algemene termen wordt beschreven wat het toetsingskader is maar niet verder - bijvoorbeeld onder de centrale vraag - wat de precieze invulling is. Een voorbeeld:

Welke aanbevelingen kunnen worden gegeven na toetsing van de handelswijze van de opdrachtgever bij aanbestedingsprocedures [x en y] aan de eisen die het aanbestedingsrecht stelt?

Het juridisch toetsingskader oogt erg algemeen: "de eisen die het aanbestedingsrecht stelt". Is het aanbestedingsrecht niet een te algemeen beoordelingskader? Aangezien het aanbestedingsrecht wordt behandeld in omvangrijke boeken [2] is dit beoordelingskader te weinig afgebakend. Het beoordelingskader moet dan ook nader geconcretiseerd worden. Dit kan onder de centrale vraag - in de begripsafbakening - maar omdat het beoordelingskader dermate fundamenteel is voor de richting van het onderzoek ligt het meer in de rede om dit in de centrale vraag te doen.

Dilemma tussen leesbaarheid en volledigheid?
Het bovenstaande maakt duidelijk dat leesbaarheid en volledigheid van de centrale vraag met elkaar botsen. In verband met de leesbaarheid mag het beoordelingskader in de centrale vraag niet te lang zijn maar in verband met de volledigheid mag het beoordelingskader niet te kort zijn. Hoe dit op te lossen?

De uitweg is simpel. Het beoordelingskader moet om te beginnen duidelijk zijn; in de zin staat volledigheid voorop. Neem dit als uitgangspunt. Indien vervolgens blijkt dat de centrale vraag onleesbaar wordt (een enigszins subjectief criterium maar dit kun je duidelijk krijgen door de vraag voor te leggen aan meerdere personen) dan mag je deze afkorten. Wel moet je vervolgens in de toelichting op de centrale vraag het beoordelingskader in volle omvang definiëren. Op die manier kun je zowel volledig zijn en toch een leesbare hoofdvraag formuleren.

Ik hoop dat het bovenstaande je verder helpt met het formuleren van een goede centrale vraag waarin ook een beoordelingskader is opgenomen. Heb je ondertussen een aanvulling op deze bijdrage? Ik hoor het graag!

In deel 3 zullen we drie veelgestelde vragen bij het formuleren van centrale vragen bij praktijkgericht juridisch onderzoek beantwoorden.

__________

[1]
Of je vervolgens ook de adviserende (centrale) vraag expliciet moet opnemen in het lijstje van deelvragen, is niet definitief te beantwoorden. Er zijn auteurs die dit als vijfde deelvraag opnemen en er zijn auteurs die dit afraden (het volgt immers uit de centrale vraag; sterker de vijfde deelvraag is bijna een herhaling van de hoofdvraag). Mijn advies luidt daarom: stem het af met de opdrachtgever voor wie je het advies schrijft.

[2]
Zie bijvoorbeeld Essers, M.J.J.M., Aanbestedingsrecht voor overheden; naar een maatschappelijk verantwoord aanbestedingsbeleid, Reed Business, 2015.