Waarom een onderzoek met maar 7 respondenten toch goed kan zijn

Cabaretier legt de waarde van kwalitatief onderzoek uit Jasper van Kuijk belicht wekelijks ontwerpfouten in de Volkskrant. Deze week heeft hij het over de dominantie van grote getallen in de marketingwereld: als heel veel mensen een product een 7 geven zal het best aardig zijn – en mogelijk goed verkopen… Maar om naar een 8 of een 9 te komen heb je kleine aantallen mensen nodig die zich echt ergens in verdiepen, en je vertellen waarom iets wel of niet deugt – of waarom het voor hen wel of niet werkt. Wetenschappelijk kwalitatief onderzoek onder kleine groepen, via interviews of observaties, wordt vaak wat laatdunkend bekeken. ‘Niet representatief’: klopt. ‘Makkelijk’: mwoah. ‘Nietszeggend’: onzin. Als je iets wilt snappen van de wereld, of iets wil verbeteren, is de macht van kleine getallen minstens zo groot als die van de grote getallen.

Denkfouten in het hedendaags ontwerp gefileerd door innovatie-expert (en cabaretier) Jasper van Kuijk. Deze week: gebruikstest.1 februari 2019

‘Zo’n test is toch totaal niet betrouwbaar? Hoe kun je dit nou zeggen op basis van maar zeven respondenten?’ Toen ik voor het eerst de resultaten van gebruikstesten besprak met marketeers was dit nog weleens de reactie. Het duurde een tijdje voor ik mijn vinger erachter kreeg waarom juist marketingmensen zo fel reageerden.

De marketing – in tegenstelling tot de ontwerpwereld – kent een traditie van werken met grote aantallen respondenten. Hoe meer hoe beter, want dat maakt het makkelijker de resultaten binnen de organisatie te verkopen als betrouwbaar. En juist bij dit publiek kwam ik dan aanzetten met een gebruikstest met zeven participanten.

Aangezien een gebruiksonderzoeker een gebruikstest persoonlijk afneemt en dat zomaar een uur kan duren, is het geen optie om dat voor een nieuw product 1.500 keer te doen. Bovendien maken dat soort aantallen respondenten een product niet gebruiksvriendelijker. Doe kwantitatief marktonderzoek onder 3.000 respondenten en dan kun je met behoorlijk grote zekerheid zeggen dat het gebruiksgemak van een televisie een 7 krijgt. Maar dan? Wat doe je dan als bedrijf, als je die 7 wilt verbeteren? Dat getal geeft nul informatie over welke aspecten van de televisie gebruiksvriendelijker kunnen. En dat is nou juist de informatie waar gebruiksonderzoekers naar op zoek zijn in gebruikstesten: wat moet er beter en waarom? Als je dat wilt weten moet je niet een gestandaardiseerde vragenlijst 1.500 keer laten beantwoorden, maar naast mensen gaan zitten, meekijken en vragen stellen.

Bovendien kan een gebruikstest ook met een beperkt aantal participanten heel effectief zijn. Onderzoek van de universiteit van Texas heeft laten zien dat een gebruikstest met tien participanten gemiddeld 95 procent van de gebruiksproblemen identificeert en op z’n minst 82 procent (en die ondergrens kwam niet heel vaak voor). Met vijf participanten vonden de onderzoekers gemiddeld 85 procent van de gebruiksproblemen.

Hierbij passen wel een paar kanttekeningen. Hoeveel participanten je nodig hebt kan afhangen van dingen als de ‘grootte’ van het product (grote website versus kleine app) en hoe gevarieerd de toekomstige gebruikersgroep is (een specialistische site voor advocaten of een overheidswebsite voor een breed publiek?). Eigenlijk is de beste graadmeter of je in je test het ‘verzadigingspunt’ hebt bereikt. Als je een aantal participanten lang geen nieuwe dingen meer ziet dan kun je beter stoppen met testen en het ontwerp verbeteren dan nog 1.492 keer hetzelfde te zien.

Ik had uiteindelijk een presentatie of vier nodig voor ik doorhad waarom marketeers zo fel reageerden. Daarna voegde ik in mijn presentatie een slide toe over de hoeveelheid benodigde respondenten in kwalitatieve gebruikstesten en de felle reacties verdwenen. En dat op basis van maar vier meetpunten.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google photo

Je reageert onder je Google account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s

Deze site gebruikt Akismet om spam te bestrijden. Ontdek hoe de data van je reactie verwerkt wordt.