De uitdaging van multi-country onderzoek

Blog Jori van de Spijker – Practice Lead Brand & Comms

‘De 24 beste landen om te werken’, ‘De Top 10 beste landen om te leven’. Het internet staat er vol mee, internationale onderzoeken waar landen onderling met elkaar worden vergeleken. En dat geldt natuurlijk ook voor onze internationale klanten, waar global teams de prestaties van de verschillende markten in kaart brengen. Met goed onderzoek is dat ook goed mogelijk. Maar er zijn wel een aantal valkuilen waar je op moet letten om te voorkomen dat je volledig verkeerde conclusies trekt.

Culturele verschillen

Zo kwam ik een tijdje geleden in aanraking met een klant die een winkel wilde openen in Nederland. Ze hadden NPS-scores verzameld, en wilde deze vergelijken met de winkels die het merk in andere landen heeft. Iedereen met ervaring in multi-country onderzoek kan voorspellen wat er dan gebeurt: winkels in Brazilië, China en US scoren hoog, terwijl de winkels in Japan, Duitsland en Nederland laag scoren. Komt dat door de winkels? Nee, niet per se. Dat komt allereerst door culturele verschillen. Brazilianen reageren nu eenmaal altijd enthousiast en scoren hoog op vragenlijsten. En tja.. wij Nederlanders vinden een 8 een prima cijfer, zelfs als we zeer tevreden zijn. Voor Nederlandse, Duitse of Japanse marketeers dus niet bepaald eerlijk, zij komen er altijd slechter uit.

Waar komen deze verschillen tussen landen vandaan?

Sociale normen
Er is niet één reden aan te wijzen. Allereerst zijn de sociale normen anders. In Nederland hebben we een Calvinistische achtergrond. ‘Doe maar normaal, dan doe je al gek genoeg’. Niet te veel opsmuk. In bijvoorbeeld de US is dat compleet anders. Daar is de ‘American Dream’ de overtuiging en is het de standaard om je tevredenheid uit te drukken in ‘great’ of ‘awesome’.

Puntsystemen
In Nederland groeien we op met rapportcijfers van 0-10, waarbij een 7 of 8 een prima score is. In de US gaat het met A+ tot en met E, heel anders. Amerikanen zijn geneigd eerder in extremen te denken. Een 9 of 10 is voor Nederlandse begrippen enorm hoog, terwijl dat voor Amerikanen een stuk minder gek is. Een A is namelijk veel gemakkelijker te geven. Vooral bij een NPS vraag heeft dit daarom direct impact.

Hiërarchie
Dan hebben we de hiërarchie in een land. In hoeverre kijk je op tegen anderen, hoe graag wil je het mensen naar de zin maken? In landen als India zijn mensen geneigd snel ja te zeggen, het ergens mee eens te zijn. Terwijl wij – en dat kun je bijvoorbeeld ook terugvinden in de bekende cultuurdimensies van Hofstede – een veel kleinere machtsafstand hebben. In Nederland zou een stagiair het aandurven om bij de CEO aan te kloppen met een goed idee. Kritisch zijn, wordt gezien als iets positiefs. In andere landen is het juist onbeleefd om mensen tegen te spreken en zijn respondenten dus eerder geneigd om het eens te zijn met een voorgelegde stelling.

Is het dan niet mogelijk om internationaal onderzoek te doen?

Maar wat betekent dit dan, is internationaal onderzoek hierdoor niet mogelijk? Natuurlijk wel. Maar het staat of valt bij een goede opzet van het onderzoek, waarbij je rekening houdt met verschillen tussen landen. De beste oplossing is om gedrag te registreren, in plaats van te vragen. Bij DVJ gebruiken we veel van dergelijke technieken, zoals het meten van reactietijd, het moment van zappen of online eye-tracking. Daarmee voorkom je dat mensen sociaal wenselijk reageren, omdat je daadwerkelijk gedrag meet.

Een andere optie is respondenten te laten kiezen. In plaats van te vragen in hoeverre iemand het eens is met een stelling, kun je ze vragen welke van een set van stellingen het meest van toepassing is. In China is het bijvoorbeeld niet ongebruikelijk dat 90%+ van de respondenten het eens is met alle stellingen. Door ze een keuze te laten maken leer je wat ze echt het meest van toepassing vinden.

Tot slot is het belangrijk om te werken met land-specifieke benchmarks. Wanneer we bijvoorbeeld een commercial testen, dan vergelijken we de scores altijd met onze database voor commercials uit dat specifieke land. Door het in ieder land in de context van wat een gebruikelijke score is voor dat land te zetten, is het mogelijk om de relatieve prestatie in kaart te brengen en dit tussen landen te vergelijken. Belangrijk hierbij is om niet terug te vallen op een regionale benchmark (bijv. de ‘Azië benchmark’). Verschillen tussen bijvoorbeeld Japan en China zijn zo enorm, dat een Azië benchmark betekenisloos is.

Top 10

Met de automatisering van vandaag wordt het mensen steeds makkelijker gemaakt om zelf onderzoeken uit te zetten. Maar niet zonder gevaar. De inhoudelijke expertise om dit op een correcte manier te doen, ontbreekt. Wat niet alleen leidt tot slecht onderzoek, maar erger nog: onjuiste conclusies. Dus de volgende keer dat je de prestaties van verschillende markten wil vergelijken, denk aan de uitdagingen. Maar belangrijker nog, los het op met een slim en goed doordachte onderzoeksopzet.