Discussing creative research methods with the User Research in Wales community

By Alexander Slowman on July 8, 2025

(This is a bilingual post, Cymraeg posted below the English)

On Thursday 26 June, I attended a Centre for Digital Public Services (CDPS) meet-up with more than 30 members of the User Research in Wales community on behalf of Marvell Consulting.

I’ve been working on the replacement for StatsWales, so I was excited to meet other researchers working on critical public services used in Wales.

Creative approaches: beyond interviews and moderated usability testing

The theme for the meet-up was using more creative approaches to user research. I’ll admit to being a bit apprehensive. Researchers in public policy have successfully used artistic methods to encourage participants to get involved in policymaking - and have fun to boot. However, without discipline, novelty can get prioritised over insight.

I shouldn’t have worried: the excellent organisers of the meet-up at CDPS made it clear that the objective was encouraging researchers to find the best methods through experimentation, and not default only to user interviews and moderated usability testing. These methods are the most popular ones for good reasons, but they do not always work.

From pop-ups to role playing

The user research team at a Welsh university presented, explaining how research sessions with students could be expensive and unreliable. The expense limited the numbers they could recruit, and no-shows would reduce it further.

Instead of expecting students to come to them, the researchers tried going to where students were already trying to solve problems the researchers wanted to understand: the student hub building. They set up a pop-up research stall and brought along some sweet incentives (literally chocolate). I was really impressed with how they did such great research with a wide cross-section of their users by just being in the right place!

Role-playing stimulated plenty of discussion. The term ‘role play’, unfortunately, can have distracting connotations even though it’s a well-established research practice. And sometimes even the slightest distraction can undermine research. We talked about the importance of using language that respects the context you’re working in. For example, stakeholders in defence might understand it better if you relate it to well-established best practices in their domain, like wargaming. We all agreed that understanding how users think, feel and behave when using a service under a challenging but realistic scenario can provide hugely valuable insight.

A community that cares

My most important takeaway from meeting the User Research in Wales community was how much each member cares about all of their users. This isn’t a community that’s happy to grumble on the sidelines about the challenges we face as researchers (even though there are plenty!). It’s a community that is up to the challenge of making services better for the people of Wales.

If you'd like some help improving your digital services for the people of Wales, or anywhere else, please reach out to us at hello@marvell-consulting.com and we'll be happy to arrange a chat.

Trafod defnyddio dulliau ymchwil creadigol gyda’r gymuned Ymchwil Defnyddwyr yng Nghymru

Gan Alexander Slowman ar 8 Gorffennaf 2025

Ar ddydd Iau 26 Mehefin, mynychais gyfarfod y Ganolfan Gwasanaethau Cyhoeddus Digidol (CDPS) gyda dros 30 o aelodau’r gymuned Ymchwil Defnyddwyr yng Nghymru ar ran Marvell Consulting.

Rydw i wedi bod yn gweithio ar yr hyn a fydd yn disodli StatsCymru, felly roeddwn yn teimlo’n gyffrous i gyfarfod ymchwilwyr eraill sy’n gweithio ar wasanaethau cyhoeddus hanfodol a ddefnyddir yng Nghymru.

Dulliau creadigol: y tu hwnt i gyfweliadau a gweithgarwch profi defnyddioldeb a gaiff ei gymedroli

Y thema ar gyfer y cyfarfod oedd defnyddio dulliau mwy creadigol ar gyfer ymchwil gyda defnyddwyr. Rydw i’n cyfaddef fy mod yn teimlo ychydig yn bryderus. Mae ymchwilwyr ym maes polisi cyhoeddus wedi defnyddio dulliau artistig yn llwyddiannus er mwyn annog cyfranogwyr i gymryd rhan mewn gweithgarwch llunio polisi – a chael hwyl ar yr un pryd. Fodd bynnag, heb ddisgyblaeth, gellir blaenoriaethu newydd-deb dros ddirnadaeth.

Nid oedd angen i mi ofidio: roedd trefnwyr gwych y cyfarfod yn CDPS wedi nodi’n glir mai’r amcan oedd annog ymchwilwyr i ganfod y dulliau gorau trwy arbrofi, heb ddilyn trywydd cyfweliadau gyda defnyddwyr a phrofi defnyddioldeb mewn ffordd a gaiff ei chymedroli yn unig, yn ddiofyn. Mae rhesymau da pam mai’r dulliau hyn yw’r rhai mwyaf poblogaidd, ond nid ydynt yn gweithio bob tro.

O stondinau dros dro i chwarae rôl

Cafwyd cyflwyniad gan y tîm ymchwil defnyddwyr mewn prifysgol yng Nghymru, a oedd yn esbonio sut y gallai sesiynau ymchwil gyda myfyrwyr fod yn ddrud ac yn annibynadwy. Roedd y gost yn cyfyngu ar y niferoedd y gallent eu recriwtio, a byddai’r rhai na fyddent yn troi i fyny yn ei ostwng ymhellach.

Yn lle disgwyl i’r myfyrwyr ddod atyn nhw, ceisiodd yr ymchwilwyr fynd i’r mannau lle’r oedd y myfyrwyr eisoes yn ceisio datrys problemau yr oedd yr ymchwilwyr yn dymuno eu deall: adeilad yr hwb myfyrwyr. Trefnont stondin ymchwil dros dro a chynnig cymhellion melys (siocled). Roedd yr ymchwil gwych a wnaethant gyda chroestoriad eang o’u defnyddwyr trwy fod yn y lle cywir wedi gwneud cryn argraff arnaf.

Roedd gweithgarwch chwarae rôl wedi esgor ar gryn drafodaeth. Yn anffodus, gall y term ‘chwarae rôl’ gael ystyron sy’n tynnu sylw, er ei fod yn arfer ymchwil sefydledig. Ac weithiau, gall y peth lleiaf sy’n tynnu sylw danseilio gwaith ymchwil. Trafodom bwysigrwydd defnyddio iaith sy’n parchu’r cyd-destun yr ydych chi’n gweithio ynddo. Er enghraifft, efallai y bydd rhanddeiliaid ym maes amddiffyn yn deall mater yn well os byddwch yn ei gysylltu ag arferion gorau sefydledig yn eu maes nhw, fel gemau rhyfela. Roeddem oll yn cytuno bod deall sut y mae defnyddwyr yn meddwl, yn teimlo ac yn ymddwyn pan fyddant yn defnyddio gwasanaeth mewn sefyllfa heriol ond realistig yn gallu cynnig dirnadaeth hynod o werthfawr.

Cymuned sy’n ymboeni

Y peth pwysicaf i mi o’r cyfarfod gyda’r gymuned Ymchwil Defnyddwyr yng Nghymru oedd faint y mae pob aelod yn ymboeni am eu holl ddefnyddwyr. Nid cymuned yw hon sy’n hapus i gwyno ar y cyrion am yr heriau yr ydym yn eu hwynebu fel ymchwilwyr (er bod digon ohonynt!). Mae’n gymuned sy’n barod i wynebu’r her o wella gwasanaethau ar gyfer pobl Cymru.

Os hoffech ychydig help wrth wella eich gwasanaethau digidol ar gyfer pobl Cymru, neu yn unrhyw le arall, cysylltwch â ni trwy anfon e-bost at hello@marvell-consulting.com a byddwn yn hapus i gael sgwrs.