{"id":13060,"date":"2022-08-25T11:08:35","date_gmt":"2022-08-25T09:08:35","guid":{"rendered":"http:\/\/neu.thegeekettez.com\/?p=13060"},"modified":"2023-03-17T12:25:18","modified_gmt":"2023-03-17T11:25:18","slug":"which-usability-test-do-i-need","status":"publish","type":"post","link":"https:\/\/birdux.studio\/en\/welchen-usability-test-brauche-ich\/","title":{"rendered":"Which usability test do I need?"},"content":{"rendered":"<p><strong>At the&nbsp;<a href=\"https:\/\/birdux.studio\/en\/usability-tests-why-they-are-worthwhile\/\">Usability testing<\/a>&nbsp;two broad categories of tests can be distinguished - namely summative usability tests (summarises results) and formative usability tests (\"shapes\" the design).  Which type of test you need depends on what you want to find out. Let's take a look at the two major usability test categories.<\/strong><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Summative tests: Is our product efficient?<\/h2>\n\n\n\n<p>With summative tests, the focus is usually on statistical key figures. Roughly speaking, the focus here is on efficiency - i.e. finding out or measuring whether the designed solution<em>&nbsp;efficient<\/em>&nbsp;is.<\/p>\n\n\n\n<p><strong>Typical questions that such a test answers are, for example, whether the design fulfils a certain standard or criterion.&nbsp;<\/strong>On the one hand, these can be questions which&nbsp;<strong>the time required&nbsp;<\/strong>for the completion of a task, such as<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>How long do test subjects need for task X?<\/li>\n\n\n\n<li>Are participants able to complete task x in (e.g.) less than one minute?<\/li>\n<\/ul>\n\n\n\n<p>This is particularly relevant in an industrial context, in medicine and whenever devices (cars, aeroplanes) need to be controlled - in other words, wherever&nbsp;<em>Response times<\/em>&nbsp;play a role.  Summative tests are also used in the&nbsp;<strong>Benchmarking<\/strong>&nbsp;used - i.e. to make comparisons. Typical questions here would be, for example<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Is our product performing better than the competition?<\/li>\n\n\n\n<li>Does Design A perform better than Design B?<\/li>\n\n\n\n<li>Do more people click on the button for design A than for design B?<\/li>\n<\/ul>\n\n\n\n<p>A\/ B tests are a typical representative of this area.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Typical results of summative tests are based on numbers<\/strong><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>40% of our users were able to complete task x in less than 30 seconds.<\/li>\n\n\n\n<li>Design A has a 40% higher error rate than Design B.<\/li>\n\n\n\n<li>In Design A, 20% more people click on the button than in Design B.<\/li>\n<\/ul>\n\n\n\n<p>The results therefore relate to \"how much\", or \"how long\" - but usually do not answer the \"why\" behind a specific behaviour. It is called a \"summative\" test as it aims to summarise \/ \"sum up\" the results.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Requirements for summative tests<\/strong><\/h3>\n\n\n\n<p>As a rule, summative tests require a finished product or at least a fully functional prototype, as they must function \"correctly\" in order to be able to make a valid statement about efficiency.<\/p>\n\n\n\n<p>Summative tests also require at least 20-30 (+\/-) participants, depending on the statistical methods used. We therefore need someone who is familiar with statistics and the requirements for the respective statistical methods.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Formative tests: How do users experience the product \/ design?<\/h2>\n\n\n\n<p>Formative tests are more common within UX design processes as they can be used as part of an iterative design process. The aim of formative tests is to find out something about the participants' experience and behaviour - for example, participants should tell us directly if they find something confusing or funny. Unlike summative tests, these tests often answer the \"<em>Why<\/em>\" behind a specific behaviour.<\/p>\n\n\n\n<p><strong>Formative tests answer questions such as:<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>How do people experience our design?<\/li>\n\n\n\n<li>Where do they get stuck, and above all:&nbsp;<em>Why<\/em>&nbsp;do they get stuck there?<\/li>\n\n\n\n<li>What are the biggest problems\/challenges with our design that we should fix next?<\/li>\n<\/ul>\n\n\n\n<p><strong>Formative tests can be carried out early on in the design process<\/strong>&nbsp;<strong>help to identify optimisation potential.&nbsp;<\/strong>This means that formative tests should ideally be carried out very early on in the design process, e.g. with click dummies, in order to recognise initial problems and rectify them quickly.<\/p>\n\n\n\n<p>A typical result of such a test is usually&nbsp;<em>more qualitative<\/em>&nbsp;instead of quantitative nature e.g:  \"<em>Participants had difficulty completing task X because the buttons labelled OK \/ Cancel were confusing<\/em>.\"<\/p>\n\n\n\n<p>Formative tests are therefore carried out when the aim is to uncover problems in order to identify further UX potential. They help us to \"mould\" the design for a product or service. Hence the name \"formative\". In contrast to summative tests, where we need more test subjects due to the requirements for statistical methods, formative tests with approx. 7-10 users can already identify some of the main problems that can then be optimised.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Gain additional information with the method of<\/strong>&nbsp;<strong>Thinking aloud \/Thinking aloud<\/strong><\/h3>\n\n\n\n<p>Experience has shown that the reasons for cancellations often lie in the fact that users do not find their way around or feel poorly informed. And this can be found out wonderfully with formative, moderated usability tests and the \"thinking aloud\" method (Ericsson &amp; Simon, 1984). In \"thinking aloud\", participants constantly comment on their thought processes while interacting with the system. The aim of this is to gain additional information about the participants' cognitive processes while operating the system being tested: What is going through their minds while they are operating it? What questions do they have at the moment? In which knowledge structures do they categorise the information presented? What irritates or confuses them?<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">Limitations of the method of thinking aloud<\/h4>\n\n\n\n<p>Of course, we can only think aloud what we are conscious of. However, some - in fact, many - of our processes take place below the threshold of consciousness and therefore cannot be verbalised (Wilson, 1994).<\/p>\n\n\n\n<p>This is important to understand and is the reason why we tend to favour this form of usability testing.&nbsp;<em>moderated&nbsp;<\/em>Recommend tests. Moderated usability tests are an excellent tool for finding out the WHY behind cancellations and poor conversion rates.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>React to subtle behavioural cues with&nbsp;<em>moderated<\/em>&nbsp;formative tests<\/strong><\/h4>\n\n\n\n<p>In a moderated test - and this is the important thing - there is a&nbsp;<em>Real-time interaction&nbsp;<\/em>between the usability experts who moderate the test - i.e. guide the participants through it - and the test subjects. This means that we as usability experts sit together with the test participants either remotely via a video conference or on site and guide them through the test.  This is not possible with unmoderated usability tests, as there is no real-time interaction with the test subjects in unmoderated tests. More on this later.<br>Through constant observation during a moderated usability test, we are able to determine what is being thought out loud - i.e. what is being verbalised - independently of what is being said.&nbsp;<em>can<\/em>&nbsp;- additionally identify subtle cues in behaviour - so-called behavioural cues - such as facial expressions or squinting of the eyes, frowning etc., make a note of them and come back to these passages containing such subtle cues later after the actual test. These subtle behavioural cues are often an indicator that users feel insecure but are not necessarily (able to) verbalise it because - as explained above - they are not necessarily aware of it. The aim is therefore to return later after the actual test, in addition to the obvious problematic points, to exactly those points where such subtle behavioural cues were observable and to investigate in more depth whether something was not understood, uncertainty prevailed and what might have been going on. You can often obtain further valuable information by returning to the relevant points and having the respondents repeat things, for example, and asking specific questions.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Unmoderated formative tests<\/strong><\/h3>\n\n\n\n<p>Unfortunately, this targeted enquiry is not possible with unmoderated usability tests, as unmoderated usability test sessions are conducted by the participant alone, i.e. the test subjects usually carry out the test remotely from home using special online tools. These sessions are recorded in video and audio so that we as usability experts can view and analyse them afterwards. So this is where&nbsp;<em>none<\/em>&nbsp;Real-time interaction with the respondents takes place. Nevertheless, it is possible to build questions into the study, which can either be asked after each task (e.g. \"<em>How difficult did you find that<\/em>?\") or at the end of the session. However, these questions are usually standardised - i.e. the same for all participants. In unmoderated sessions, there is no opportunity to ask detailed questions that can be customised.&nbsp;<em>specifically to the behaviour of the respective participants<\/em>&nbsp;or to deal with the respondents in detail.<\/p>\n\n\n\n<p>Other disadvantages can also be that people think less out loud in unmoderated sessions - simply because there is no one there to remind the participants. In unmoderated sessions, we have already observed that participants become increasingly silent over time. That's a shame, because you never know what's going through the participants' minds while they're working on the task.<\/p>\n\n\n\n<p>In addition, test subjects may drop out, skip tasks or generally be rather unmotivated to complete the tasks. We often rarely find out what caused them to drop out, for example. Did the technology not work? Did they no longer feel like it? Were they interrupted or was the task too difficult? This could mean that some sessions cannot be analysed. With the moderated test in particular, the social pressure of direct observation creates a little more motivation to carry out the tasks or to engage with them.<\/p>\n\n\n\n<p>The lack of detailed enquiries about specific problems that the respective test subjects had is a major disadvantage of unmoderated tests - especially for tests that are to be carried out in an early design phase. Unmoderated tests are often used because of their alleged time savings. Of course, you save the time in which the moderators interact 1:1 with the participants - however, in our opinion, this is often accompanied by a not inconsiderable loss of knowledge, which we have described above. In addition, an unmoderated usability test requires exactly the same - if not more - planning as a moderated test. If, despite all this, an unmoderated test session is to be carried out, we only recommend this for systems that are functional, such as live websites, as non-functional aspects could raise too many questions in a click dummy, for example. If in doubt, we always recommend a moderated session instead of an unmoderated session, as moderated sessions generally provide more insight.<\/p>\n\n\n\n<p>So we can see which type of usability test should be carried out - summative or formative and moderated or unmoderated - depends on what and how exactly you want to find out. Summative tests can help with a functional prototype or a finished product to provide information about the efficiency of a product and formative tests help either very early on in the design process or with finished products to identify problematic areas and therefore further UX potential. In formative tests, moderated tests offer the great advantage of specific follow-up questions and thus significantly increase the chances of gaining detailed insights into the user experience and thus valuable knowledge for improving and optimising the UX of the system.<\/p>\n\n\n\n<p><strong>Literature<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Ericsson, K. A., &amp; Simon, H. A. (1984). Protocol analysis: Verbal reports as data (p. 426). The MIT Press.<\/li>\n\n\n\n<li>Wilson, T. D. (1994). The Proper Protocol: Validity and Completeness of Verbal Reports. Psychological Science, 5(5), 249-252.&nbsp;<a rel=\"noreferrer noopener\" href=\"https:\/\/doi.org\/10.1111\/j.1467-9280.1994.tb00621.x\" target=\"_blank\">https:\/\/doi.org\/10.1111\/j.1467-9280.1994.tb00621.x<\/a><strong><\/strong><\/li>\n<\/ul>\n\n\n\n<p><strong>Illustration<\/strong><\/p>\n\n\n\n<p><a href=\"https:\/\/storyset.com\/web\" target=\"_blank\" rel=\"noreferrer noopener\">Web illustrations by Storyset<\/a><\/p>","protected":false},"excerpt":{"rendered":"<p>In usability testing, two broad categories of tests can be distinguished - namely summative usability tests (summarising results) and formative usability tests (\"shaping\" the design). Which type of test you need depends on what you want to find out.<\/p>","protected":false},"author":2,"featured_media":14444,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"off","_et_pb_old_content":"<!-- wp:paragraph -->\n<p><strong>Beim <a href=\"https:\/\/birdux.studio\/usability-tests-warum-sie-sich-lohnen\/\" data-type=\"URL\" data-id=\"https:\/\/birdux.studio\/usability-tests-warum-sie-sich-lohnen\/\">Usability Testing<\/a> k\u00f6nnen zwei gro\u00dfe Kategorien von Tests unterschieden werden \u2013 n\u00e4mlich summative Usability Tests (summiert Ergebnisse) und formative Usability Tests (\u201cformen\u201d das Design).&nbsp; Welche Testart man ben\u00f6tigt, h\u00e4ngt davon ab, was man herausfinden m\u00f6chte. Schauen wir uns mal die beiden gro\u00dfen Usability Test Kategorien an:&nbsp;<\/strong><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:heading {\"level\":4} -->\n<h4><strong>Summative Tests: Ist unser Produkt effizient?<\/strong><\/h4>\n<!-- \/wp:heading -->\n\n<!-- wp:paragraph -->\n<p>Bei summativen Tests liegt der Fokus meist auf statistischen Kennzahlen. Hier geht es grob gesagt um Effizienz - also darum herauszufinden bzw zu messen \u2013 ob die gestaltete L\u00f6sung<em> effizient<\/em> ist.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><strong>Typische Fragen, die ein solcher Test beantwortet, sind z.B. ob das Design einem bestimmten Ma\u00dfstab oder Kriterium entspricht.<\/strong> <\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Dies k\u00f6nnen einerseits Fragen sein, welche <strong>die ben\u00f6tigte Zeit <\/strong>zur Erledigung einer Aufgabe betreffen wie z. B:<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:list -->\n<ul><li>Wie lange brauchen Proband*innen f\u00fcr Aufgabe X?&nbsp;<\/li><li>Sind Proband*innen in der Lage, Aufgabe x in (z.B.) unter einer Minute zu erledigen?<\/li><\/ul>\n<!-- \/wp:list -->\n\n<!-- wp:paragraph -->\n<p>Dies ist besonders relevant im industriellen Kontext, in der Medizin und immer wenn Ger\u00e4te (Autos, Flugzeuge) gesteuert werden m\u00fcssen \u2013 also \u00fcberall da, wo <em>Reaktionszeiten<\/em> eine Rolle spielen.&nbsp;<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Summative Tests werden aber auch im <strong>Benchmarking<\/strong> eingesetzt \u2013 also um Vergleiche anzustellen. Typische Fragen w\u00e4ren hier z.B:&nbsp;<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:list -->\n<ul><li>Performt unser Produkt besser als das Produkt der Konkurrenz?<\/li><li>Performt Design A besser als Design B?<\/li><li>Klicken mehr Menschen bei Design A auf den Button als bei Design B?<\/li><\/ul>\n<!-- \/wp:list -->\n\n<!-- wp:paragraph -->\n<p>Ein typischer Vertreter dieses Bereiches sind z. B. A\/ B Tests.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><strong>Typische Ergebnisse von summativen Tests basieren auf Zahlen wie z.B.<\/strong>&nbsp;&nbsp;<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:list -->\n<ul><li>40% unserer Anwender konnten die Aufgabe x in weniger als 30 Sekunden erledigen.<\/li><li>Design A hat eine 40% h\u00f6here Fehlerquote als Design B.&nbsp;&nbsp;<\/li><li>In Design A klicken 20% mehr Personen auf den Button als in Design B.<\/li><\/ul>\n<!-- \/wp:list -->\n\n<!-- wp:paragraph -->\n<p>Die Ergebnisse betreffen also \u201dwie viel\u201d, oder \u201cwie lang\u201d \u2013&nbsp; beantworten aber meistens nicht das \u201cwarum\u201d hinter einem spezifischen Verhalten. Es wird als \"summativer\" Test bezeichnet, da es das Ziel hat, die Ergebnisse zusammenzufassen \/ zu \u201csummieren\u201d. <\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><strong>Voraussetzungen summativer Tests<\/strong><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>F\u00fcr summative Tests ben\u00f6tigt man in der Regel ein fertiges Produkt oder mindestens einen voll funktionalen Prototypen, da sie \u201erichtig\u201c funktionieren m\u00fcssen, um eine valide Aussage \u00fcber die Effizienz treffen zu k\u00f6nnen.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Summative Tests erfordern zudem mindestens um die 20-30 (+\/-) Teilnehmer*innen, abh\u00e4ngig von den verwendeten statistischen Methoden. Wir brauchen also jemanden, der sich mit Statistik und den Voraussetzungen f\u00fcr die jeweiligen statistischen Methoden auskennt.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:heading {\"level\":4} -->\n<h4>Formative Tests: Wie erleben Nutzer*innen das Produkt \/ Design?<\/h4>\n<!-- \/wp:heading -->\n\n<!-- wp:paragraph -->\n<p>Formative Tests sind h\u00e4ufiger innerhalb von UX Designprozessen anzutreffen, da sie als Teil eines iterativen Designprozesses eingesetzt werden k\u00f6nnen. Das Ziel von formativen Tests besteht darin, dass wir etwas \u00fcber das Erleben (Experience) und das Verhalten der Teilnehmer*innen herausfinden \u2013 z.B. sollten uns Teilnehmende direkt&nbsp; mitteilen, wenn sie etwas verwirrend oder komisch finden. Diese Tests beantworten \u2013 anders als summative Tests \u2013 also oftmals das \u201c<em>warum<\/em>\u201d hinter einem spezifischen Verhalten.&nbsp;<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><strong>Formative Tests beantworten Fragen wie:<\/strong><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:list -->\n<ul><li>Wie erleben die Menschen unser Design?<\/li><li>Wo bleiben sie h\u00e4ngen, und vor allem: <em>warum<\/em> bleiben sie da h\u00e4ngen?<\/li><li>Was sind die gr\u00f6\u00dften Probleme\/Herausforderungen mit unserem Design, die wir als n\u00e4chstes beheben sollten?<\/li><\/ul>\n<!-- \/wp:list -->\n\n<!-- wp:paragraph -->\n<p><strong>Formative Tests k\u00f6nnen bereits fr\u00fch im Designprozess<\/strong> <strong>helfen Optimierungspotenzial zu identifizieren<\/strong><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Das hei\u00dft, formative Tests sollten idealerweise schon sehr fr\u00fch im Designprozess z.B. mit Klick-Dummies gemacht werden, um erste Probleme zu erkennen und schnell zu beheben.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>&nbsp;Ein typisches Ergebnis so eines Tests ist zumeist <em>qualitativer<\/em> statt quantitativer Natur z. B&nbsp;: &nbsp;\u201c<em>Teilnehmende hatten Schwierigkeiten, die Aufgabe X zu erledigen, weil die Schaltfl\u00e4chen mit der Bezeichnung OK \/ Cancel&nbsp; verwirrend wirken<\/em>.\"<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Formative Tests werden also durchgef\u00fchrt, wenn das Ziel darin besteht, Probleme zu aufzudecken um weiteres UX Potenzial zu identifizieren. Sie helfen uns dabei, das Design f\u00fcr ein Produkt oder eine Dienstleistung zu \"formen\u201d. Daher der Name \u201eformativ\u201c. Im Gegensatz zu summativen Tests, bei denen wir aufgrund der Voraussetzungen f\u00fcr statistische Methoden mehr Proband*innen ben\u00f6tigen, lassen sich bei formativen Tests mit ca. 7-10&nbsp; Benutzern bereits einige der Hauptprobleme aufsp\u00fcren, die sich&nbsp; anschlie\u00dfend optimieren lassen.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><strong>Zus\u00e4tzliche Infomationen gewinnen mit der Methode des<\/strong> <strong>Lautes Denkens \/ Thinking aloud<\/strong><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Oftmals liegen erfahrungsgem\u00e4\u00df die Gr\u00fcnde f\u00fcr Abbr\u00fcche darin, dass sich Nutzer*innen nicht gut zurechtfinden oder sich schlecht informiert f\u00fchlen. Und dies kann man wunderbar mit formativen,&nbsp; moderierten Usability Tests und der Methode des \u201eLauten Denkens\u201c (Ericsson &amp; Simon, 1984) herausfinden. Beim \"Lauten Denken\" geben die Teilnehmer*innen einen st\u00e4ndigen Kommentar \u00fcber ihre Denkprozesse ab, w\u00e4hrend sie mit dem System interagieren. Das hat zum Ziel, zus\u00e4tzliche Informationen \u00fcber die kognitiven Prozesse der Teilnehmenden w\u00e4hrend der Bedienung des zu testenden Systems zu gewinnen: Was geht ihnen w\u00e4hrend der Bedienung durch den Kopf? Was f\u00fcr Fragen haben sie gerade? In welche Wissenstrukturen ordnen sie die pr\u00e4sentierten Informationen ein? Was irritiert oder verwirrt sie?<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><strong>Limitationen der Methode des Lauten Denkens<\/strong><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Selbstverst\u00e4ndlich kann man nur das laut denken, was auch bewusst ist. Einige \u2013&nbsp; eigentlich sogar sehr viele Prozesse laufen bei uns Menschen aber unterhalb der Bewusstseinsschwelle ab und k\u00f6nnen daher nicht verbalisiert werden (Wilson, 1994).&nbsp;<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Dies ist wichtig zu verstehen und das ist der Grund wieso wir f\u00fcr diese Form der Usability Tests auch eher <em>moderierte <\/em>Tests empfehlen. Moderierte Usability Tests sind ein hervorragendes Instrument, um das WARUM hinter Abbr\u00fcchen und schlechten Conversion Rates herauszufinden.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><strong>Auf subtile Verhaltenscues reagieren mit <em>moderierten<\/em> formativen Tests<\/strong> <\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Bei einem moderierten Test findet n\u00e4mlich \u2013 und das ist das wichtige daran \u2013 eine <em>Echtzeit Interaktion <\/em>zwischen den Usability Expert*innen, welche den Test moderieren - also die Teilnehmenden hindurchf\u00fchren - und den Proband*innen statt. Das bedeutet, dass wir als Usability Experten entweder remote \u00fcber eine Videokonferenz oder vor Ort mit den Proband*innen zusammensitzen und sie durch den Test f\u00fchren.&nbsp; Das ist bei unmoderierten Usability Tests so nicht m\u00f6glich, da bei unmoderierten Tests keine Echtzeit Interaktion mit den Proband*innen stattfindet.&nbsp;Dazu sp\u00e4ter mehr.<br>Durch die stetige Beobachtung w\u00e4hrend eines moderierten Usability Tests k\u00f6nnen wir unabh\u00e4ngig davon, was laut gedacht wird \u2013 also dem was verbalisiert werden <em>kann<\/em> \u2013 zus\u00e4tzlich subtile Hinweisreize im Verhalten \u2013 sog. Verhaltenscues \u2013&nbsp; wie z.B. Mimik oder Augenzusammenkneifen, Stirnrunzeln etc. identifizieren, notieren und sp\u00e4ter nach dem eigentlichen Test gezielt auf diese Stellen, die solche subtilen Cues beinhalten zur\u00fcckkommen. Oftmals sind diese subtilen Verhaltenscues ein Indikator daf\u00fcr, dass Nutzerinnen sich unsicher f\u00fchlen, es aber nicht unbedingt verbalisieren (k\u00f6nnen), da es Ihnen - wie oben erl\u00e4utert -&nbsp; nicht zwingend bewusst ist. Das Ziel ist es also, dann sp\u00e4ter nach dem eigentlichen Test zus\u00e4tzlich zu den offensichtlichen problematischen Punkten genau an diese Stellen zur\u00fcckzukehren, bei denen solche subtilen Verhaltenscues beobachtbar waren und hier tiefer nachzuforschen, ob da was nicht verstanden wurde, Unsicherheit voherrschte und was denn da eventuell los war. Oftmals bekommt man dann weitere wertvolle&nbsp; Informationen, wenn man nochmals zu den entsprechenden Stellen zur\u00fcckkehrt und die Proband*innen Dinge z.B wiederholen l\u00e4sst und dabei gezielte Nachfragen stellt.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><strong>Unmoderierte formative Tests<\/strong><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Dieses gezielte Nachfragen ist bei unmoderierten Usability Tests so leider nicht m\u00f6glich, denn unmoderierte&nbsp;Usability Test Sessions werden vom Teilnehmer allein durchgef\u00fchrt, d.h.&nbsp;die Proband*innen f\u00fchren den Test meistens remote von zuhause mithilfe von speziellen Online Tools aus. Diese Sessions werden in Bild und Ton aufgezeichnet, so dass wir als Usability Experten sie nachtr\u00e4glich sichten und auswerten k\u00f6nnen. Hier findet also <em>keine<\/em> Echtzeit Interaktion mit den Proband*innen statt. Trotzdem ist es m\u00f6glich, Fragen in die Studie zu bauen, welche entweder nach jedem Task (z.B \u201e<em>wie schwer fandest du das<\/em>?\u201c)&nbsp;oder am Ende der Sitzung angezeigt werden. Diese Fragen sind jedoch meist&nbsp; standardisiert - also f\u00fcr alle Proband*innen gleich. Es gibt in unmoderierten Sessions keine M\u00f6glichkeit, detaillierte Fragen zu stellen, die sich <em>speziell auf das Verhalten der jeweiligen Teilnehmenden<\/em> beziehen, bzw. auf die Proband*innen im Einzelnen einzugehen.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Weitere&nbsp; Nachteile k\u00f6nnen zudem sein, dass in unmoderierten Sessions weniger laut gedacht wird - einfach weil niemand da ist der die Proband*innen daran erinnert. Wir haben in unmoderierten Sessions schon die Beobachtungen gemacht, dass die&nbsp;Teilnehmenden mit der Zeit immer schweigsamer wurden.&nbsp;Das ist&nbsp; schade, denn so wei\u00df man nie, was&nbsp; Proband*innen gerade durch den Kopf geht w\u00e4hrend sie die Aufgabe bearbeiten.&nbsp;&nbsp;<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Zudem kann es sein, dass Proband*innen abbrechen, Aufgaben \u00fcberspringen oder generell eher unmotiviert sind, die Aufgaben zu erledigen. Oft&nbsp; erfahren wir selten, woran z.B ein Abbruch&nbsp;lag. Funktionierte die Technik nicht? Hatten sie keine Lust mehr?&nbsp;Wurden sie unterbrochen oder war die Aufgabe zu schwer? Somit k\u00f6nnten einige Sitzungen nicht auswertbar sein. Gerade beim moderierten Test entsteht durch den sozialen Druck der direkten Beobachtung&nbsp; doch etwas mehr Motivation, die Aufgaben auch durchzuf\u00fchren bzw. sich darauf einzulassen.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Das Fehlen der detaillierten Nachfragen zu spezifischen Problemen, welche die jeweiligen Probanden hatten ist ein gro\u00dfer Nachteil der unmoderierten Tests \u2013&nbsp; gerade bei Tests, die in einer fr\u00fchen Designphase durchgef\u00fchrt werden sollen. Unmoderierte Tests werden gerne wegen ihrer angeblichen Zeitersparnis herangezogen. Selbstverst\u00e4ndlich spart man die Zeit, in der die Moderatoren mit den Teilnehmenden 1:1 interagieren - jedoch kommt dies unserer Meinung nach oftmals mit einem nicht unerheblichen Erkenntnisverlust einher, den wir oben dargestellt haben. Zudem erfordert auch ein unmoderierter Usability Test genau die gleiche \u2013 wenn nicht sogar noch mehr\u2013 Planung wie ein moderierter Test. Wenn trotz alledem eine unmoderierte Test Session durchgef\u00fchrt werden soll, empfehlen wir dies ausschlie\u00dflich f\u00fcr Systeme, die funktional sind, wie z. B. Live-Webseiten, da nicht funktionales in einem Klick Dummy z.B zu viele Fragen aufwerfen k\u00f6nnte.&nbsp;Im&nbsp;Zweifel empfehlen wir immer eine moderierte&nbsp;Session anstelle einer unmoderierten Session, da moderierte Sessions wie gesagt in der Regel mehr Erkenntnisgewinn bringen.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Wir sehen also,&nbsp; welche Art eines Usability Tests durchgef\u00fchrt werden soll \u2013 summativ oder formativ und moderiert oder unmoderiert&nbsp;h\u00e4ngt daran, was und wie genau man etwas herausfinden m\u00f6chte.&nbsp;Summative Tests k\u00f6nnen bei einem funktionalen Prototypen oder einem fertigen Produkt gut helfen,&nbsp;Informationen \u00fcber die Effizienz eines Produktes zu liefern und formative Tests helfen&nbsp;entweder schon sehr fr\u00fch im Designprozess oder auch bei fertigen Produkten problematische Stellen und somit weiteres UX Potential zu identifizieren. Bei den formativen Tests bieten moderierte Tests den gro\u00dfen Vorteil spezifischer Nachfragen und erh\u00f6hen somit deutlich die Chancen detaillierte&nbsp; Einblicke in das Nutzer*innenerlebnis&nbsp;und somit wertvolle Erkenntnisse zur Verbesserung und UX-Optimierung des Systems zu bekommen.&nbsp;<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><strong>Literatur<\/strong><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Ericsson, K. A., &amp; Simon, H. A. (1984). Protocol analysis: Verbal reports as data (p. 426). The MIT Press.<\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p>Wilson, T. D. (1994). The Proper Protocol: Validity and Completeness of Verbal Reports. Psychological Science, 5(5), 249\u2013252. <a rel=\"noreferrer noopener\" href=\"https:\/\/doi.org\/10.1111\/j.1467-9280.1994.tb00621.x\" target=\"_blank\">https:\/\/doi.org\/10.1111\/j.1467-9280.1994.tb00621.x<\/a><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><strong>Illustration<\/strong><\/p>\n<!-- \/wp:paragraph -->\n\n<!-- wp:paragraph -->\n<p><a href=\"https:\/\/storyset.com\/web\">Web illustrations by Storyset<\/a><\/p>\n<!-- \/wp:paragraph -->","_et_gb_content_width":"","footnotes":""},"categories":[45],"tags":[71],"class_list":["post-13060","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-user-research-evaluation","tag-usability-testing"],"_links":{"self":[{"href":"https:\/\/birdux.studio\/en\/wp-json\/wp\/v2\/posts\/13060","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/birdux.studio\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/birdux.studio\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/birdux.studio\/en\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/birdux.studio\/en\/wp-json\/wp\/v2\/comments?post=13060"}],"version-history":[{"count":0,"href":"https:\/\/birdux.studio\/en\/wp-json\/wp\/v2\/posts\/13060\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/birdux.studio\/en\/wp-json\/wp\/v2\/media\/14444"}],"wp:attachment":[{"href":"https:\/\/birdux.studio\/en\/wp-json\/wp\/v2\/media?parent=13060"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/birdux.studio\/en\/wp-json\/wp\/v2\/categories?post=13060"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/birdux.studio\/en\/wp-json\/wp\/v2\/tags?post=13060"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}