Moving sounds and sonic moves. Exploring interaction quality of embodied music mediation technologies through a user-centered perspective

Bewegende muziek en muzikale bewegingen. Onderzoek naar interactie-kwaliteit van lijfelijke muziekbemiddelingstoepassingen vanuit een gebruikdersgeoriënteerd perspectief
Begin - Einde 
2008 - 2017 (lopend)
Vakgroep Kunst-, Muziek- en Theaterwetenschappen
New media art
Qualiy of experience
Participatory design
New media technologies
Embodied music mediation technologies



This research project deals with the user-experience related to embodied music mediation technologies. More specifically, adoption and policy problems surrounding new media (art) are considered, which arise from the usability issues that to date pervade new interfaces for musical expression. Since the emergence of new wireless mediators and control devices for musical expression, there is an explicit aspiration of the creative industries and various research centers to embed such technologies into different areas of the cultural industries. The number of applications and their uses have exponentially increased over the last decade. Conversely, many of the applications to date still suffer from severe usability problems, which not only hinder the adoption by the cultural sector, but also make culture participants take a rather cautious, hesitant, or even downright negative stance towards these technologies. Therefore, this thesis takes a vantage point that is in part sociological in nature, yet has a link to cultural studies as well. It combines this with a musicological frame of reference to which it introduces empirical user-oriented approaches, predominantly taken from the field of human-computer-interaction studies. This interdisciplinary strategy is adopted to cope with the complex nature of digital embodied music controlling technologies.

Within the Flanders cultural (and creative) industries, opportunities of systems affiliated with embodied interaction are created and examined. This constitutes an epistemological jigsaw that looks into 1) “which stakeholders require what various levels of involvement, what interactive means and what artistic possibilities?”, 2) “the way in which artistic aspirations, cultural prerequisites and operational necessities of (prospective) users can be defined?”, 3) “how functional, artistic and aesthetic requirements can be accommodated?”, and 4) “how quality of use and quality of experience can be achieved, quantified, evaluated and, eventually, improved?”. Within this multi-facetted problem, the eventual aim is to assess the applicability of the foresaid technology, both from a theoretically and empirically sound basis, and to facilitate widening and enhancing the adoption of said technologies.

Methodologically, this is achieved by 1) applied experimentation, 2) interview techniques, 3) self-reporting and survey research, 4) usability evaluation of existing devices, and 5) human-computer interaction methods applied – and attuned – to the specific case of embodied music mediation technologies. Within that scope, concepts related to usability, flow, presence, goal assessment and game enjoyment are scrutinized and applied, and both task- and experience-oriented heuristics and metrics are developed and tested.

In the first part, covering three chapters, the general context of the thesis is given. In the first chapter, an introduction to the topic is offered and the current problems are enumerated. In the second chapter, a broader theoretical background is presented of the concepts that underpin the project, namely 1) the paradigm of embodiment and its connection to musicology, 2) a state of the arts concerning new interfaces for musical expression, 3) an introduction into HCI-usability and its application domain in systematic musicology, 4) an insight into user-centered digital design procedures, and 5) the challenges brought about by e-culture and digitization for the cultural-creative industries. In the third chapter, the state of the arts concerning the available methodologies related to the thesis’ endeavor is discussed, a set of literature-based design guidelines are enumerated and from this a conceptual model is deduced which is gradually presented throughout the thesis, and fully deployed in the “SoundField”-project (as described in Chapter 9).

The following chapters, contained in the second part of the thesis, give a quasi-chronological overview of how methodological concepts have been applied throughout the empirical case studies, aimed specifically at the exploration of the various aspects of the complex status quaestionis. In the fourth chapter, a series of application-based tests, predominantly revolving around interface evaluation, illustrate the complex relation between gestural interfaces and meaningful musical expression, advocating a more user-centered development approach to be adopted. In the fifth chapter, a multi-purpose questionnaire dubbed “What Moves You” is discussed, which aimed at creating a survey of the (prospective) end-users of embodied music mediation technologies. Therefore, it primarily focused on cultural background, musical profile and preferences, views on embodied interaction, literacy of and attitudes towards new technology and participation in digital culture. In the sixth chapter, the ethnographical studies that accompanied the exhibition of two interactive art pieces, entitled "Heart as an Ocean" & "Lament", are discussed. In these studies, the use of interview and questionnaire methodologies together with the presentation and reception of interactive art pieces, are probed. In the seventh chapter, the development of the collaboratively controlled music-game “Sync-In-Team” is presented, in which interface evaluation, presence, game enjoyment and goal assessment are the pivotal topics. In the eighth chapter, two usability studies are considered, that were conducted on prototype systems/interfaces, namely a heuristic evaluation of the “Virtual String” and a usability metrics evaluation on the “Multi-Level Sonification Tool”. The findings of these two studies in conjunction with the exploratory studies performed in association with the interactive art pieces, finally gave rise to the “SoundField”-project, which is recounted in full throughout the ninth chapter. The integrated participatory design and evaluation method, presented in the conceptual model is fully applied over the course of the “SoundField”-project, in which technological opportunities and ecological validity and applicability are investigated through user-informed development of numerous use cases.

The third and last part of the thesis renders the final conclusions of this research project. The tenth chapter sets out with an epilogue in which a brief overview is given on how the state of the arts has evolved since the end of the project (as the research ended in 2012, but the research field has obviously moved on), and attempts to consolidate the implications of the research studies with some of the realities of the Flemish cultural-creative industries. Chapter eleven continues by discussing the strengths and weaknesses of the conceptual model throughout the various stages of the project. Also, it comprises the evaluation of the hypotheses, how the assumptions that were made held up, and how the research questions eventually could be assessed. Finally, the twelfth and last chapter concludes with the most important findings of the project. Also, it discusses some of the implications on cultural production, artistic research policy and offers an outlook on future research beyond the scope of the “SoundField” project.

Dit onderzoeksproject handelt over de gebruikerservaring van muzikale bemiddelingstechnologieën die aspecten benutten van lijfelijkheid. Meer specifiek worden problemen behandeld die bestaan rond het toepassingsgebied en het beleid aangaande nieuwe (artistieke) mediatoestellen in de cultureel-creatieve sector, ten gevolge van de beperkte ergonomische kwaliteiten van de bemiddelaars die op heden nog steeds een vlotte ingebruikname bemoeilijken. Sedert de opkomst van nieuwe draadloze bemiddelaars en besturingstoestellen voor muzikale expressie is er een uitdrukkelijke wens van de creatieve sector en diverse onderzoekscentra om dergelijke technologie in verschillende deelgebieden van de culturele sector binnen te loodsen. Het aantal toepassingen en het gebruik ervan is in het laatste decennium dan ook exponentieel toegenomen; anderzijds hebben veel van de toepassingen ernstige gebruiksvriendelijkheidsproblemen, waardoor niet enkel de culturele sector maar ook veel cultuurparticipanten vaak een afwachtende, eerder terughoudende of zelfs negatieve positie innemen ten aanzien van de betreffende technologieën. Binnen een referentiekader van de systematische muziekwetenschap, eigent deze thesis zich daarom naast een sociologisch uitgangspunt, ook het perspectief van de ‘cultural studies’ toe. Daarenboven worden empirische benaderingswijzen en gebruikersonderzoeksmethodes ontleend aan het veld van de computerwetenschappen (meer specifiek, de studie van de mens-systeem-interactie). Deze interdisciplinaire strategie wordt aangenomen om in staat te zijn het hoofd te bieden aan de uitermate complexe natuur van digitale lijfelijke muziek-mediërende technologieën.

Binnen de realiteit van de Vlaamse cultureel-creatieve industrie worden opportuniteiten, gelieerd aan lijfelijke muziekbemiddelingstoepassingen, geobserveerd en gecreëerd. Binnen deze methodologische puzzel wordt bekeken 1) “welke belanghebbenden verschillende vormen en gradaties van betrokkenheid, interactief potentieel en artistieke mogelijkheden veronderstellen”, 2) “hoe artistieke aspiraties, culturele veronderstellingen en operationele benodigdheden als noodzakelijk voor de gebruiker kunnen worden gedefinieerd”, 3) “hoe aan functionele, artistieke en esthetische vereisten tegemoet kan worden gekomen”, en 4) “hoe de kwaliteit van de interactie en de kwaliteit van de gebruikservaring bij deze toestellen kan worden gegarandeerd, gekwantificeerd, geëvalueerd en uiteindelijk verbeterd”. Binnen dit gelaagde probleem is het de uiteindelijke bedoeling om het toepassingsgebied van de besproken technologie vanuit een theoretisch en empirisch gefundeerde basis vast te stellen, en het gebruik ervan te verbreden en te verbeteren.

Methodologisch wordt hiernaar gestreefd aan de hand van 1) toegepaste experimenten, 2) interviewtechnieken, 3) zelf-rapportering en survey-onderzoek, 4) ergonomie-onderzoek van bestaande bemiddelaars, en 5) methodieken ontleend aan de mens-systeem-interactie, toegespitst en aangepast aan lijfelijke muziekbemiddelings-technologieën. Binnen dit studiegebied worden concepten ontwikkeld en getest die verwant zijn aan bruikbaarheidsonderzoek, flow, presence, doelstellingsinschatting en vermaak. Deze worden binnen het referentiekader van de vigerende technologieën getest en onderzocht, zowel aan de hand van taak-gebaseerde als ervaringsgeoriënteerde heuristieken en meetinstrumenten.

In het eerste deel van de thesis, dat drie eerste hoofdstukken behelst, wordt de algemene context gegeven. In het eerste hoofdstuk wordt een inleiding tot de onderwerpen gepresenteerd en worden de problemen die de ontwikkeling op heden domineren op een rij gezet. In het tweede hoofdstuk wordt een breder theoretisch kader geschetst van de concepten waarop de thesis steunt, namelijk 1) het paradigma van het lijfelijkheidsonderzoek en de implicaties ervan voor de muziekwetenschap, 2) een overzicht van de gangbare technologieën die gebruikt worden voor het maken van lijfelijke muziekbemiddelingstoepassingen 3) een overzicht van de voor musicologisch onderzoek beschikbare en toepasbare mens-computer-interactie en bruikbaarheids-methodologieën, 4) een introductie in gebruikersgebaseerde digitale ontwikkelingsprocedures, en 5) enkele inzichten betreffende de aardverschuivingen die digitalisering en e-cultuur in het cultureel-creatieve landschap teweegbrengen.

Na de voorstelling van deze concepten, worden in het derde hoofdstuk 1) de voor deze thesis beschikbare methodologieën behandeld, worden 2) de uit de literatuur gehaalde ontwerprichtlijnen opgesomd, en wordt van daaruit 3) een conceptueel model opgebouwd dat in zijn volledigheid wordt ontplooid en toegepast in de bespreking van het “SoundField”-project (zie hoofdstuk 9).

De daaropvolgende hoofdstukken, vervat in deel twee, geven een quasi-chronologisch gestructureerd overzicht van hoe de methodologische concepten stelselmatig werden toegepast doorheen een reeks van empirische casestudies, specifiek toegespitst op de exploratie van verschillende aspecten van de complexe status quaestionis. Het vierde hoofdstuk beschrijft een reeks applicatie-gebaseerde tests, die voornamelijk op de evaluatie van de gebruikte bemiddelaars focussen, illustreert de complexe relatie tussen bewegings-gebaseerde interfaces en zinvolle muzikale expressie en vormt een pleidooi voor een meer gebruikersgeoriënteerde ontwikkelingsprocedure. In het vijfde hoofdstuk wordt een vragenlijst van een surveyonderzoek besproken, genaamd “Wat beweeg(t) je”. De vragenlijst had meerdere doelstellingen en was gericht op het verwerven van een overzicht van de belangrijkste eigenschappen van de eindgebruikers van lijfelijke muziekbemiddelingstoepassingen. De vragen doelden voornamelijk op culturele achtergrond, muzikaal profiel en muzikale voorkeuren, opinies over lijfelijke interactie, kennis van en attitudes met betrekking tot nieuwe technologie en participatie in de digitale cultuur. In het zesde hoofdstuk worden twee kleinschalige etnografische studies gepresenteerd die samen met de voorstelling van twee interactieve kunstwerken, “Heart as an Ocean” & “Lament”, werden uitgevoerd. In deze studies werden interviews en vragenlijsten gebruikt om te peilen naar de perceptie van interactieve kunstwerken binnen de context waarin ze gepresenteerd worden. In het zevende hoofdstuk wordt de ontwikkeling van een collaboratief controleerbaar muziekspel uit de doeken gedaan en worden interface-vergelijking, presence, spelvermaak en doelstellingsinschatting als voornaamste thema's naar voor geschoven. In het achtste hoofdstuk worden twee bruikbaarheidsstudies voorgesteld die werden uitgevoerd op systeem-prototypes, namelijk een heuristische evaluatie van de “Virtuele Snaar” en een bruikbaarheidsanalyse van de “Multi-niveau Sonificatie Applicatie”. De bevindingen uit deze bruikbaarheidsstudies in combinatie met de exploratieve studies die de interactieve installatie-kunstwerken begeleidden, gaven aanleiding tot het op touw zetten van het “SoundField”-project, dat uit de doeken wordt gedaan in het negende hoofdstuk. Het volledig geïntegreerde participatieve ontwerp en de evaluatiemethode, die werd gepresenteerd in het conceptuele model, werd integraal gebruikt als basis voor de gehele duur van het “SoundField”-project, waarin technologische mogelijkheden aan ecologische validiteit en artistieke toepasbaarheid worden afgetoetst aan de hand van de gebruikers-gestuurde ontwikkeling van veelvuldige casestudies.

Het derde en laatste deel van de thesis geeft de finale conclusies van het onderzoeksproject weer. Hoofdstuk tien begint met een korte epiloog over hoe de status quaestionis sinds het einde van het onderzoeksproject is geëvolueerd (gezien dat reeds in 2012 afliep, maar het onderzoeksveld sindsdien geenszins ongewijzigd is gebleven). Voorts worden pogingen ondernomen om de implicaties van de geschetste studies te consolideren met het cultureel-creatieve landschap in Vlaanderen. Het elfde hoofdstuk vervolgt het verhaal met een opsomming vande sterke en zwakke elementen van het conceptuele model doorheen de verschillende stadia van het onderzoek. In dit hoofdstuk worden ook de hypothesen opnieuw onder de loep genomen, wordt geëvalueerd hoe goed de gemaakte veronderstellingen overeind blijven, en hoe de onderzoeksvragen uiteindelijk dienen te worden beantwoord. In het twaalfde en laatste hoofdstuk, wordt tenslotte een overzicht gegeven van de belangrijkste conclusies, bevindingen en de implicaties voor cultuurproductie gegeven. Bovendien worden mogelijke beleidsaanbevelingen van deze soort artistiek onderzoek beschouwd, en wordt een blik geworpen op een bredere context van toekomstig artistiek onderzoek, maar voortbouwend op de verworvenheden van het “SoundField”-project.