De weg naar een codeboek. Een stabiele beslissingsboom om de tekstanalyse op te baseren 

05/10/2022
Om met tekstanalyse aan de slag te gaan, heb je een vast draaiboek nodig dat codeurs telkens opnieuw kunnen gebruiken. Onderzoekers Jeroen Naudts, Els Verzele en Frank D'hanis delen hun ervaringen rond het maken van zo’n beslissingsboom tijdens het project ‘Glue Factor’.

De beslissingsboom is het kader waarop we ons baseren om in INCEpTION tekst te annoteren (toekennen van labels aan woorden). Het fundament van ons onderzoek. Het verwondert ons daarom niet helemaal dat onze beslissingsboom, we hebben het nageteld, 7 keer is veranderd en aangepast.

Hieronder een overzicht van de belangrijkste aanpassingen en redenering erachter.

Stap 1: Op zoek naar een structuur voor de eerste versie van de beslissingboom

De eerste versie van onze beslissingsboom was gebaseerd op een aantal startvragen:

    • Wat is betrokkenheid?
    • Hoe definiëren we betrokkenheid en ten aanzien van wie?
    • Kunnen we aanduiden wat de emotie is van deze betrokkenheid?

Ons onderzoek droeg bij tot een duidelijke definitie van betrokkenheid (meer daarover kan je lezen in deze blogpost). Allen en Meyer (1990) maken een onderscheid tussen 3 verschillende vormen van betrokkenheid: affectieve, normatieve en ononderbroken (continuous) betrokkenheid. Kort door de bocht gaat het eerste over willen blijven (affection for your job or organization), normative commitment over zich moreel verplicht voelen om te blijven en het laatste is niets anders dan blijven uit angst om de job te verliezen.

Deze laatste vorm van betrokkenheid (‘continuous’) beschouwden we als een vorm die erg moeilijk met tekstanalyse te detecteren zou zijn. Daarom hebben we enkel normatieve en affectieve betrokkenheid in eerste instantie opgenomen in onze beslissingsboom.

Op de tweede vraag ‘betrokkenheid ten aanzien van wie?’, stelden we vast dat je een betrokkenheid kan ervaren tegenover de organisatie waarvoor je werkt of tegenover het team of jouw collega’s.

 

Emotie die gepaard gaat met een bepaalde betrokkenheid hebben we eenvoudig ingedeeld in positief, negatief of niet éénduidig. Een diepgaandere annotatie van emoties zou ons te ver leiden. Zowel de emotie-labels van Demsky (2020), die 27 emoties telt, het model van Ekman (7 emoties) als het model van Plutchik (8 categorieën, 24 sub-emoties) zouden het annotatieproces te langdradig en complex maken en werden daarom niet weerhouden.

Stap 2: Een kritische blik op eerste versie van de beslissingsboom

Tijdens stap 2 kwamen een aantal cruciale vragen aan bod:

  • Is het nodig om een onderscheid te maken tussen een intentie tot creëren van betrokkenheid en de reactie op die intentie? Of volstaat het om enkel betrokkenheid aan te duiden?
  • Is het opportuun om een onderscheid te maken tussen een concrete actie (bijvoorbeeld een campagne of activiteit) en een niet-concrete actie? Kan dit voor de HR-manager extra inzichten opleveren over de mate van betrokkenheid van bepaalde concrete acties?
  • Hoe verwerken we de 4 functies van interne communicatie in onze beslissingsboom?
  • Hoe gaan we om met het feit dat betrokkenheid tegenover de organisatie of het team moeilijk vast te stellen is in de mails?
  • Wat doen we met de verwarring rond de term ‘niet éénduidig’?

 

Intentie en reactie

Na de eerste test van onze beslissingsboom, vertrokken we voortaan vanuit de idee dat wanneer je betrokkenheid vaststelt, je best aanduidt of het nu gaat om een intentie of een reactie. Alhoewel deze twee zaken in alle waarschijnlijkheid niet in dezelfde mail zouden voorkomen, wouden we wel bekijken of het mogelijk is een verband tussen beiden vast te leggen. De eerste grote verandering van onze beslissingsboom was een feit.

Concrete en niet-concrete acties

Wanneer je betrokkenheid wil creëren als medewerker, veronderstelden we dat dit kan door een concrete actie, zoals een campagne of activiteit te ondernemen. Met het oog op de output, zijnde extra informatie over de impact van campagnes op betrokkenheid, voegden we dit onderscheid toe tot de beslissingsboom.

De 4 functies van interne communicatie

Your content goes here. Edit or remove this text inline or in the module Content settings. You can also style every aspect of this content in the module Design settings and even apply custom CSS to this text in the module Advanced settings.

Betrokkenheid tegenover je organisatie of team

 

Wie is ‘de organisatie’? Zouden we dan e-mails van bepaalde personen beschouwen als ‘de organisatie’? Het leek ons gemakkelijker een onderscheid te maken tussen verticale communicatie (supportiveness from the organization) en horizontale communicatie (supportiveness from colleagues).

De term ‘eenduidig’ herbekeken

Na het herbekijken van de geannoteerde tekst in INCEpTION wisten we niet meer op wat de term ‘niet eenduidig’ sloeg, omdat er te veel labels waren met de naam ‘niet eenduidig’.

De term ‘niet éénduidig’ hebben we gaandeweg vervangen door ‘geen <respectievelijk label>, bijvoorbeeld ’geen pos/neg emotie’, ‘geen functie interne communicatie (IC)’ …

Stap 3: Grondige vereenvoudiging na verschillende testen

Tijdens het annoteren bleven we sceptisch tegenover de beslissingsboom en luisterden we naar elkaars interpretatie van de labels en de toepassing op de teksten.

Volgende vragen kwamen daarbij aan bod:

    • Waarom voegen we functies interne communicatie niet toe aan reacties?
    • Waarom voegen we emoties niet toe aan intenties?
    • Is het onderscheid tussen normatief en affectieve betrokkenheid wel relevant?
    • Werken we verder met het onderscheid tussen verticale en horizontale communicatie?

We lieten onze bedenkingen even achterwege en zetten de studenten aan het werk om op basis van beslissingsboom_versie03 te annoteren. We wilden tijdens deze samenwerking achterhalen in welke mate onze beslissingsboom toepasbaar was en of de studenten onze vermoedens voor wijziging zouden bevestigen.

Door te overwegen om de functies toe te voegen aan reacties en emoties tot intenties, merkten we dat we een heel gelijkaardige beslissingsboom hadden voor intentie en reactie.
De vraag rees of de opsplitsing tussen intentie en reactie echt wel een meerwaarde was. We besloten dit onderscheid niet langer te maken en meteen te vertrekken vanuit een concrete of geen concrete actie.

We hebben zo goed als geen uitdrukkingen van normatieve betrokkenheid waargenomen in het e-mailverkeer. Vandaar de beslissing om dit onderscheid in het annotatieproces niet langer te maken.

Na het annoteren van een dertigtal mails hebben we nagenoeg geen mails gelezen waaruit we met zekerheid konden besluiten dat het om verticale of horizontale communicatie ging. Deze labels hebben we daarom ook verwijderd uit de beslissingsboom.

Stap 4: Optimalisatie van de beslissingsboom

  • Wat kon deze sterk vereenvoudigde beslissingsboom nog verbeteren?
  • Wat is relevant om een nog duidelijker, meer verfijnd resultaat te bekomen op vlak van betrokkenheid?

Het toekennen van de emoties is belangrijk gebleven en hebben we verder verfijnd om tegemoet te komen aan een iets fijnere analyse van de emotie. Niet op een hele fine grained manier zoals hierboven vermeld maar wel door +3, +2, +1, 0, -1,-2 en -3 toe te voegen als een verwijzing voor de gradatie van emotie.

Op deze manier merk je in dit overzicht dat de beslissingsboom heel wat veranderingen, bijsturingen en aanpassingen kreeg te verwerken.

Meer weten? 

Hopelijk kunnen onze inzichten jou helpen als je een soortgelijk onderzoek wilt doen. Veel succes!
Heb je vragen? Aarzel niet om ons te contacteren!

Je kan onze website bekijken, of een mailtje sturen naar projectleider Jeroen Naudts.

 

Bronnen

Allen, Natalie J., & Meyer, John P. (1990). The measurement and antecedents of affective, continuance and normative commitment to the organization. Journal of occupational psychology63(1), 1-18. https://doi.org/10.1111/j.2044-8325.1990.tb00506.x

Jak, Suzanne, & Evers, Arne (2010). Onderzoeksnotitie: Een vernieuwd meetinstrument voor organizational commitment. Gedrag & Organisatie23(2). https://doi.org/10.5117/2010.023.002.004

Klie, J.-C., Bugert, M., Boullosa, B., Eckart de Castilho, R. and Gurevych, I. (2018). The INCEpTION platform: machine-assisted and knowledge-oriented interactive annotation. In Proceedings of System Demonstrations of the 27th International Conference on Computational Linguistics (COLING 2018), Santa Fe, New Mexico, USA. https://aclanthology.org/C18-2002

Naudts, Jeroen, Verzele, Els, &  D’hanis, Frank (2022). The Glue Factor: betrokkenheid van medewerkers meten op basis van tekstanalyse [Projectfiche]. Arteveldehogeschool. https://www.arteveldehogeschool.be/gluefactor

Naudts, Jeroen, Verzele, Els, &  D’hanis, Frank (2022, 5 oktober). Hoe kan je met tekstanalyse de betrokkenheid van jouw medewerkers meten? [blogpost]. Arteveldehogeschool. https://blog.arteveldehogeschool.be/hoe-kan-je-met-tekstanalyse-de-betrokkenheid-van-jouw-medewerkers-meten

Lees ook

6 reduce-tips in ecodesign van verpakkingen
In ecodesign van verpakkingen streven we naar de 3R: Reduce, Reuse, Recycle. In deze blog legt docent en onderzoeker Bart Calis uit in 6 tips hoe we...
Audience metrics in journalistiek: geen kinderspel!
Audience metrics zorgen voor twijfels en vragen op nieuwsredacties. Met een spel wil het onderzoeksproject ‘Mee met journalistieke metrics’ een...
Deepfakes: verrassende toepassingen van AI-gemanipuleerde video’s
Deepfakes zijn nepvideo’s die bijna niet van echte te onderscheiden zijn. Deepfakes triggeren dan ook – terecht – vragen rond betrouwbaarheid en...
Hoe kan je met tekstanalyse de betrokkenheid van jouw medewerkers meten?
Op basis van interne communicatie de mate van betrokkenheid van medewerkers in kaart brengen. Dat is in één zin samengevat de onderzoeksvraag waar...
Artificiële Intelligentie gaat je niet droog houden. Maar wat dan wel? 
Als Artificiële Intelligentie (of AI) alsmaar beter wordt in teksten schrijven, hoe maak je als communicatieverantwoordelijke of copywriter dan nog...
Alleen inspirerende leiders krijgen medewerkers nog geëngageerd
Gebrek aan visie, senior leadership dat onvoldoende aanwezig is op de werkvloer en te weinig aandacht voor talentontwikkeling. Dat zijn volgens...
Tycho Martins
De opleiding Experience Architect gaf Tycho waardevolle inzichten in het service design proces.
UX design en customer experience helpen bedrijven innoveren. Digital Product Designer Tycho geeft zijn inzichten over de opleiding Experience...
Hannes Van de Velde
Een succesvol digitaal product dankzij de opleiding Experience Architect
Vandaag onderscheidt een onderneming zich met een sterke gebruikerservaring. Bart dompelde zich onder in UX design tijdens de opleiding Experience...
7 redenen voor een duurzame verpakking. Wat zijn de valkuilen?
Duurzame verpakkingen: tijdelijke marketinghype of nieuwe standaard? Met het onderzoeks- en onderwijsproject ‘Packlab’ staat Arteveldehogeschool op...
Eva Mestdagh, UX Architect bij Duke & Grace
Opleiding Experience Architect: nieuwe inzichten en opportuniteiten voor UX Architect Eva
Tijd en geld investeren in een degelijk UX design en gedegen customer experience blijkt broodnodig om er als onderneming écht uit te springen....