De weg naar een codeboek. Een stabiele beslissingsboom om de tekstanalyse op te baseren

De beslissingsboom is het kader waarop we ons baseren om in INCEpTION tekst te annoteren (toekennen van labels aan woorden). Het fundament van ons onderzoek. Het verwondert ons daarom niet helemaal dat onze beslissingsboom, we hebben het nageteld, 7 keer is veranderd en aangepast.

Hieronder een overzicht van de belangrijkste aanpassingen en redenering erachter.

De eerste versie van onze beslissingsboom was gebaseerd op een aantal startvragen:

• Wat is betrokkenheid?
• Hoe definiëren we betrokkenheid en ten aanzien van wie?
• Kunnen we aanduiden wat de emotie is van deze betrokkenheid?

Ons onderzoek droeg bij tot een duidelijke definitie van betrokkenheid (meer daarover kan je lezen in deze blogpost). Allen en Meyer (1990) maken een onderscheid tussen 3 verschillende vormen van betrokkenheid: affectieve, normatieve en ononderbroken (continuous) betrokkenheid. Kort door de bocht gaat het eerste over willen blijven (affection for your job or organization), normative commitment over zich moreel verplicht voelen om te blijven en het laatste is niets anders dan blijven uit angst om de job te verliezen.

Deze laatste vorm van betrokkenheid (‘continuous’) beschouwden we als een vorm die erg moeilijk met tekstanalyse te detecteren zou zijn. Daarom hebben we enkel normatieve en affectieve betrokkenheid in eerste instantie opgenomen in onze beslissingsboom.

Op de tweede vraag ‘betrokkenheid ten aanzien van wie?’, stelden we vast dat je een betrokkenheid kan ervaren tegenover de organisatie waarvoor je werkt of tegenover het team of jouw collega’s.

Emotie die gepaard gaat met een bepaalde betrokkenheid hebben we eenvoudig ingedeeld in positief, negatief of niet éénduidig. Een diepgaandere annotatie van emoties zou ons te ver leiden. Zowel de emotie-labels van Demsky (2020), die 27 emoties telt, het model van Ekman (7 emoties) als het model van Plutchik (8 categorieën, 24 sub-emoties) zouden het annotatieproces te langdradig en complex maken en werden daarom niet weerhouden.

Tijdens stap 2 kwamen een aantal cruciale vragen aan bod:

• Is het nodig om een onderscheid te maken tussen een intentie tot creëren van betrokkenheid en de reactie op die intentie? Of volstaat het om enkel betrokkenheid aan te duiden?
• Is het opportuun om een onderscheid te maken tussen een concrete actie (bijvoorbeeld een campagne of activiteit) en een niet-concrete actie? Kan dit voor de HR-manager extra inzichten opleveren over de mate van betrokkenheid van bepaalde concrete acties?
• Hoe verwerken we de 4 functies van interne communicatie in onze beslissingsboom?
• Hoe gaan we om met het feit dat betrokkenheid tegenover de organisatie of het team moeilijk vast te stellen is in de mails?
• Wat doen we met de verwarring rond de term ‘niet éénduidig’?

Tijdens het annoteren bleven we sceptisch tegenover de beslissingsboom en luisterden we naar elkaars interpretatie van de labels en de toepassing op de teksten.

Volgende vragen kwamen daarbij aan bod:

• Waarom voegen we functies interne communicatie niet toe aan reacties?
• Waarom voegen we emoties niet toe aan intenties?
• Is het onderscheid tussen normatief en affectieve betrokkenheid wel relevant?
• Werken we verder met het onderscheid tussen verticale en horizontale communicatie?

We lieten onze bedenkingen even achterwege en zetten de studenten aan het werk om op basis van beslissingsboom_versie03 te annoteren. We wilden tijdens deze samenwerking achterhalen in welke mate onze beslissingsboom toepasbaar was en of de studenten onze vermoedens voor wijziging zouden bevestigen.

Door te overwegen om de functies toe te voegen aan reacties en emoties tot intenties, merkten we dat we een heel gelijkaardige beslissingsboom hadden voor intentie en reactie.
De vraag rees of de opsplitsing tussen intentie en reactie echt wel een meerwaarde was. We besloten dit onderscheid niet langer te maken en meteen te vertrekken vanuit een concrete of geen concrete actie.

We hebben zo goed als geen uitdrukkingen van normatieve betrokkenheid waargenomen in het e-mailverkeer. Vandaar de beslissing om dit onderscheid in het annotatieproces niet langer te maken.

Na het annoteren van een dertigtal mails hebben we nagenoeg geen mails gelezen waaruit we met zekerheid konden besluiten dat het om verticale of horizontale communicatie ging. Deze labels hebben we daarom ook verwijderd uit de beslissingsboom.

• Wat kon deze sterk vereenvoudigde beslissingsboom nog verbeteren?
• Wat is relevant om een nog duidelijker, meer verfijnd resultaat te bekomen op vlak van betrokkenheid?

Het toekennen van de emoties is belangrijk gebleven en hebben we verder verfijnd om tegemoet te komen aan een iets fijnere analyse van de emotie. Niet op een hele fine grained manier zoals hierboven vermeld maar wel door +3, +2, +1, 0, -1,-2 en -3 toe te voegen als een verwijzing voor de gradatie van emotie.

Op deze manier merk je in dit overzicht dat de beslissingsboom heel wat veranderingen, bijsturingen en aanpassingen kreeg te verwerken.