Rangering af flyselskaber kun baseret på Twitter-kommentarer er yderst mistænkelig

Der er mange måder at rangere flyselskaber på. Økonomisk er resultaterne vigtige, og Wall Street gør et godt stykke arbejde med at pege på de virksomheder, der giver et godt afkast til aktionærerne, og dem, der ikke gør. Net Promoter Score (NPS), udviklet til dels af Bain, bruges af mange industrier, og deres flyselskaber er almindelige og robuste. Det amerikanske transportministerium samler og rapporterer om flyselskabernes operationelle resultater, såsom rettidige flyvninger, aflysninger og mistet bagage. Flere universiteter og forbrugergrupper udgiver også deres egne ranglister over de bedste og værste flyselskaber.

Mange placeringer er begrænsede pga de fokuserer på forbrugeregenskaber, men ikke på værdi, fordi de ofte ikke mener, at forskellige flyselskaber tager forskellige priser. Insuremytrip.com, et websted, der sælger rejseforsikringer, har nu udgivet en ny undersøgelse der rangerer flyselskaber udelukkende baseret på Twitter-kommentarer. Jeg kan ikke forestille mig en mere ubrugelig og triviel ranking, og selvom mange rankingsystemer kan forbedres, bør denne blot behandles med betydelig forsigtighed.

Hvordan Insuremytrip Ranking fungerer

Denne nye rangordning bruger en proces kaldet sentimentanalyse. Den bruger kunstig intelligens til at scanne tweets for negative og positive kommentarer om flyselskaber. De evaluerer titusindvis af tweets og ser på ændringer i mængden af ​​følelser udtrykt i beskederne. Baseret på dette rangerer de flyselskaber både i det absolutte antal negative kommentarer og på ændringen fra en tidligere periode. Undersøgelsen scanner også for positive kommentarer, og på den måde matcher undersøgelsen nogenlunde hovedideen i den mere stringente NPS-metodologi.

Denne tilgang er blevet indsamlet i de sidste fire år, men uden noget for 2020 forståeligt nok, så nu kan nogle trend- og år-til-år-metrics ses. Hvis du antager, at problemerne i kernedataprøven er konstante, er denne flerårige trend sandsynligvis det mest nyttige aspekt af denne undersøgelse.

Resultaterne af denne rangordning

For 2022 viser denne undersøgelse for eksempel, at blandt United Airlines tweets har 37 % negative kommentarer, og 26 % har positive kommentarer. Yderligere er de 26 % positive et fald på seks point fra 2021, hvilket tyder på, at færre mennesker tweeter positive ting om United i år. Alaska Airlines har den højeste procentdel af positive kommentarer på 29 %, og Frontier Airlines har den højeste procentdel af negative kommentarer på 61 %.

Som gruppe oplevede alle flyselskaber i 2022 et fald i positive kommentarer, og de fleste oplevede en stigning i negative kommentarer. I betragtning af industriens driftsforstyrrelser den sidste sommer, er dette ikke overraskende. Interessant nok er den største bekymring, når man flyver ifølge denne undersøgelse for 2022, penge, efterfulgt af forsinkelser, aflysninger og kundeservice. Med andre ord tyder Twitter-resultater på, at kunder bekymrer sig mere om at betale en lav billetpris end at blive forsinket, men når de så registrerer den negative stemning om forsinkelsen, forsvinder prisen på mystisk vis.

Hvad denne tilgang går glip af

Der er flere problemer med denne rangeringstilgang. Den første er den overvældende negative tendens i alle tweets. Forskning fra Harvard University viser, at forargelsen breder sig hurtigere på Twitter end nogen anden social medieplatform. Denne bias disponerer for, at folk vil tweete mere, når de har negative ting at sige, så som en absolut placering er det ikke en stor underliggende datakilde. År-til-år-tendensen, som tidligere nævnt, har en vis gyldighed.

Den anden begrænsning er manglen på værdi implicit i rangordningen. For at vælge flyrejsen går folk meget op i den pris, de betaler. Men når der først er der, irriterer de samme ting alle uafhængigt af, hvad de har betalt. Relateret til dette er den store forskel på, hvad der irriterer folk. En flyforsinkelse på 30 minutter er måske ligegyldig for nogle kunder, hvor andre kan føle, at dette ødelagde deres rejse. Er kaffe, der ikke er for varm eller for varm, det samme som en tabt pose eller betydelig forsinkelse? Hver af dem ville vise sig som en negativ følelse, men der er ingen vægtning af sværhedsgraden af ​​negativiteten.

Det sidste problem i denne undersøgelse er begrænsningen i datakilden. Det vurderer Pew Research Center som kun omkring 23% af mennesker bruger Twitter eller tweet med enhver regelmæssighed. At basere en forbrugerrangering på denne ikke-tilfældige stikprøve uden vægtning af overtrædelsens størrelse begrænser i høj grad nytten af ​​denne undersøgelse.

Bedre måder at bruge sociale medier i rangeringer

Sociale medier er et rigt miljø af forbrugerdata. Rejseselskaber har arbejdet på måder at identificere trends i lokationer og andre rejseinteresser for at skabe interessante pakkemuligheder, eller endda for nogle at beslutte sig for nye steder at flyve.

Som en måde at rangere flyselskaber på, kunne der utvivlsomt bruges et robust sæt af sociale medier-metrics til at få et realistisk forbrugersyn på flyselskaber. Jeg ved ikke, at nogen har gjort dette endnu, og at bruge en enkelt kilde som denne Twitter-undersøgelse er langt fra det ideelle. Værdimetrikken, hvad du får for det, du betaler, er den mest interessante, da den er mest relateret til, hvordan folk rent faktisk køber. Når man ser på en kilde, der kun bruger, hvad folk siger, vil dette blegne i forhold til at parre dette med de beslutninger, folk rent faktisk træffer.