Text mining, spørreundersøkelse, intervjuer og observasjon – metodemangfold i en undersøkelse om ernæringsarbeid i hjemmetjenesten

I Kommunerevisjonens rapport 16/2018 Ernæringsarbeid i hjemmetjenesten undersøkte vi om bydelene i Oslo kommune arbeidet systematisk med å kartlegge og følge opp ernæringsstatusen hos brukere av hjemmetjenester (hjemmesykepleie og praktisk bistand). Vi vil i denne artikkelen illustrere hvordan vi kombinerte ulike metodiske grep for å få fram best mulige fakta om bydelenes arbeid.

Metodene vi brukte i rapporten varierte fra observasjoner gjennomført av sykepleiere til text mining i to millioner journalnotater. De ulike metodene inkluderte

• dokumentgjennomgang
• intervjuer med ansatte og brukere
• observasjoner av tjenesteutførelsen
• dybdeundersøkelse av utvalgte journaler
• text mining – vi liker å kalle det tekstgraving – i pasientjournalen til alle brukere av hjemmetjenester
• spørreundersøkelse til alle tjenesteansvarlige sykepleiere

Undersøkelsen omfattet alle bydelene i Oslo. I tillegg gjennomførte vi en dybdeundersøkelse i to av bydelene.

Da vi gjorde undersøkelsen, var det omtrent 16 000 brukere av hjemmetjenester i Oslo kommune. Ernæringsstatusen for denne brukergruppen er grunnleggende for helse og livskvalitet. Å kartlegge om en bruker er underernært eller står i fare for å bli det, er viktig for at hjemmetjenesten skal kunne følge opp brukeren med ernæringstiltak. Ifølge gjeldende retningslinjer skal en bruker bli vurdert både ved oppstart av tjenesten og underveis i tjenesteutøvelsen. Ernæringstiltak hos en bruker skal også evalueres og følges opp mens tjenesten mottas.

Rapporten tar opp en rekke temaer knyttet til ernæringsarbeidet i hjemmetjenesten. I denne artikkelen har vi valgt å rette oppmerksomheten mot to temaer når vi skal illustrere metodemangfoldet:

• kartlegging av ernæringsstatus
• bistand til mat og drikke

Kartlegging av ernæringsstatus – tekstgraving og spørreundersøkelse

Ett av kriteriene vi brukte i undersøkelsen var «mottakere av hjemmetjenester bør kartlegges for ernæringsmessig status og vurderes for ernæringsmessig risiko […] månedlig eller etter et annet faglig begrunnet individuelt opplegg». Hvis hjemmetjenesten skal lykkes med å fange opp de som står i fare for å bli underernærte eller de som allerede er underernærte, er det avgjørende at brukerne blir kartlagt og vurdert. Og for at hjemmetjenesten skal kunne følge med på utviklingen til brukerne, må brukerne kartlegges jevnlig.

For oss ble det svært nyttig å kombinere funn i en spørreundersøkelse blant tjenesteansvarlige sykepleiere med tekstgraving i journalen, for å vurdere bydelenes praksis.

For oss ble det svært nyttig å kombinere funn i en spørreundersøkelse blant tjenesteansvarlige sykepleiere med tekstgraving i journalen, for å vurdere bydelenes praksis. På den måten endte vi med en vurdering om at det var flere mangler i bydelenes arbeid med å kartlegge og vurdere ernæringsmessig status hos brukere av hjemmetjenester. Slik gjorde vi det:

Spørreundersøkelsen

Vi gjennomførte først en spørreundersøkelse blant alle tjenesteansvarlige sykepleiere i Oslo kommune. Det inkluderte i alt 420 personer, hvorav 373 svarte.[1] De tjenesteansvarlige sykepleierne hadde blant annet ansvar for å lage tiltaksplaner for brukerne.

I spørreundersøkelsen stilte vi flere spørsmål som handlet om arbeidet med å kartlegge og vurdere ernæringsmessig status. For eksempel spurte vi:

Kartlegger og vurderer dere ernæringsstatusen for nye brukere?

Blir brukerne jevnlig kartlagt og vurdert med hensyn til om de er i risiko for å bli underernærte eller er underernærte?

Veies brukere med hjemmesykepleie jevnlig/ved faste intervaller?

I tillegg ba vi de tjenesteansvarlige sykepleierne ta stilling til ulike påstander. To av påstandene var:

Det kan være brukere med behov for ernæringstiltak som ikke blir fanget opp av oss.

Brukere som er i risiko for å bli underernærte blir ofte oppdaget senere enn ønskelig.

Et første poeng om disse spørsmålene og påstandene, er at svarene vi fikk pekte i retning av at det var mangler ved oppfølgingen av ernæringsmessig status. For eksempel var det 28 prosent som svarte nei eller vet ikke på spørsmålet om brukerne ble jevnlig kartlagt og vurdert for underernæring. Det var 71 prosent som var helt eller delvis enige i at det kunne være brukere med behov for ernæringstiltak som ikke ble fanget opp, og det var 68 prosent som var helt eller delvis enige i at brukere i risiko for å bli underernært ofte ble oppdaget senere enn ønskelig.

Et annet poeng om spørsmålene og påstandene ovenfor, er at samtlige tar opp forhold som også burde være mulige å observere i journalen. For eksempel burde kartlegginger og veiinger kunne opptre som indikator- eller vektregistreringer, vurderinger burde kunne leses i journalnotater, og hyppigheten for den enkelte bruker burde kunne beregnes ved hjelp av datosignaturer.

Journalen

Både volum og ulike formater kan skape utfordringer ved å gjøre analyser i journalen. I 2017, som var undersøkelsesperioden vår, ble det gjennomført 3,8 millioner besøk med hjemmesykepleie i Oslo. For hvert av besøkene kunne det i prinsippet være journalført en kartlegging eller vurdering av ernæringsstatusen til brukeren som vi burde fange opp. Samtidig var kartlegginger og vurderinger av ernæringsstatus registrert i ulike formater i journalsystemet, og i ulike deler av systemet. Noe var registrert som tall, annet var registrert som fritekst i journalnotater. Blant de 3,8 millioner føringene i sykepleiejournalen, var det fritekst i 1,9 millioner.

Tekstgravingen

For å håndtere både volumet og de ulike formatene var det nyttig for oss å bruke maskinstøttet tekstgraving for å analysere journalen. Tekstgraving er en familie av ulike metoder for å analysere meningsinnhold i tekst. Metodene har sine fremste fordeler når volumet er så stort at det blir for mye for mennesker å lese. I denne artikkelen er plassen for knapp til å gi noen oversikt over ulike metoder, men for eksempel Grimmer og Stewart (2013), Ignatow og Mihalcea (2017) og Silge og Robinson (2017) gir smakebiter på ulike muligheter med tekstgraving. Vi brukte en ordlistemetode for å analysere journalen. Slik gikk vi frem:

For hver mottaker av hjemmesykepleie i Oslo i 2017 ønsket vi å finne alle tilfeller der brukeren fikk ernæringsstatusen sin kartlagt og vurdert. I praksis ønsket vi å lage en tidslinje for hver bruker som viste alle kartlegginger og vurderinger gjennom 2017. Tanken var at vi da kunne se om den enkelte bruker hadde fått ernæringsstatusen sin vurdert, og i så fall når og hvor hyppig. For å finne alle tilfeller der en kartlegging eller vurdering var registrert i fritekst i et journalnotat, brukte vi altså ordlistemetoden for å klassifisere journalnotatene i to kategorier: de som dokumenterte en ernæringsstatus og de som ikke gjorde det.

Ordlistemetoden er basert på en antakelse om at et meningsinnhold eller bestemte dimensjoner i en tekst viser seg i spesifikke ord og fraser. Når man ser at disse ordene og frasene brukes i en tekst, tas det som indikasjon på at teksten har meningsinnholdet eller dimensjonen man er ute etter.

Vi brukte tekstgraving i tre deler av journalen. I sykepleiejournalen og praktisk bistandjournalen fant vi at disse ordene var tydelige tegn på at journalnotatet viste en kartlegging eller vurdering av ernæringsstatus: bmi*, kg, *0kg, *1kg, *2kg, *3kg, *4kg, *5kg, *6kg, *7kg, *8kg, *9kg, kilo, kmi*, underernær*, veide, veier, veiet, vektnedg*, vikt. Asteriskene (*) gjør at ordet kan opptre i journalnotatet sammen med flere tegn uten mellomrom. For eksempel vil *2kg gi treff på «62kg». I tillegg til sykepleiejournalen og praktisk bistandjournalen, analyserte vi innholdet i revurderingsjournalen. Da brukte vi en lengre ordliste som vi ikke gjengir her, men som er gjengitt i rapporten.

Før vi kommer til resultatene av analysen, bør vi skrive et par ord om validering. Ordlistemetoden har den fordelen at den er lett å formidle og er helt gjennomsiktig: treff på ett av stikkordene i et journalnotat ble tatt som indikasjon på at notatet inneholdt det vi lette etter. Samtidig har ordlistemetoden den begrensningen at analyseresultatene langt på vei er gitt så snart ordlisten er satt. Metoden evner for eksempel ikke å fange opp meningsinnhold der det er brukt synonymer. Derfor var det viktig for oss å teste og rapportere validiteten i tekstgravingen vår.

Vi validerte ordlistene ved å lage såkalte forvirringsmatriser. Det vil si at vi trakk et tilfeldig utvalg journalnotater og leste dem manuelt for å avgjøre om det enkelte journalnotat viste en kartlegging eller vurdering av ernæringsstatus. Deretter sammenlignet vi vår manuelle klassifisering med maskinens ordlistebaserte klassifisering. Vi rapporterte resultatet i tabeller som inneholdt summene av alle tilfeller der menneske og maskin var enige og alle tilfeller der menneske og maskin var uenige på den ene eller andre måten. På den måten kunne vi vise at ordlistene hadde høy validitet. For eksempel når det gjaldt klassifisering av journalnotater i sykepleiejournalen, var menneske og maskin enige i 97 prosent av tilfellene. I rapporten gjenga vi forvirringsmatrisene og beskrev dem mer utfyllende.

Så til resultatene av tekstgravingen: Etter å ha satt sammen tidslinjene for hver bruker, beregnet vi – for hver bruker – hvor ofte de i gjennomsnitt fikk ernæringsstatusen sin kartlagt og vurdert. Deretter grupperte vi brukerne i hver bydel og presenterte resultatene blant annet i denne figuren:

Mye kan sies om figur 1, men la oss trekke frem noen observasjoner som til sammen støtter erfaringene til de tjenesteansvarlige sykepleierne som deltok i spørreundersøkelsen. Det var ingen bydeler der alle brukere fikk kartlagt og vurdert ernæringssituasjonen sin månedlig. I flere av bydelene var det et mindretall av brukerne som minst månedlig ble kartlagt. I alle bydeler var det brukere der det gikk mer enn seks måneder mellom kartlegginger. Dataene viser også at det i alle bydeler var brukere som mottok hjemmetjenester gjennom det meste av eller hele 2017 uten at det var dokumentert en kartlegging eller vurdering av ernæringsstatusen.

Med en slik kunnskap om journalen er det tydelig hvorfor de tjenesteansvarlige sykepleierne svarte som de gjorde. Når journalen viser at flere brukere kun sjeldent fikk ernæringssituasjonen sin kartlagt og vurdert, er det forståelig at de tjenesteansvarlige sykepleierne sa seg enige i at brukere med behov for ernæringstiltak ikke ble fanget opp og at brukere i risiko for å bli underernært ofte ble oppdaget senere enn ønskelig.

Bistand til mat og drikke – intervjuer, observasjon og spørreundersøkelse

Et annet revisjonskriterium vi brukte var «brukerne skal få tilstrekkelig bistand til inntak av mat og drikke». Også det er et viktig element i et godt ernæringsarbeid. Hvis man trenger hjelp til å spise og drikke synes det åpenbart at hjelpen må være god nok for å hindre underernæring. Som et resultat av undersøkelsen, endte vi med å stille spørsmål ved om brukerne fikk tilstrekkelig bistand til inntak av mat og drikke som dekket deres ernæringsbehov.

Her vil vi illustrere hvordan observasjoner av hjemmetjenestens besøk hos brukerne, en brukerundersøkelse og vår egen spørreundersøkelse til sammen dannet et litt annet bilde enn det vi fikk høre i intervjuer ved utvalgte tjenestesteder.

Intervjuene

I intervjuer spurte vi ledere og ansatte ved enkelte tjenestesteder om de opplevde å kunne gi tilstrekkelig bistand til inntak av mat og drikke. I hovedsak mente disse at brukerne fikk nok hjelp, selv om det kunne være utfordringer. Utfordringer kunne være at tiden var for knapp og at brukerne sa de ikke var sultne. Vi fikk også fortalt at det var utfordrende hvis brukeren selv ikke ønsket å spise.

Observasjonene

Men gjennom observasjoner av hjemmetjenestens besøk hos brukerne, så vi at det var lite dokumentasjon av hva brukerne ble servert, og av hva de spiste. Det var også stor variasjon i hvorvidt den samme ansatte kom tilbake i løpet av en vakt når bruker skulle få hjelp ved flere måltider. Ved noen av observasjonene vurderte observatøren at det ikke ble tatt nødvendige hensyn til den situasjonen brukeren var i under det aktuelle besøket. Det ble observert få tiltak for å sikre at brukerne hadde næringsrik mat i hjemmet, da det var lite veiledning av brukere og hjelpepersoner om handlelister eller hva som kunne være godt å spise for at brukeren skulle få i seg nok energi.

Brukerundersøkelsen

Også Helseetatens brukerundersøkelse fra 2017 pekte på noen utfordringer. Der kom det frem at tilfredsheten med hjelp til mat og måltider var noe lavere enn for de andre spørsmålene i undersøkelsen. Noen nevnte at de ikke fikk den maten de ønsket, blant annet når ansatte hadde dårlig tid. Det ble også oppgitt som en utfordring at måltidene ble servert til ulike tidspunkter fordi ansatte ikke klarte å overholde de avtalte tidspunktene.

Spørreundersøkelsen

Vi spurte også om bistand til mat og drikke i spørreundersøkelsen til de tjenesteansvarlige sykepleierne. For eksempel spurte vi:

Mener du at brukerne får tilstrekkelig bistand i forbindelse med måltidene?

Vi ba også sykepleierne ta stilling til disse to påstandene:

Det går for lang tid mellom måltidene for brukere som er i risiko for å bli underernærte eller som er underernærte.

Det går ofte mer enn 11 timer mellom kveldsmåltidet og frokostmåltidet for brukere som er i risiko for å bli underernærte eller som er underernærte.

Vi oppsummerte svarene om bistand i forbindelse med måltidene i denne figuren:

Note: Antall respondenter (N) er 373.

Figur 2 viser blant annet at det til sammen var 32 prosent – ikke en ubetydelig andel – som mente at brukerne kun av og til eller sjelden fikk tilstrekkelig bistand i forbindelse med måltidene.

Når det gjaldt påstandene ovenfor, var det nesten 65 prosent av de tjenesteansvarlige sykepleierne som enten var helt eller delvis enig i at det gikk for lang tid mellom måltidene for brukere som var i risiko for å bli underernærte, eller som var underernærte. Det var nesten 70 prosent av sykepleierne som enten var helt eller delvis enig i at det ofte gikk mer enn elleve timer mellom kvelds- og frokostmåltidet for brukere som var i risiko for å bli underernærte, eller som var underernærte. Et annet interessant funn i spørreundersøkelsen var at de tjenesteansvarlige sykepleierne mente at en av hovedutfordringene knyttet til ernæringsarbeidet var at brukeren selv ikke ønsket hjelp til ernæring.

Ved å kombinere funnene fra observasjoner, brukerundersøkelsen og spørreundersøkelsen, ga det oss grunnlag for å stille spørsmål ved om brukerne fikk tilstrekkelig bistand til inntak av mat og drikke som dekket deres ernæringsbehov.

Konklusjon

Vår erfaring med rapport 16/2018 Ernæringsarbeid i hjemmetjenesten var at metodemangfoldet, inkludert tekstgraving, spørreundersøkelse, intervjuer, observasjon og bruk av andre undersøkelser som brukerundersøkelsen, ga oss et godt grunnlag for å vurdere ernæringsarbeidet i hjemmetjenesten. Dette igjen ga et godt grunnlag for å påpeke forbedringsmuligheter.

Fotnote:
[1] Det tilsvarer en svarprosent på 89. Kommunerevisjonen legger i utgangspunktet til grunn at alle skal svare, men sykefravær og andre faktorer kan føre til at ikke alle svarer.

________________________

Referanser

Grimmer, J. og Stewart, B. M. (2013) Text as Data: The Promise and Pitfalls of Automatic Content Analysis Methods for Political Texts. Political Analysis, 21, 267–297.

Ignatow, G. og Mihalcea, R. (2017) Text Mining: A Guidebook for the Social Sciences (Los Angeles: SAGE)

Silge, J. og Robinson, D. (2017) Text Mining with R (Sebastopol, CA: O’Reilly)

________________________

Lenke til Kommunerevisoren nr. 1/2020: