www.nkrf.no » Kommunerevisoren.no » 2018 » Nr. 1

Søk

Forsidebilde:
Shutterstock.com

NKRF
Munkedamsveien 3B
Postboks 1417 Vika
0115 Oslo

Tlf: +47 23 23 97 00

post@nkrf.no

Hopp over seksjon - Til hovedinnhold - Topp

Erfaringer med observasjon som metode i forvaltningsrevisjon

Berit Juul, forvaltningsrevisor i Trondheim kommunerevisjon

Trondheim kommunerevisjon har brukt observasjon som metode i åtte forvaltningsrevisjonsprosjekter.[1] Sju av disse har vært på helse- og velferdsområdet.

I denne artikkelen [2] skal jeg gi praktiske eksempler på hvordan vi har brukt observasjon, hvilke funn metoden har gitt oss samt presentere noen vurderinger vi har gjort blant annet på grunn av observasjon.

Kvalitet i sykehjem

I oppstarten av det første prosjektet om kvalitet i sykehjem hadde vi kontakt med Oslo kommunerevisjon som hadde gjennomført liknende undersøkelser og brukt observasjon. Basert på erfaringene vi innhentet har observasjon blitt brukt som en viktig metode i de tre prosjektene vi har gjennomført om kvalitet i sykehjem. Eksemplene nedenfor er hentet fra den siste rapporten.

Berit Juul er forvaltningsrevisor i Trondheim kommunerevisjon. Hun er utdannet historiker og jobbet ti år i Riksrevisjonen før hun begynte i Trondheim kommunerevisjon i 2007.

I tillegg til observasjon brukte vi også intervju og dokumentanalyse. Vi engasjerte en ekstern fagperson med sykepleiefaglig kompetanse. Dokumentanalysen og intervjuene ble gjennomført før vi startet opp med observasjonen. På denne måten ble både ledelsen og utvalgte ansatte kjent med oss, noe som var en klar fordel for både dem og oss når vi etterpå skulle gjennomføre observasjonene. Vi hadde utarbeidet en sjekkliste som vi brukte når vi observerte. Sjekklisten var utarbeidet med utgangspunkt i revisjonskriteriene. Vi observerte fire vakter: to dagvakter (én på ukedag og én på helg), én kveldsvakt og én nattevakt. Sammen med den innleide fagpersonen var vi to fra revisjonen som observerte. Vi var på de samme vaktene, men observerte stort sett hver for oss. Vi observerte dagliglivet og hadde samtaler med de som bodde der, pårørende og ansatte. Vi deltok på morgenrapporten, var til stede under måltid og ble med ansatte på rommene til pasienten, dersom pasienten synes det var greit.   

Det er et dilemma om man skal varsle observasjonene på forhånd. Vi valgte å varsle alle, unntatt en.

Det er et dilemma om man skal varsle observasjonene på forhånd. Vi valgte å varsle alle, unntatt en. Når vi valgte å varsle løp vi samtidig en risiko for at de rakk å bemanne opp og rydde og vaske. Vårt inntrykk var imidlertid at dette ikke ble gjort. Selv om det var satt fram en mengde friske potteplanter på oppholdsrommet, var disse visne og lite egnet til å imponere revisor etter ei ukes tid. Manglende renhold var nemlig et av forholdene vi observerte på sykehjemmet. Uten å gå i dybden på dette, så vi mye rot og dårlig renhold, og vi ga følgende vurdering:  

Revisjonen mener det manglende renholdet [sykehjemmet] er kritikkverdig. Selv om dårlig renhold har vært tema ved enheten over lang tid, er det fremdeles for dårlig.

Vi dokumenterte noen av observasjonene med bilder. Bilde nr. 1 (under) viser deler av sykehjemmet. Vi ser inn i den såkalte ”glassgården” som er sykehjemmets fellesrom. På bildet ser vi at pasientenes rom ligger langs glassgården og bakgården. Bakgården er idyllisk om sommeren, men om vinteren kan denne løsningen være kald og upraktisk. Dersom en pasient skal spise måltidene i fellesskap, må de ut i friskluft før de kommer til fellesrommet. På kalde vinterdager, som da vi gjennomførte observasjon, måtte pasientene kles godt på med yttertøy før de kunne komme seg til oppholdsrommet, selv om turen bare var på noen få meter. Dette bød på ekstra arbeid for de ansatte med påkledning, og helt ulik de fleste andre sykehjem hvor oppholdsrommet gjerne er i samme korridor. Dette medførte at på ekstra kalde dager ble de enkelte pasienter værende på rommet sitt og spiste alle måltid der. Dette innebar redusert sosial omgang med andre. Også for de ansatte var kulden et problem: varme klær inngikk ikke som en del av uniformen, og de måtte ha med seg private klær.

Bilde nr. 1

Enkelte av rommene på sykehjemmet bestod av en leilighet med to soverom og en felles stue. De ansatte kunne fortelle at dette noen ganger bød på utfordringer med å sette sammen de riktige folkene. Det hendte at to pasienter som delte stue ikke hadde kjemi, noe som kunne by på store utfordringer. Under observasjonen så vi imidlertid flere eksempler på slike ”samboerskap” som var svært vellykket, hvor pasientene hadde stort utbytte av hverandre, både praktisk og ikke minst sosialt.

Bilde nr. 2 (til venstre) viser at vi observerte god omsorg på sykehjemmet. Vi ser at en av sykehjemmets aktivitører gir en dame manikyr. Vi observerte også god tone mellom pasientene og de ansatte. Ett av punktene på sjekklista vår var for eksempel å undersøke om de ansatte banket på døra før de går inn, videre hvordan de kommuniserte med pasientene og om de viste respekt for pasientenes privatliv etc. Etter å ha gjennomført disse observasjonene var vi i stand til å gjøre disse vurderingene:

”Pasientene [ved sykehjemmet] får god omsorg og blir behandlet med respekt. Det er positivt at de ansatte gir av seg selv og viser forståelse for pasientenes behov. Revisjonen mener at pasientene i all hovedsak får en tjeneste som er individuelt tilpasset.”

Hvis vi ikke hadde gjennomført observasjon kunne vi ikke gjort denne vurderingen. Ved å se hvordan de ansatte behandlet pasientene, sammenholdt med opplysninger om hvilke rutiner de har for eksempel for å la pasientene få den maten de helst vil ha, mener vi at observasjon ga oss informasjon om forhold vi ellers ikke kunne ha uttalt oss om.

Denne observasjonen viste med all tydelighet at retningslinjene ikke ble overholdt. Dette er et tydelig eksempel på at observasjon gir helt andre opplysninger enn hvis vi ikke hadde vært der og sett.

Medisinhåndtering var ett av temaene vi undersøkte. Den innleide fagpersonen kontrollerte at rutinene for istandgjøring av medisin ble overholdt, mens vi var med og observerte medisinutdeling. I rutinene for medisinhåndtering står det at pleiere som gir medisin alltid skal se at pasienten tar medisinen sin på riktig måte, det vil si være hos pasienten til medisinen er tatt. Under observasjonen så vi at de ansatte som oftest ikke fulgte prosedyren om å være hos pasienten til medisinen er tatt. Medisinen ble satt på brettet sammen med maten, og da maten var servert, hendte det som oftest at ansatte forlot pasienten uten å forsikre seg om at tablettene var tatt. Ved en anledning så vi at en pasient flyttet seg fra plassen sin i spiserommet før medisinen var tatt, og at en annen pasient tok plass ved bordet mens medisinen fortsatt sto framme. Like etterpå kastet pleieren tabletten som ikke var tatt. Denne observasjonen viste med all tydelighet at retningslinjene ikke ble overholdt. Dette er et tydelig eksempel på at observasjon gir helt andre opplysninger enn hvis vi ikke hadde vært der og sett.

Egne revisjoner av medisinhåndtering

På bakgrunn av funnene som rapporten om kvalitet i sykehjem viste ble det bestilt to egne undersøkelser av medisinhåndteringen, én i 2014 og én i 2016. Observasjon utgjorde en vesentlig del av kildetilfanget også i disse to undersøkelsene. Disse undersøkelsene ble gjennomført uten ekstern konsulent. Begge gangene undersøkte vi om lag halvparten av sykehjemmene i kommunen. Observasjonen og møtet med leder/fagleder ble varslet ettermiddagen dagen før kontrollen. Det førte til at noen av enhetene hadde ryddet medisinrom og medisintraller før vår kontroll. Vi erfarte at det ikke bød på særlige utfordringer: vi undersøkte forhold som var mer omfattende enn hva de klarte å fikse opp i på en ettermiddag/kveld. Vår kontroll av medisinrommet var for eksempel å undersøke regnskapsføringen av A- og B-preparater,[3] samt å kontrolltelle beholdningen av at A-preparater stemte med regnskapet. Noen enheter hadde selv sett over regnskapet etter at vi varslet kontroll. En enhet hadde selv oppdaget et vesentlig avvik i A-regnskapet kvelden før vi kom, og informerte om dette i møtet vi hadde før vi gikk i gang med observasjonen. Under selve kontrollen observerte vi også utdeling av medisin, da fulgte vi de eller den som hadde ansvaret for å dele ut. Vi observerte flere avdelinger på hver enhet. Denne delen av observasjonen kunne noen ganger oppleves som stressende for de som delte ut medisin. I slike tilfeller forsøkte vi å følge noen andre, og heller komme tilbake. Vi gjennomførte også kontroll av medisintralla, for eksempel om det var forsvarlig oppbevaring av såkalt eventuell-medisin, forsvarlig håndtering av medisin som ikke ble gitt og om rutinene for signering av at medisin var gitt ble fulgt.

I undersøkelsen i 2014 fant vi få avvik, og konkluderte med at de nye retningslinjene var blitt iverksatt. I undersøkelsen som vi gjorde i 2016 fant vi imidlertid en god del avvik. Dette skyldes primært at vi gikk i dybden på A- og B- preparatene, hvor vi fant avvik på nesten alle sykehjem.

Kvalitet i spesialundervisning

I et prosjekt om kvalitet i spesialundervisningen valgte vi å ikke bruke fagekspertise, men brukte flere ulike metoder for å belyse kvaliteten, blant annet observasjon. Vi hadde innhentet opplysninger om når et antall elever skulle ha spesialundervisning og troppet opp på skolene for å undersøke om undervisningen ble gitt og om det ble gitt i henhold til vedtaket. Vi observerte spesialundervisning både på enerom, liten gruppe og i klassen. Vi var to forvaltningsrevisorer som gjennomførte observasjonen. Noen ganger observerte vi sammen, andre ganger hver for oss. Ungene var forholdsvis vant til å bli observert, så de gjorde seg stort sett lite av at vi var til stede. Enkelte lærere syntes nok at det var kunstig.

Ett eksempel på hvordan vi brukte observasjon i denne rapporten er at vi skriver at intervju og observasjon ”viser at for noen elever blir mesteparten av spesialundervisningen utført av assistenter, ofte i eneundervisning. I enkelte av disse tilfellene utgjør spesialundervisningen nesten hele omfanget elevenes skoletimer. Assistentene gir personlig, sosial og praktisk støtte, men de gir også stor grad av faglig støtte og opplæring.” Intervju og observasjon viste samtidig at en del assistenter får tett oppfølging og veiledning og følger et program som er utarbeidet av pedagog.[4]

Befaringer

Befaringer er også en måte å tilegne seg førstehånds informasjon på, og som minner litt om observasjoner. Informasjonen fra befaringer kan bli brukt direkte som revisjonsbevis, men også som bakgrunnsinformasjon som gjør oss i stand til å forstå det vi reviderer.[5] Da vi reviderte rehabiliteringen av Granåsen hoppbakke gjennomførte vi for eksempel en befaring av selve hoppbakken. Det ble lettere å skrive om snøfangernettet når man vet hva dette er og selv har sett hva som skjer når det blir fjernet. I prosjektet om Leangen ishall ga en befaring nyttig informasjon om utfordringene i hallen ved at vi fikk se støvet i hallen og oppleve hvor kaldt det var der inne. I prosjektet om det boligsosiale arbeidet i Trondheim hadde vi stort utbytte av å se mangfoldet av kommunale boliger som finnes og hvor boligene ligger. 

Kildetriangulering

Observasjoner kan gi oss informasjon som vi ellers ikke ville ha fått, men kan ikke være den eneste metoden i et forvaltningsrevisjonsprosjekt.

Observasjoner kan gi oss informasjon som vi ellers ikke ville ha fått, men kan ikke være den eneste metoden i et forvaltningsrevisjonsprosjekt. Metoden må kombineres med andre, altså kildetriangulering.[6] Standard for forvaltningsrevisjon, RSK 001, anbefaler at det i den grad det er tjenlig bør det benyttes flere metoder for innsamling av data.[7] I veilederen for forvaltningsrevisjon kan vi lese at triangulering kan redusere faren for at det som beskrives ikke er riktig eller fullstendig, og validiteten i datamaterialet styrkes.[8] Tilsvarende styrkes reliabiliteten i undersøkelsen totalt sett. I gjennomføringsfasen bidrar dessuten triangulering til å avdekke motsetninger i datamaterialet, og muliggjør mer informasjon og en dypere forståelse av forholdet som studeres.

Prøv gjerne selv  

I denne artikkelen har jeg forsøkt å vise hvilke erfaringer vi i Trondheim kommunerevisjon har hatt ved å bruke observasjon som metode. Vi mener selv at denne metoden har gitt oss svært nyttig informasjon. Gjennom at vi selv ser hvordan noe er eller blir gjort, kan vi gi våre oppdragsgivere et ganske unikt innblikk i den kommunale tjenesteproduksjonen. Jeg håper at artikkelen inspirerer til at flere tar i bruk denne metoden, som vi synes er veldig god og ikke minst svært så lærerik. Det gir en helt annen forståelse for et område når man selv har sett på den kommunale tjenesten som blir ytt og hvilken kontekst den er ytt i.


Noter:

[1] Kvalitet i sykehjem Ranheim (2010), Kvalitet i sykehjem Tiller (2012) og Kvalitet i sykehjem Ilevollen (2014), Medisinhåndtering (2014 og 2016), Kvalitet i spesialundervisningen (2015), Kvalitet i hjemmetjenesten (2012) og Boligsosialt arbeid (2016). 

[2] Artikkelen bygger på et foredrag jeg holdt på Arena for forvaltningsrevisjon 16. mars 2017.

[3] A-preparater er narkotiske medisiner, mens B-preparater  er vanedannende medisiner.

[4] Rapport 5/2015-F Kvalitet i spesialundervisning

[5] Leangen plasthall (2014) og Rehabilitering av Granåsen hoppbakke (2011), Boligsosialt arbeid (2016).

[6] NKRF 2016. Veileder i forvaltningsrevisjon.

[7] RSK 001 Standard for forvaltningsrevisjon, punkt 26.

[8] NKRF 2016. Veileder i forvaltningsrevisjon. s. 58


Kommunerevisoren nr. 1/2018 - 73. årg.

Til toppen av siden

Topp