OECD har karakterisert Norads evalueringsvirksomhet som sterk, skriver Per Øyvind Bastøe (bildet).

Evalueringer – vanskelig å forstå for forskere

MENINGER: Vi endrer ikke anbefalingene i evalueringsrapporter som utarbeides av eksterne evalueringsteam, uansett hvor generelle og urealistiske disse måtte være, skriver Norads Evalueringsdirektør i dette svaret til innlegget "Evalueringer – se til Sverige".

Av Per Øyvind Bastøe Sist oppdatert: 03.05.2019

Inge Tvedten, seniorforsker ved Chr. Michelsens Institutt, har noen betraktninger rundt evalueringsvirksomheten i Bistandsaktuelt 2. mai, som det er verdt å kommentere. Utgangspunktet for Tvedten er at evalueringer er en vanskelig kunst. Vanskeligheten ligger tilsynelatende i at evaluering er annerledes enn forskning. Det er mange år siden jeg var forsker, så jeg skal være forsiktig med å mene så mye om hvordan forskning nå utøves. Jeg har desto mer innsikt i evaluering gjennom min rolle som leder av evalueringsvirksomheten i Norad og leder for evalueringsnettverket i OECDs utviklingskomite.

 

Svake team?

Det er ikke lett å kjenne seg igjen i Tvedtens beskrivelse av evalueringene. Han mener de er mekanistiske og lite analytiske, at de er metodisk svake, lite systematiske og at anbefalingene er dårlig underbygget. Han mener også at evalueringsteamene er svakt sammensatt. Det siste er interessant, ikke minst fordi vi ofte får tilbud på våre utlysninger fra den institusjonen Tvedten selv representerer. Så denne utfordringen bør han først og fremst drøfte internt.

Det er interessant å merke seg at Tvedtens vurderinger står i kontrast til funn i gjennomgangen av norsk bistandsforvaltning som OECDs utviklingskomite nylig har sluttført (og som legges fram i Oslo 28. mai). Her blir Norads evalueringsvirksomhet karakterisert som sterk. Kanskje er problemet at Tvedten blander sammen de såkalte desentraliserte evalueringer (dvs. prosjektgjennomganger) og tematiske evalueringer og underslår at disse gjennomføres på svært forskjellig måte.

 

Mangler uavhengighet?

Tvedten påstår at evalueringsvirksomheten mangler uavhengighet og at vi overstyrer evalueringene. Kanskje han her referer til det arbeidet vi gjør med å sjekke om eksterne evalueringsteam svarer på mandatene og om utkastene til rapporter har tilstrekkelig evalueringsfaglig kvalitet. Dessverre finner vi ofte at dette er utfordrende. Mange konsulenter synes å ha for mye å gjøre og er ikke nødvendigvis så gode på skriftlig formidling som vi skulle ønske. Vi erfarer også at forskere har en tendens til å fremme egne faglige synspunkter, selv om disse ligger utenfor mandatene for evalueringsoppdraget. Jeg skulle også ønske at vi kunne bruke mindre tid på kvalitetssikring, men det fordrer at kvaliteten på konsulentenes utkast blir bedre.

Den mest alvorlige påstanden fra Tvedten er at vi reformulerer og tilpasser anbefalingene. Det er selvsagt ikke riktig at vi endrer anbefalingene i evalueringsrapporter som utarbeides av eksterne evalueringsteam, uansett hvor generelle og urealistiske disse måtte være. Vårt mandat i henhold til Evalueringsinstruksen er å fremme våre anbefalinger om hva som bør følges opp i norsk utviklingspolitikk på bakgrunn av evalueringsarbeidet. Dette oversendes i et eget notat til rådsleddet i Utenriksdepartementet og Klima- og miljødepartementet, og ikke som en del av rapporten. Utforming av gjennomførbare anbefalinger er en viktig del av vårt arbeid.

 

Blander kortene

Tvedten har mye godt å si om bistandsevalueringer i Sverige. Men også her synes han å blande kortene. Evalueringsenheten i SIDA har først og fremst ansvar for evaluering av prosjekter og programmer (det vi kaller desentraliserte evalueringer). Expertgruppen för biståndsanalys (EBA) er en uavhengig statlig komite som bestiller ulike former for analyser og evalueringer av overordnede spørsmål knyttet til svensk internasjonalt arbeid. I en gjennomgang konkluderte det svenske Statskontoret med at EBA har utfordringer med å gjøre sine utredninger relevante og anvendbare. Jeg er ikke overbevist om at dette er noen god modell for etterfølgelse.

 

Tvedten har rett i at det har vært mye fokus på læring fra evalueringene. Men igjen er han upresis i sin beskrivelse. Det at det har fått mye oppmerksomhet betyr ikke at evalueringene ikke brukes eller at bistandsforvaltningen ikke lærer. Alle som leser stortingsdokumenter relatert til utviklingspolitikk vil se at det at ofte henvises til evalueringskunnskap. Selvsagt skulle vi ønske at læringen skjedde raskere eller at våre anbefalinger umiddelbart førte til handling. Men også på dette området kverner forvaltningen langsomt.

 

Utvikling av relevant kunnskap gjennom forskning og evaluering er begge deler viktig, men også forskjellig. Forskning skjer langsomt og preges av akademisk frihet, mens brukerorientert evalueringsvirksomhet er fokusert og går raskere. Kanskje ligger hovedproblemet i at det er vanskelig å beherske begge deler.

 

Mening

Meld deg på Bistandsaktuelts nyhetsbrev. Hold deg orientert om det som skjer innen bistand og utviklingspolitikk.
Publisert: 03.05.2019 07.46.59 Sist oppdatert: 03.05.2019 07.46.59