New Public Management-inspirerte reformer har gitt forskere sterkere incentiver til å publisere flere artikler. Leder det dem til større innsats eller mer middelmådighet?

Essay publisert i tidsskriftet Minervas papirutgave og på nett 14. oktober 2021.

Stadig flere forskere, gjerne i midlertidige stillinger, jakter knappe forskningsmidler og faste stillinger i et stadig mer kompetitivt arbeidsmarked. Alle forskere vet at om du ikke publiserer, kan du glemme en karriere: Det er «publish» eller «perish». Derfor publiserer forskere flere artikler enn før. Men publiseringspresset sies også å føre til forskningsjuks, sløve forskningspraksiser, og jag etter lavthengende frukt, fremfor banebrytende forskning.

Har vi havnet i uføre som et resultat av en kategorifeil: å anvende New Public Management, et styringssystem utviklet for private, strømlinjeformede bedrifter, på det kreative og uforutsigbare akademia? Eller er klagingen fra elfenbenstårnet sutring fra en privilegert klasse som endelig blir møtt med et minimum av krav om å tilfredsstille kriteriene jobben stiller?

NPM er i korte trekk en styringsteori for offentlig sektor. Den gir ett sett med mulige svar på spørsmålet om hvordan myndighetene bør styre underliggende etater med varierende grad av selvbestemmelse. Svarene NPM gir, skiller seg fra svarene som følger fra tillits-modellen og hierarki-modellen. Tillits-modellen, som har mange tilhengere på venstresiden, består i å gi full frihet til den underliggende etaten og styre gjennom dialog. I hierarki-modellen, som gjerne assosieres med Max Weber og det klassiske byråkratiet, styrer man gjennom klare instrukser, regler, roller og et hierarki av underordnede.

NPM fordeler ansvar gjennom kontrakter mellom myndigheter og etater, etater seg imellom og etater og individer. I kontrakten mellom myndigheter og etat spesifiseres overordnede mål for virksomheten og finansiering knyttes til oppnådde resultater. Mål- og resultatstyringen gir virksomheten forutsigbarhet, et insentiv til å oppnå resultater og frihet til å nå dem.

Min egen hittil korte akademiske karriere er formet av NPM – og illustrerer flere av problemstillingene denne styringsfilosofien reiser.

Ekstern finansiering
Jeg tok doktorgraden min ved Universitetet i Oslo fra 2017 til 2021. Finansieringen kom imidlertid fra Norges forskningsråd og var knyttet til et spesifikt prosjekt, ledet av min veileder. Dette er et eksempel på eksternt finansiert forskning, som utgjør en betydelig del av forskningsfinansiering ved norske universiteter. Forskere søker om midler og inngår kontrakter med finansiører om å levere en gitt mengde forskning på et gitt område.

Den eksterne forskningen som reiser størst problemer, er oppdragsforskning bestilt og finansiert av private bedrifter og offentlige etater. Oppdragsforskning utfordrer forskernes akademiske frihet så vel som troverdigheten til forskningsresultatene. Mitt fokus vil være på ekstern finansiering fra forskningsråd. Forskningsrådsfinansiering har ikke de samme åpenbare problemene og innenfor NPM-paradigme regnes det som en forbedring av tillits- og hierarki-modellen, hvor forskning blir finansiert og styrt gjennom universitetshierarkiet. Tidligere styrte staten universitetet gjennom en tillits-modell – her er noen penger, bruk dem klokt! Nå kommer mer av finansieringen som et resultat av oppnådde resultater og seier i konkurransen om de eksterne midlene.

Jeg kan nok takke ekstern finansiering for at jeg fikk opptak på doktorgradsprogrammet. Det er ikke ofte en statsviter kvalifiserer for opptak til doktorgrad i filosofi. Men siden prosjektene er styrt av den som får pengene, har de betydelig innflytelse over utlysninger av midlertidige stillinger. Min veileder ønsket å tiltrekke seg søkere fra flere fagbakgrunner enn filosofi og det ga meg sjansen. At midlertidige stillinger knyttes til prosjekter, er imidlertid ikke alltid et gode. Siden det krever at søkerne ønsker å jobbe på akkurat det prosjektet, blir det som regel færre søkere, mindre konkurranse og dermed lavere kvalitet på de som ansettes. Men hvis det tiltrekker seg kandidater fra andre bakgrunner, kan det øke mangfoldet, som i noen tilfeller være bra for den overordnede kvaliteten på forskningen.

Flere eksternt finansierte prosjekter øker også antallet som får prøve seg og gir økt konkurranse om faste forskerstillinger. Ifølge Underdal-utvalget, åttedoblet antallet doktorgradsdisputaser seg fra 1980 til 2017 og antallet postodoktor-stillinger tidoblet seg mellom 1995 og 2016. Antallet faste vitenskapelige stillinger har ikke økt på langt nær like raskt. Det er ikke ekstern finansiering som driver denne utviklingen, men den forsterker tendensen. Det er tøft for unge forskere, men har sine fordeler. Økt konkurranse om spesielt de faste jobbene, gir dermed et større insentiv til å jobbe hardt, og universitetene kan velge mellom flere kvalifiserte kandidater.

Denne type konkurranse om finansiering kan også bidra til både friere og bedre forskning: Alternativet til ekstern finansiering er at universitetene fungerer som lokale monopoler: Hvis du som forsker ikke får støtte til et prosjekt internt, finnes det ingen steder å henvende seg. Det sies at ressursfordelingen på universitetene tidligere var preget av en blanding av nepotisme og en kultur hvor alle skulle få like mye, uavhengig av hva de bidro med. Ekstern finansiering bryter opp endringsresistente og ensrettede miljøer, ved å gi mer makt til ambisiøse enkeltpersoner med nye ideer. De som skaffer egne penger, får mer innflytelse over ansettelser og retningen på forskningen.

Mer ekstern finansiering kan også gi flere uheldige virkninger. I mitt tilfelle var jeg én av 131 søkere og en av 13 som fikk midler. Det betyr at mange forskere bruker mye tid på å søke om penger som de aldri får og som kunne vært brukt på å forske. Og kanskje er det heller ikke alltid de beste forskerne som vinner frem, men de som er flinkest til å skrive søknader? Dette problemet var mindre i den gamle hierarki-modellen med mindre kamp om de eksterne midlene.

Et annet problem er at eksternt finansiert forskning risikerer å bli mindre banebrytende. En god søknad spesifiserer i betydelig detalj hva en forventer å finne. Det er det lettere å gjøre hvis en allerede vet hva en vil forvente. Hva banebrytende forskning vil finne er derimot vanskeligere å forutsi og dermed vanskeligere å søke om.

Når forskere må gjøre sin forskning attraktiv for eksterne finansiører, er det også en fare at vi forsker mer på områder som eksterne finansiører ønsker å skryte av å ha finansiert. Da blir det lettere å få penger til områder som er i vinden. Det slo sikkert ikke negativt ut for min egen del at jeg søkte om penger til å forske på etikken rundt smittsomme sykdommer midt under en pandemi. Nå trenger ikke det å være et problem: forskningsfelt som er i vinden, er det ofte fordi de er viktige for mennesker. Samtidig er det en fare for at man alltid blir halsende etter virkeligheten: forskningen kommer for sent til å være aktuell, og det kan gå hundre år til neste pandemi.

Det er likevel ikke slik at det er noen entydig tendens i retning av mer «trendy» forskning. Andre prosjekter som fikk støtte på samme tid som meg, var «Interpreting hunter-gatherer rock art of South Africa through the bodily practice of dress» og «Gabor frames, operator algebras, and quasicrystals». Kanskje eksterne finansiører heller gir støtte til de beste forskerne og forskningsprosjektene, fordi finansiører vil assosieres med fremragende forskere og fremragende forskning?

Publiseringspresset
Ekstern finansiering er bare en liten del av NPM. Et annet aspekt er finansieringen av universitetets aktiviteter, som varierer med resultater. Forskningen jeg publiserer i ulike vitenskapelige tidsskrifter, påvirker nemlig hvor mye penger universitetet får. For å unngå at dette stimulerer institusjonene til å satse på å publisere mer i dårlige tidsskrift, har man klassifisert tidsskriftene i to nivåer – nivå 1 og nivå 2. Institusjonene får mer finansiering hvis forskerne publiserer på det beste nivået, nivå 2. På noen institusjoner, som BI, får forskere selv en bonus hvis de publiserer i de beste tidsskriftene. Men selv der man ikke får bonus, er det ikke uvanlig at gode publikasjoner øker sjansen for lønnsforhøyelse.

Insentiver virker: Etter NPM-reformene publiserer flere forskere flere artikler i bedre tidsskrift enn de gjorde før.

Hvor mye av presset til å publisere mer og bedre som er et resultat av individuelle og institusjonelle insentiver til å publisere på ulike nivåer, er imidlertid ikke klart. Når jeg tenker på hva som motiverer meg til å publisere i gode tidsskrift, kommer lønnsforhøyelse og den marginale effekten på institusjonens inntekter langt ned på lista. Andre endringer i akademia har nemlig også bidratt til publiseringspress i samme periode. Øverst på min liste, som jeg tror er representativ for andre unge forskere, står anerkjennelsen fra kollegaer og internasjonale samarbeidspartnere som følger når man publiserer forskning de verdsetter i tidsskrift de respekterer. Det er gjennom publiseringene forskere kommuniserer med hverandre. Det er i økende grad slik vi blir sett og anerkjent. Samtidig er jeg også opptatt av å øke sjansen for at jeg kan få en jobb når prosjektfinansieringen min løper ut. Dette punktet henger sammen med universitetenes ansettelsespraksis, som igjen påvirkes av NPM-reformene. Publiseringspresset er altså et resultat både av forsøk på å imponere kollegaer og bevise for en selv at en duger, og av midlertidigheten og de hyppige jobbskiftene i kombinasjon med universitetenes NPM-incentiver.

Selv om det er vanskelig å kvantifisere incentivenes nettobidrag, er det overveiende sannsynlig at de virker i noen grad. Det neste spørsmålet er om virkningen er god: Gir det økte publiseringspresset mer god forskning? På et vis er det bra. Publisering i gode, internasjonale tidsskrift er helt sentralt for å kommunisere og kvalitetssikre forskningen. Om du forsker, men ikke publiserer, er det litt som å tenke uten å snakke. Og jo mindre velrennomert tidsskrift du publiserer i og jo mindre språket du publiserer på, er, jo mindre grundig sjekk blir forskningen din gjenstand for, både i form av fagfellevurderingen som foregår før publisering og den kritiske lesningen som foregår etter. Du har også mindre sjanse for å gjøre forskningen din relevant for andre. Jo mindre og dårligere tidsskrift, jo færre vil lese og bygge videre på forskningen din. Det blir som å skrive et leserinnlegg i den lille lokalavisa framfor å sende en kronikk til Aftenposten: Du blir kanskje sjelden refusert, men færre får med seg hva du skriver.

På den annen side er det mye som tyder på publiseringspresset fører til en inflasjon av artikler som kunne vært bedre bidrag til forskningsfronten om de hadde fått mer tid på seg. Det gjør også at forskere bruker mer tid på å skrive forskningsartikler og mindre tid på å lese andres forskning. Og hvis kvaliteten på artiklene faller og kvantiteten øker, blir det i økende grad fornuftig å ignorere det som publiseres.

I mitt eget fag kan publiseringspresset ha spesielt uheldige konsekvenser. I artikkelen «Publish and Perish» i The Point, hevder Agnes Callard at det fører til at den filosofiske forskningen blir mer og mer irrelevant for en interessert leser. I en teknisk forstand er forskningen som publiseres bedre nå enn før, men den svarer ikke lenger på interessante problemstillinger på en tilgjengelig måte. Det reduserer også sjansen for at store, nye ideer publiseres. Callard sliter med å finne eksempler på filosofer som kommer med banebrytende nye ideer som er født etter 1950. Av filosofer født i tiårene før, finner vi Daniel Dennett, Saul Kripke, David Lewis, Derek Parfit, John McDowell, Peter Singer, G. A. Cohen og Martha Nussbaum. Går vi enda to tiår tilbake finner vi Elizabeth Anscombe, Philippa Foot, Stanley Cavell, Harry Frankfurt, Bernard Williams, Thomas Nagel, Robert Nozick, Richard Rorty, Hilary Putnam og John Rawls. Alle navnene er ikke bredt kjent i offentligheten, men de er alle tenkere som fortsatt former faget, og som har staket ut nye, brede retninger for filosofien. Det er mange flere filosofer nå, men verkene som produseres har ikke samme tyngde og flora av ideer.

Lav kvalitet er én mulig konsekvens av publiseringspresset. Juks er et annet. Du har de spesielt grove tilfellene, som den norske legen Jon Sudby, som gjennom karrieren fabrikkerte data for å oppnå publiseringsverdige resultater. Den samme insentivstrukturen sies å forklare problematiske forskningspraksiser, som såkalt p-hacking. P-hacking består i å fiske etter statistisk signifikante resultater ved å kjøre mange analyser og velge seg de signifikante resultatene en finner. Kjører man nok analyser, vil man nemlig iblant tilfeldig støte på resultater som fremstår som statistisk signifikante. Slik kan man få publiseringsvennlige resultater, men det gjør også p-verdiene, som brukes for å si noe om hvor sannsynlig det er at et resultat er tilfeldig, meningsløse. P-hacking og andre tvilsomme forskningspraksiser kan forklare hvorfor en stor andel av forskningsresultater ikke holder når uavhengige forskere forsøker å reprodusere dem.

For ti år siden tok Brian Nosek initiativ til «The Reproducibility Project». Han inviterte 270 forskere til å reprodusere 100 studier publisert i tre av de største tidsskriftene i psykologi. Bare i 36 av studiene greide forskerne å reprodusere studiene og selv der en fant sammenhenger var effektstørrelsene halvparten så store. Også i resten av samfunnsforskningen, så vel som i medisin og biologi, sliter forskere med å reprodusere andres funn. En forskningsgjennomgang av prekliniske studier i medisin fra 2015 anslo at mangelen på reproduserbare forskningsfunn fører til et årlig tap på 28 milliarder dollar.

Det er vanskelig å fastslå hvor mye av problemet med gode og dårlige forskningspraksiser skyldes NPM. Det er likevel grunn til å tro at insentivstrukturen i akademia bidrar i negativ retning. Jo viktigere gode publikasjoner blir, jo mer innsats rettes mot å publisere artikler som tidsskriftene er villig til å publisere, koste hva det koste vil. Det følger også av Campbells lov, som sier at desto større vekt man legger på én indikator, jo mer av innsatsen rettes mot å skåre høyt på den indikatoren – og jo mer villig blir man til å ta i bruk tvilsomme metoder for å nå målet.

På den annen side ser det ut som om akademia er i ferd med å korrigere egne feil på dette punktet: Deling av data og informasjon om hvordan analysene er gjennomført er i ferd med å bli normen, og er ofte et krav for å publisere i flere av de beste tidsskriftene. Blant annet som følge av dette er reproduksjon av andres forskning nå mer utbredt og slike studier blir både publisert og får mer oppmerksomhet enn de gjorde før. Det er også vanligere å registrere forskningen på forhånd, noe som reduserer sjansen for p-hacking. Så gjenstår det å se om juksemakerne finner nye teknikker for å omgå disse forsvarsverkene.

Et mer subtilt problem er at usikkerheten som kommer med de midlertidige stillingene kan gjøre at forskere velger bort banebrytende forskning. For meg som fortsatt er tidlig i karrieren og må søke jobber hvert andre eller tredje år, lønner det seg å velge prosjekter som jeg er rimelig sikker på at jeg greier å gjennomføre. Jeg bør selvfølgelig forsøke å gjøre så godt arbeid som jeg kan, men jeg bør ikke forsøke meg på noe for ambisiøst eller nyskapende. Slike prosjekter kan nemlig fort ende opp i ingenting, og den risikoen bør jeg ikke ta om jeg skal kunne fortsette i akademia. Midlertidighet gjør det også krevende for forskere å sette seg inn i nye felt. Selv om jeg blir overbevist om at jeg bør ta en ny retning i forskningskarrieren, er ikke det et klokt valg Jeg rekker neppe å publisere noe på et slikt nytt felt før jeg igjen må kunne vinne en ansettelsesprosess der publikasjoner er alt.

I mange tilfeller kan det være rimelig at folk ikke tar for stor risiko. Det er ikke alle som bør lese seg opp på et nytt felt fordi de tror det er her gullet ligger begravet. Det er heller ikke dumt om folk velger seg prosjekter de tror de kan gjennomføre innen rimelig tid.

Men hvorvidt det er bra at alle tenker på denne måten eller ikke, avhenger av vårt syn på forskning. Forskning er ment å avdekke mer kunnskap, gjerne om de mest grunnleggende bestanddeler og de virkelige driverne som ligger bak verden slik den fremstår for oss. Oppnås dette best ved små, marginale forbedringer, eller trenger vi ambisiøse og revolusjonære ideer? Hvis vi tror kunnskap utvikler seg best gjennom marginale forbedringer, er det ikke sikkert insentivstrukturen i akademia er et stort problem. Men hvis vi tror vi trenger flere ambisiøse bidrag, virker den kanskje mot sin hensikt.

Alternativer
Mange forskere ønsker å kvitte seg med NPM, og bli frie – men glemmer at den gamle modellen også innebar klare hierarkier, monopolmakt og sin egen form for ufrihet. Det er lett å kritisere NPM, men det er vanskeligere å komme opp med bedre styringsmodeller. Bør vi kutte ut mål- og resultatstyring, finansiering for resultater, ekstern finansiering av forskning eller å ansette kandidatene med de beste publikasjonene?

Et endringsforslag må gi et godt svar på hvordan en skal bevare forskningsfellesskapets mange funksjoner. Forskningens primære funksjon er nyskapingsfunksjonen: å komme med nye og bedre forklaringer. Vi må derfor organisere et økosystem som stimulerer til å skape nye og bedre forklaringer.

Problemet er at det er lettere å komme opp med nye forklaringer enn å komme opp med gode forklaringer som faktisk forklarer fenomenene vi er interessert i. Derfor trenger forskerfellesskapet en rekke kontrollfunksjoner. Kritisk testing av andres ideer er nødvendig for å sikre at forklaringene faktisk stemmer overens med det vi vet om fenomenene som forklares.

En tredje funksjon er spredningen av ny kunnskap. Når ny innsikt skapes, bør den kommuniseres til så mange som mulig, også innenfor andre felt og innenfor andre samfunnssfærer.

Til slutt spiller forskning en viktig rolle i å sertifisere folk som kompetente kjennere av et fagfelt. Denne sertifiseringsfunksjonen er nødvendig innenfor akademia. Gode publiseringer på et fagfelt gjør en mer skikket til å få jobber og finansiering. Men den er også sentral utenfor. En doktorgrad eller en professortittel fungerer som et signal til offentligheten om at vi kan stole på at de vet hva de snakker om og at de uttaler seg på vegne av denne kompetansen og ikke på grunn av bindinger og særinteresser. Det gir ekstra tyngde i debatter, i offentlige utredninger og som eksperter på andre områder.

Forslag til nye styringsformer må derfor gi overbevisende svar på hvordan vi skal stimulere til ny kunnskap, en troverdig kvalitetssikring av forskning, spredning av kunnskap og sertifisere kunnskapsbærere.

Prediksjonsmarked for forskning
En lite kjent del av reproduksjons-prosjektet som jeg omtalte ovenfor, gir meg håp om at vi kan finne bedre måter å gjøre dette på enn i dag. I 2015 kom Anna Dreber ved Stockholm School of Economics opp med en kreativ idé: å lage et prediksjons-marked for å fange opp forskeres syn på hvilke studier som er troverdige. Dreber og kollegaer i Social Sciences Replication Project inviterte 206 forskere til å delta. Forskerne fikk 100 dollar som de kunne bruke til å kjøpe «aksjer» i studier de trodde kunne reproduseres. De fikk velge mellom 21 samfunnsvitenskapelige studier publisert i de prestisjetunge tidsskriftene Science og Nature. Prisen på studiene var opprinnelig 0,5 dollar, men studiene som forskerne hadde tro på, steg i tråd med at forskerne kjøpte dem, mens studiene forskerne ikke hadde tro på, sank i verdi. Hvis prisen på en studie gikk til 0,7 dollar betyr det at forskerne forventet at det var en 70 prosent sjanse for at resultatene i studiene ville reproduseres.

Resultatet av prediksjonsmarkedet viste at forskerne forventet at 62 prosent av studiene ville reproduseres. Da de forsøkte å reprodusere de 21 studiene var resultatet bemerkelsesverdig presist. Forventningen viste seg å stemme med en feilmargin på 1 prosentpoeng! Forskerne var også treffsikre når det kom til individuelle studier. Studiene som fikk sine resultater reprodusert, var mye mer populære i prediksjonsmarkedet enn de studiene som feilet.

Det antyder at forskere vet mer enn det som fremkommer av publiserte funn. Forskere vet at en studie er «for god til å være sann», er kjøpt og betalt av særinteresser, eller kommer med påstander som ikke har en troverdig forklaring. Problemet med dagens system, er at dette forblir taus kunnskap som ikke i tilstrekkelig grad fremkommer av den publiserte litteraturen.

Denne tause kunnskapen er vanskelig å benytte innenfor et system som NPM, som vil ha målbare indikatorer. Dessuten bygger taus kunnskap også ofte på personlige relasjoner – som NPM forsøker å styre unna for å unngå nepotisme. Men kanskje kan denne tause kunnskapen utnyttes i utviklingen av nye styringsmodeller for akademia? – som altså må bidra til både nye forskningsideer, kvalitetssikringen av nye funn og i spredningen av den kollektive visdommen.

For ideens skyld kunne vi sett for oss et system som ligner mer på hvordan internettforum som Reddit fungerer: Der kan alle publisere innlegg, men innlegg som andre brukere setter mer pris på, får flere positive stemmer og innlegg brukere ikke liker, får negative stemmer. Innlegg som får positive stemmer gir brukeren karma-poeng som viser resten av Reddit-fellesskapet at dette er en verdsatt bidragsyter.

Likeledes kan vi se for oss et system hvor forskere publiserer en artikkel og andre forskere kan stemme artikkelen opp eller ned alt ettersom de mener den er troverdig og gir et konstruktivt bidrag til litteraturen. Det å stemme opp artikkelen vil være en offentlig aktivitet og regnes som å stå inne for artikkelens kvalitet. Kanskje et slikt troverdighets-system kunne ta over for tidsskriftenes fagfellevurderinger? De spiller uansett en mindre og mindre rolle i mange fagfelt, hvor man i stedet deler artikler på open access-sider uten at de har gjennomgått fagfellevurdering først. Det som avgjør om artiklene anses for å være troverdige bidrag til forskningslitteraturen eller ikke, er om ideene tas i bruk av forskerfellesskapet, ikke om et par anonyme fagfeller og en tidsskriftredaktør vurderer artikkelen til å være god nok. Troverdighets-systemet kunne supplert dette systemet og gitt en mer gjennomsiktig vurdering av de enkelte bidragene, som kunne vært viktig også for forskningsjournalister og andre interesserte som gjerne vil få en oversikt over forskningsfeltet og vite hvilke forskere som regnes for å være mest troverdige.

Systemet kunne selvfølgelig også vært brukt til å rangere kandidater ved ansettelser og søknader om ekstern finansiering. For ikke å snakke om at systemet ville gitt et uvurderlig datagrunnlag for å analysere forskernettverk, kunnskapssosiologiske endringer, så vel som reelle gjennombrudd i ulike fagfelt.

Det er selvfølgelig en rekke problemer med dette systemet. Den største fordelen med systemet er også dets største problem, nemlig at det baserer seg på én indikator. Det øker risikoen for at relevant informasjon ikke inkluderes og at mange vil forsøke å jukse seg til høyere skår. Det er også sårbart for gruppetenkning: Kanskje er den beste artikkelen den som går i mot majoritetens syn. Mange vil beskylde et slikt system for å være mer NPM enn det eksisterende systemet.

Poenget jeg forsøker å få fram, er at vi trenger kreativ tenkning rundt hvordan vi kan utnytte den kollektive kunnskapen i forskerfellesskapet. Ingen systemer vil være perfekte. Dagens system produserer mer forskning, men kommer med et utall problemer, og vi vet ikke egentlig om forskningen er bedre, og ikke minst, viktigere, enn før. Vi kan endre finansierings- og rapporteringssystemer så mye vi vil. Men det som virkelig driver atferden i akademia, på godt og vondt, er kriteriene som brukes for å vurdere kvaliteten på forskerne, i og utenfor ansettelsesprosesser og søknadsrunder. Og bak NPMs mange indikatorer virker det som forskere fortsatt har klare, konsistente og ofte omforente oppfatninger om hvilken forskning som faktisk er god og betydningsfull.