foa
Forum
for offentlige anskaffelser

HjemKOFA-basenKOFA 2022/1657

KOFA-AVGJØRELSE

KOFA 2022/1657: Lovlig tildelingskriterium – internrevisjon

Saksnummer
2022/1657
Avgjort
2023-01-24
Kunngjort
2022-09-23
Innklaget
Boligbygg Oslo KF
Klager
KPMG AS
Regelverk
FOA 2017
Sakstype
Klage på tildeling – ulovlig tildelingskriterium og ulovlig evaluering
Anskaffelsens verdi
Estimert mellom 1,5 og 2 millioner kroner ekskl. mva. per år
Art
Tjeneste
Prosedyre
Åpen anbudskonkurranse
Terskelverdi
Over EØS-terskel
KOFA fant at tildelingskriteriet «Oppdragsforståelse» i en konkurranse om internrevisjonstjenester var lovlig utformet. Det var tilstrekkelig klart at eksempel på revisjonsrapport skulle ha tekstinnhold, og trekk for manglende tekst var derfor i tråd med regelverket. Boligbygg Oslo KF ble frifunnet.
Hovedspørsmål
Var tildelingskriteriet «Oppdragsforståelse», herunder krav om innlevering av eksempel på revisjonsrapport, tilstrekkelig klart utformet? Var evalueringen av klagers eksempelrapport i samsvar med regelverket?

Faktum

Boligbygg Oslo KF kunngjorde 23. september 2022 en åpen anbudskonkurranse for inngåelse av en rammeavtale om internrevisjonstjenester med estimert verdi mellom 1,5 og 2 millioner kroner ekskl. mva. per år. Rammeavtalen hadde en varighet på to år med opsjon på forlengelse i ytterligere 1 + 1 år. Tildelingskriteriene var pris (30 %), oppdragsforståelse (30 %) og erfaring og kompetanse på tilbudt team (40 %). Under kriteriet «Oppdragsforståelse» skulle leverandørene levere et forslag til revisjonsplan for år 1 samt et eksempel på en revisjonsrapport. Innklagede mottok tilbud fra KPMG AS og Deloitte AS. I tildelingsmeddelelsen fikk KPMG AS et vesentlig trekk under «Oppdragsforståelse» fordi eksempelrapporten manglet tekstinnhold og bare viste rapportens mal og struktur. KPMG AS klaget og anførte at tildelingskriteriet var ulovlig uklart, og at evalueringen av eksempelrapporten var vilkårlig.

KOFAs vurdering

1. Klarhetskravet for tildelingskriterier – lovligheten av «Oppdragsforståelse»
Rettsregel: Tildelingskriterier skal ha tilknytning til leveransen, jf. FOA 2017 § 18-1 (4), og utformes på en klar og utvetydig måte, slik at en normalt påpasselig leverandør gis tilstrekkelig informasjon om hvilke egenskaper som er relevante, jf. LOA 2017 § 4 og EU-domstolens sak C-19/00 SIAC Construction. KOFAs tolkning: Klarhetskravet innebærer ikke at alle evalueringsmomentene må være uttømmende listet opp, men at leverandøren skal kunne identifisere hvilke egenskaper ved ytelsen som vil bli vurdert. Avgjørende faktum: Konkurransegrunnlaget beskrev at revisjonsplanen skulle inneholde bakgrunn for revisjonsprosjekt, gjennomføring, estimert omfang, metode, arbeidsprosess, samarbeidsarena og rapporteringsform. For eksempelrapporten var det ikke nærmere presisert innhold. KOFA la til grunn at KPMG selv begrunnet valget av en innholdsfri mal med ønsket om å vise rapportens oppbygging og visuelle profil – momenter som overlapper med det revisjonsplanen allerede skulle dekke. Dersom eksempelrapporten bare skulle vise disse forholdene, ville den ikke gi oppdragsgiver ytterligere informasjon. Delkonklusjon: Det var «klart at eksempelet på revisjonsrapport skulle ha tekstinnhold»; kriteriet var ikke ulovlig uklart.

2. Tilknytning til leveransen – relevant å evaluere eksempelrapport
Rettsregel: Tildelingskriteriet må ha tilknytning til den aktuelle anskaffelsen, jf. FOA 2017 § 18-1 (4). KOFAs tolkning: Et eksempel på revisjonsrapport med reelt tekstinnhold gir oppdragsgiver et bredere grunnlag for å vurdere leverandørens «formidlingsevne, detaljeringsgrad og hvordan forklarende virkemidler vil fungere i praksis». Avgjørende faktum: Formålet med anskaffelsen var å forbedre effektiviteten i oppdragsgivers prosesser på en systematisk og strukturert måte, og rapportering er en sentral del av internrevisjonstjenester. Delkonklusjon: Denne delen av tildelingskriteriet hadde den nødvendige tilknytning til leveransen; klagers anførsel om det motsatte ble ikke tatt til følge.

3. Lovligheten av evalueringen – trekk for manglende tekstinnhold
Rettsregel: Evalueringen skal skje i samsvar med de kunngjorte tildelingskriteriene og i tråd med forutberegnelighetsprinsippet i LOA 2017 § 4. KOFAs tolkning: Når det er klart at eksempelrapporten skulle ha tekstinnhold, er det ikke i strid med regelverket å gi trekk for at dette manglet. Avgjørende faktum: Innklagede ga KPMG et vesentlig trekk fordi eksempelrapporten ikke hadde tekstinnhold, noe som vanskeliggjorde evaluering av leservennlighet og pedagogikk. Delkonklusjon: Evalueringen var i samsvar med regelverket.

Konklusjon

Klagenemnda fant at tildelingskriteriet «Oppdragsforståelse» var lovlig utformet og hadde nødvendig tilknytning til leveransen etter FOA 2017 § 18-1 (4). Det var tilstrekkelig klart at eksempel på revisjonsrapport skulle inneholde tekst, og innklagedes trekk for manglende tekstinnhold var i overensstemmelse med det kunngjorte evalueringsregimet. Boligbygg Oslo KF hadde ikke brutt regelverket for offentlige anskaffelser.

Praktisk betydning

Avgjørelsen illustrerer at oppdragsgivere ikke er forpliktet til å liste opp alle evalueringsmomenter uttømmende i konkurransegrunnlaget, så lenge en normalt påpasselig leverandør kan utlede hvilke egenskaper som er relevante. Der dokumentasjonskravet fremstår som overlappende med andre innleveringsplikter dersom det tolkes innskrenkende, kan det tale for at en mer fullstendig versjon er etterspurt. Avgjørelsen viser videre at eksempelrapporter – der de er oppstilt som tildelingsdokumentasjon – lovlig kan evalueres på innholdskvalitet, herunder formidlingsevne og pedagogikk, når dette knytter seg til tjenestens kjerne. Manglende tekstinnhold i en slik rapport kan legitimt gi evalueringsmessig trekk.

Hele KOFA-avgj\u00f8relsen (klikk for \u00e5 skjule)

Saken gjelder:

Ulovlig tildelingskriterium

Innklagede gjennomførte en åpen anbudskonkurranse for inngåelse av en rammeavtale om internrevisjonstjenester. Klagenemnda kom til at tildelingskriteriet «Oppdragsforståelse» var lovlig, og at innklagede heller ikke hadde brutt regelverket ved tilbudsevalueringen. Klagenemndas avgjørelse 24. januar 2023 i sak 2022/1657 Klager:

Innklaget:

Boligbygg Oslo KF

Klagenemndas medlemmer:

Finn Arnesen, Karin Fløistad og Sverre Nyhus

Bakgrunn:

Boligbygg Oslo KF (heretter innklagede) kunngjorde 23. september 2022 en åpen anbudskonkurranse for inngåelse av en rammeavtale om internrevisjonstjenester. Tilbudsfristen var 31. oktober 2022. Anskaffelsens estimerte verdi var mellom 1,5 og 2 millioner kroner ekskl. mva. per år. Rammeavtalen ville ha en varighet på to år, med opsjon på forlengelse i ytterligere 1 + 1 år.

I konkurransegrunnlaget var formålet med anskaffelsen beskrevet slik: «Internrevisjon skal bidra til at Boligbygg Oslo KF oppnår sine målsettinger ved å benytte en systematisk og strukturert metode for å evaluere og forbedre effektiviteten og hensiktsmessigheten av organisasjonens prosesser for risikostyring, styring og kontroll og governance.»

Tildelingen ville basere seg på hvilket tilbud som hadde det beste forholdet mellom pris og kvalitet, basert på følgende kriterier: Kriterium

Dokumentasjonskrav

Ferdig utfylt SSA – R bilag 5.

Oppdragsforståelse

Kvalitet herunder;

Revisjonsplan

Revisjonsrapport

CV for tilbudt team.

www.klagenemndssekretariatet.no

Erfaring og kompetanse på tilbudt team

Tildelingskriteriet «Oppdragsforståelse» var videre beskrevet slik: «Tilbyder skal levere et forslag til revisjonsplan år 1 basert på kunnskap om Boligbygg Oslo KF, offentlig tilgjengelig informasjon og internrevisjon generelt. Følgende momenter blir særlig vektlagt i planen: - bakgrunn for valg av revisjonsprosjekt - hvordan revisjonen skal gjennomføres - estimert omfang per prosjekt (tid og kostnad) - metode - arbeidsprosess - samarbeidsarena - rapporteringsform Revisjonsplanen skal skrives i word – format på maks 10 A4 sider, skriftstørrelse 10, skrifttype Times New Roman og enkel linjeavstand 1,0. Revisjonsplanen skal inkludere eventuelle bilder, tabeller, figurer o.l. Plan som overskrider 10 A4 sider eller ikke følger de kravene som er satt vil få trekk i evalueringen. I tillegg til overnevnt revisjonsplan skal det legges ved et eksempel på revisjonsrapport.»

Innen tilbudsfristen mottok innklagede tilbud fra KPMG AS (heretter klager) og Deloitte AS (heretter valgte leverandør).

I tildelingsmeddelelsen var det gitt følgende sammenstilling av uttellingen på tildelingskriteriene:

Det ble angitt følgende om evalueringen under tildelingskriteriet «Oppdragsforståelse»: «KPMG har fått 8,40 poeng og rangering som nr. 2 på tildelingskriteriet «oppdragsforståelse». Innlevert revisjonsplan belyser momentene nevnt i konkurransegrunnlaget godt. Etter Bolibygg sin vurdering er innlevert eksempel på revisjonsrapport mangelfull da den ikke har tekstinnhold, og kun gir en oversikt på struktur og oppbygging for rapport (mal). Fravær av tekstinnhold har gitt utfordringer

med å evaluere om rapporten er leservennlig/pedagogisk og det gis et vesentlig trekk i poeng for dette.»

Klagen ble brakt inn for Klagenemnda for offentlige anskaffelser 2. desember 2022.

Innklagede har opplyst at kontraktsinngåelse vil avventes til klagenemnda har behandlet saken.

(10) Nemndsmøte i saken ble avholdt 23. januar 2023. Anførsler: Klager har i det vesentlige anført:

(11) Innklagede har brutt regelverket ved evalueringen av klagers eksempel på revisjonsrapport under tildelingskriteriet «Oppgaveforståelse». Klager leverte et kundetilpasset eksempel, med den hensikt å vise hva som kan forventes ved kontraktstildeling, herunder rapportens oppbygging, visuelle profil, hoved- og underoverskrifter, forklarende figurer og fargekoder. Innholdet er inntatt for å demonstrere det grafiske utseende før den endelige teksten er klargjort. Det fremstår vilkårlig at klagers tilbud har fått et vesentlig trekk under henvisning til fravær av tekstinnhold og at dette skal ha gjort eksempelet lite leservennlig/pedagogisk.

(12) Tildelingskriteriet «Oppgaveforståelse» er ulovlig, da det er uklart hva som ville bli vektlagt i evalueringen. I beskrivelsen av tildelingskriteriet er det for dokumentasjonskravet om revisjonsrapport, kun angitt at det skal leveres «et eksempel på revisjonsrapport». Det er ikke oppstilt krav til eksempelets innhold, eller angitt noe om hva som vil bli vektlagt i evalueringen av eksempelet. Det kan uansett ikke innfortolkes at innklagede har etterspurt et eksempel på revisjonsrapport med tekstinnhold, som er det klager har fått trekk for ikke å ha medtatt. Det nærmere tekstinnholdet vil avhenge av det enkelte tilfellet, og det vil ikke gi innklagede nevneverdig verdi å se hva som er skrevet i rapporter til andre kunder.

(13) Feilen kan ikke rettes på annen måte enn avlysning. Innklagede har i det vesentlige anført:

(14) Innklagede har formulert tildelingskriteriet «Oppdragsforståelse» tilstrekkelig klart i konkurransegrunnlaget, jf. forutberegnelighetsprinsippet i loven § 4 og forskriften § 14-1 (5). En naturlig forståelse av at det skulle legges ved et eksempel på en revisjonsrapport, må være at det ble etterspurt en fullstendig rapport, ikke kun en mal.

(15) Dersom innklagede har stilt et ulovlig tildelingskriterium, har ikke dette påvirket deltakerinteressen eller utfallet av konkurransen. Det foreligger derfor ikke avlysningsplikt. Dersom vurderinger knyttet til innleverte revisjonsrapporter fjernes fra tildelingskriteriet, vil ikke det endre rangeringen eller utfallet av konkurransen. Hverken klager eller andre interessenter har stilt spørsmål knyttet til dokumentasjonen eller evalueringen av det aktuelle tildelingskriteriet. Det er derfor ikke sannsynlig at feilen har påvirket deltakelsen i konkurransen.

(16) Innklagedes evaluering under tildelingskriteriet «Oppdragsforståelse» er ikke foretatt i strid med forutberegnelighetsprinsippet i loven § 4. I evalueringen vektla innklagede eksempelrapportenes leservennlighet og pedagogikk, hvor klart språk og forklarende

virkemidler (slik som figurer, tabeller, fargekoder og godt sammendrag) var av betydning. Det ble også vurdert om rapporten var oversiktlig med passende detaljeringsgrad, som ikke overskygget revisjonens overordnede funn og vurderinger. En eksempelrapport viser hvordan leverandørene vil løse oppgavene anskaffelsen gjelder. Dette er et forhold som kunne utledes fra tildelingskriteriet. Klagenemndas vurdering:

(17) Klager har deltatt i konkurransen, og har saklig klageinteresse, jf. forskrift om klagenemnd for offentlige anskaffelser § 6. Klagen er rettidig. Konkurransen gjelder en rammeavtale om internrevisjonstjenester. I tillegg til lov om offentlige anskaffelser 17. juni 2016 nr. 73 følger anskaffelsen forskrift om offentlige anskaffelser 12. august 2016 nr. 974 del I og del III, jf. forskriften §§ 5-1 og 5-3.

(18) Klagenemnda skal ta stilling til om tildelingskriteriet «Oppdragsforståelse» er ulovlig.

(19) Det følger av forskriften § 18-1 (4) at tildelingskriteriene skal ha tilknytning til leveransen. Tildelingskriteriene skal videre utformes på en klar og utvetydig måte, slik det fremgår av en rekke saker fra EU-domstolens praksis, blant annet sak C-19/00 SIAC Construction. Dette klarhetskravet innebærer at tildelingskriteriene skal gi en normalt påpasselig leverandør tilstrekkelig informasjon om hvilke egenskaper som er relevante i bedømmelsen av kriteriet, jf. de grunnleggende prinsippene om konkurranse, likebehandling og forutberegnelighet i loven § 4.

(20) Evalueringen under tildelingskriteriet «Oppgaveforståelse» skulle baseres på leverandørenes forslag til revisjonsplan år 1, og et innlevert eksempel på en revisjonsrapport.

(21) Revisjonsplanen skulle inneholde bakgrunnen for valg av revisjonsprosjekt, hvordan revisjonen skulle gjennomføres, estimert omfang per prosjekt, metode, arbeidsprosess, samarbeidsarena og rapporteringsform. Revisjonsplanen skulle også inneholde eventuelle bilder, tabeller, figurer og lignende.

(22) Det var ikke nærmere presisert hva eksempelet på en revisjonsrapport skulle inneholde. Klagenemnda er imidlertid ikke enig med klager i at det var uklart at det skulle leveres et eksempel med tekstinnhold. Bakgrunnen for at klager leverte en revisjonsrapport uten tekstinnhold, var å vise hva som kunne forventes ved kontraktstildeling, herunder rapportens oppbygging, visuelle profil, hoved- og underoverskrifter, forklarende figurer og fargekoder. Med en slik forståelse ville ikke eksempelet på revisjonsrapport gi mer informasjon enn det som var angitt at revisjonsplanen skulle inneholde.

(23) Klager mener videre at det ikke vil gi innklagede nevneverdig verdi å se hva som er skrevet i rapporter til andre kunder. Klagenemnda forstår innvendingen slik at klager mener at denne delen av tildelingskriteriet derfor ikke har tilknytning til leveransen, jf. forskriften § 18-1 (4).

(24) Klagenemnda er ikke enig i dette. Et eksempel på en revisjonsrapport er egnet til å vise noe mer om leverandørens oppgaveforståelse enn revisjonsplanen, nettopp gjennom tekstinnholdet. Formålet med anskaffelsen er å forbedre effektiviteten og hensiktsmessigheten av oppdragsgivers prosesser på en systematisk og strukturert måte. En revisjonsrapport med tekstinnhold gir oppdragsgiver et bredere grunnlag for å vurdere leverandørens formidlingsevne, detaljeringsgrad og hvordan forklarende virkemidler vil

fungere i praksis. Nemnda er derfor av den oppfatning at denne delen av tildelingskriteriet hadde den nødvendige tilknytningen til leveransen.

(25) Innklagede har etter dette ikke brutt regelverket ved å oppstille et ulovlig tildelingskriterium.

(26) Klager har også anført at innklagede har brutt regelverket ved evalueringen av klagers eksempel på revisjonsrapport under tildelingskriteriet «Oppgaveforståelse».

(27) Ettersom klagenemnda mener det var klart at eksempelet på revisjonsrapport skulle ha tekstinnhold, utgjør det ikke et brudd på regelverket at innklagede har gitt trekk for at dette manglet i klagers eksempel. Konklusjon: Boligbygg Oslo KF har ikke brutt regelverket for offentlige anskaffelser.

For Klagenemnda for offentlige anskaffelser,

Finn Arnesen

────────────────────────────────────────────────────────────

Refererte rettskilder

  • LOA 2017 § 4 — Grunnleggende prinsipper om konkurranse, likebehandling og forutberegnelighet; anvendt som overordnet tolkningsramme for klarhetskravet
  • FOA 2017 § 5-1 — Hjemmel for at anskaffelsen følger FOA 2017 del I og del III
  • FOA 2017 § 5-3 — Hjemmel for at anskaffelsen følger FOA 2017 del I og del III
  • FOA 2017 § 14-1 — Krav til utforming av tildelingskriterier – klarhet og utvetydighet; påberopt av innklagede
  • FOA 2017 § 18-1 — Tildelingskriterier skal ha tilknytning til leveransen; sentralt vurderingstema for nemnda
  • FOA 2017 § 6 — Forskrift om klagenemnd for offentlige anskaffelser § 6 – klageinteresse; klager anerkjent som part
  • C-19/00 (SIAC Construction) — EU-domstolens praksis om klarhetskravet for tildelingskriterier; sitert av KOFA som rettslig grunnlag

Lignende saker

KOFA 2024/813
KOFA 2024/813: Tilhengere FLO – priskriterium lovlig
Forsvarets logistikkorganisasjon kunngjorde en åpen anbudskonkurranse om rammeavtale for kjøp og vedlikehold av tilhengere. Klager anførte...
KOFA 2023/269
KOFA 2023/269: Reisekostnader i prisskjema – klart nok
Klagenemnda for offentlige anskaffelser fant at Stad kommunes prisskjema for reisekostnader i en rammeavtalekonkurranse for plan- og...
KOFA 2025/0205
KOFA 2025/0205: Ordgrense i tildelingskriterium – Oslobygg KF
KOFA fant at Oslobygg KF brøt prinsippene om likebehandling og forutberegnelighet da valgte leverandør fikk full uttelling på...
KOFA 2025/1674
KOFA 2025/1674: Lovlige tildelingskriterier – rørtjenester
KOFA 2025/1674 gjaldt spørsmålet om Tønsberg kommune hadde utformet ulovlige tildelingskriterier ved å innta krav i kravspesifikasjonen som...
KOFA 2023/1018
KOFA 2023/1018: Ulovlig tildelingskriterium – avlysningsplikt
Klagenemnda fant at Renovasjonen IKS hadde brutt regelverket ved å benytte et ulovlig tildelingskriterium i en konkurranse om rammeavtale...
KOFA 2023/0601
KOFA 2023/0601 – Ulovlig poengfradrag for manglende CV-er
KOFA fant at Hitra kommune brøt anskaffelsesregelverket da kommunen trakk FVS Entreprenør AS i poeng under tildelingskriteriet kvalitet,...
KOFA 2024/1990
KOFA 2024/1990: Uklart tildelingskriterium krevde avlysning
Oslo kommune v/ Kulturetaten kunngjorde i juni 2024 en åpen anbudskonkurranse for rammeavtale om sammensatte håndverkertjenester til...
KOFA 2023/1196
KOFA 2023/1196 – Vaskeritjenester: varighet og prismodell
Klagenemnda for offentlige anskaffelser gav ikke medhold i klage fra Rent-Gruppen AS mot Forsvarets logistikkorganisasjon. Nemnda fant at to...

Ofte stilte spørsmål

Hva betyr klarhetskravet for tildelingskriterier etter FOA 2017?
Klarhetskravet innebærer at tildelingskriteriene skal gi en normalt påpasselig leverandør tilstrekkelig informasjon om hvilke egenskaper ved ytelsen som er relevante i evalueringen. Det er ikke et krav om uttømmende opplisting av alle evalueringsmomenter, men kriteriene må ikke være villedende eller tvetydige. Kravet er forankret i LOA 2017 § 4 og utdypet gjennom EU-domstolens praksis, herunder sak C-19/00 SIAC Construction.
Kan oppdragsgiver lovlig be om eksempel på rapport som tildelingsdokumentasjon?
Ja, forutsatt at eksempelet har tilknytning til leveransen, jf. FOA 2017 § 18-1 (4). I KOFA-sak 2022/1657 fastslo klagenemnda at en eksempelrapport med tekstinnhold er egnet til å belyse leverandørens formidlingsevne, detaljeringsgrad og bruk av forklarende virkemidler, noe som knytter seg direkte til kjernen i internrevisjonstjenester.
Kan en leverandør få evalueringsmessig trekk for å levere en rapportmal uten tekstinnhold?
I KOFA-sak 2022/1657 ble det lagt til grunn at det var tilstrekkelig klart fra konkurransegrunnlaget at eksempel på revisjonsrapport skulle ha tekstinnhold. På det grunnlaget fant klagenemnda at trekk for manglende tekstinnhold var i samsvar med regelverket. Utfallet vil bero på en konkret tolkning av det aktuelle konkurransegrunnlaget i den enkelte anskaffelse.
Dette er et søkeverktøy for å finne og forstå KOFA-praksis. Sammendraget er AI-generert på grunnlag av KOFAs egen avgjørelsestekst (gjengitt i sin helhet over). Det erstatter ikke juridisk vurdering av konkrete saker.
Laster...