foa
Forum
for offentlige anskaffelser

HjemKOFA-basenKOFA 2020/911

KOFA-AVGJØRELSE

KOFA 2020/911: Feil evaluering av referanseprosjekter

Saksnummer
2020/911
Avgjort
2021-01-15
Innklaget
Høgskulen i Volda
Klager
Netlife Design AS
Regelverk
FOA 2017
Sakstype
Klage på tildelingsevaluering
Anskaffelsens verdi
350 000 kroner, inkl. mva.
Art
Tjeneste
Prosedyre
Konkurranse etter FOA 2017 del I (tre inviterte leverandører)
Terskelverdi
Under nasjonal terskel
KOFA fant at Høgskulen i Volda brøt kravet til forutberegnelighet da den evaluerte tildelingskriteriet om tre referanseprosjekter ved kjøp av nettstedsutvikling. Evalueringen la avgjørende vekt på estetiske og designmessige forhold fremfor kompetanse i utvikling av innholdsforvaltningssystem (CMS), som var kjernen i anskaffelsen.
Hovedspørsmål
Hadde innklagede evaluert tildelingskriteriet «Tre referanseprosjekt» i samsvar med konkurransegrunnlagets egne føringer, eller ble det lagt vekt på forhold utenfor kriteriet slik det var definert?

Faktum

Høgskulen i Volda inviterte 31. august 2020 tre leverandører til å inngi tilbud i konkurranse etter FOA 2017 del I for anskaffelse av tjenester for utvikling av nettsted, opplæring i bruk av programvare og nettsted, samt support i tre år. Anskaffelsens estimerte verdi var 350 000 kroner inkl. mva., og tilbudsfristen var 28. september 2020. Tildelingskriteriene var «Tre referanseprosjekt (som har vore utvikla dei siste tre åra)» (40 %), «Kvalitet og oppdragsforståelse» (40 %) og «Pris» (20 %). I oppdragsspesifikasjonen ble referansekriteriet definert som seksjonens opplevelse av kvaliteten på tidligere prosjekter i forhold til egne behov. To leverandører innga tilbud: Netlife Design AS (klager) og Havnevik AS (valgte leverandør). Valgte leverandør fikk høyest totalpoengsum og fikk tildelt kontrakten. Etter innsyn i evalueringsmatrisen og etterfølgende korrespondanse fremgikk det at innklagede særlig hadde vektlagt estetiske og designmessige kvaliteter ved valgte leverandørs referanser, blant annet kreative assosiasjoner til faget kunst og håndverk. Klager anførte at evalueringen ikke tok tilstrekkelig høyde for at det sentrale i anskaffelsen var CMS-kompetanse og nettstedsutvikling.

KOFAs vurdering

1. Rammen for rettslig kontroll med tilbudsevalueringen (avsnitt 20). Rettsregel: Den rettslige kontrollen med oppdragsgivers evaluering av tilbud er begrenset. Det som kan prøves, er om innklagede har forholdt seg til tildelingskriteriene slik de er angitt i konkurransegrunnlaget, om tilbudenes innhold er korrekt fastlagt, og om skjønnsutøvelsen er «vilkårlig, sterkt urimelig eller for øvrig i strid med de grunnleggende prinsippene» i LOA 2017 § 4. KOFAs tolkning: Kontrollen er med andre ord begrenset til å sikre at evalueringen holder seg innenfor rammen som oppdragsgiver selv har trukket opp i konkurransegrunnlaget. Avgjørende faktum: Spørsmålet var om innklagede hadde forholdt seg til det innhold tildelingskriteriet var gitt i oppdragsspesifikasjonen. Delkonklusjon: KOFAs prøving knyttet seg til om evalueringen var i samsvar med kriteriet slik det var definert.

2. Hva tildelingskriteriet om referanseprosjekter krevde (avsnitt 21–22). Rettsregel: Tildelingsevalueringen må holde seg innenfor den rammen konkurransegrunnlaget setter, herunder de spesifikasjoner oppdragsgiver selv har gitt for hvordan et kriterium skal forstås. KOFAs tolkning: Kriteriet «tre referanseprosjekt» var i oppdragsspesifikasjonen definert som seksjonens opplevelse av «kvaliteten på tidlegare prosjekt i forhold til egne behov». Behovet slik det fremgikk av konkurransegrunnlaget, var ekstern kompetanse på utvikling av nettsted (CMS) og opplæring i bruken av dette. Selv om konkurransegrunnlaget etter en presisering også inkluderte utvikling av visuelt design, ble det samtidig understreket at innklagede selv hadde kompetanse på dette og ønsket samarbeid. Avgjørende faktum: Det som i hovedsak skulle anskaffes, var altså «utvikling av nettsted og opplæring i bruken av det». Delkonklusjon: Referanseprosjektene skulle vurderes mot dette primære behovet.

3. Samsvar mellom faktisk evaluering og kriteriet (avsnitt 23–24). Rettsregel: Avvik mellom det definerte kriteriet og den faktisk gjennomførte evalueringen utgjør brudd på forutberegnelighetsprinsippet. KOFAs tolkning: Det er «først og fremst det estetiske og designmessige» som hadde vært grunnlaget for at valgte leverandørs referanser ble vurdert som bedre. Klagenemnda «kan ikke se at referansene har blitt vurdert i lys av» behovet for kompetanse i utvikling av CMS, som var sentralt for anskaffelsen. Avgjørende faktum: Innklagedes begrunnelse knyttet seg til kreative assosiasjoner, layout, farge- og fontvalg og kommunikasjon av faget kunst og håndverk – ikke til dokumentert CMS- og nettstedsutviklingskompetanse. Delkonklusjon: Evalueringen var i strid med de føringene konkurransegrunnlaget ga for tildelingsevalueringen, og utgjorde brudd på kravet til forutberegnelighet.

Konklusjon

Klagenemnda konkluderte med at Høgskulen i Volda hadde brutt kravet til forutberegnelighet ved evalueringen av tildelingskriteriet «Tre referanseprosjekt (som har vore utvikla dei siste tre åra)». Bruddet ble ansett å kunne ha påvirket utfallet av konkurransen, og klager fikk klagegebyret tilbakebetalt i medhold av klagenemndsforskriften § 13.

Praktisk betydning

Avgjørelsen illustrerer at oppdragsgivere er bundet av de definisjoner og tolkningsanvisninger de selv gir for tildelingskriterier i konkurransegrunnlaget. Når et kriterium om referanseprosjekter er knyttet til anskaffelsens kjernebehov – her CMS-utvikling – kan ikke evalueringen forskyves mot andre egenskaper, slik som estetisk profil, selv om slike egenskaper kan oppfattes som relevante. Videre bekrefter avgjørelsen at KOFAs prøving av skjønnsutøvelse, selv om den er begrenset, vil gripe inn der evalueringen etter bevisst lesning av konkurransegrunnlaget åpenbart har vektlagt forhold utenfor kriteriet slik det er definert. Avgjørelsen gjelder en anskaffelse etter FOA 2017 del I, det vil si under nasjonal terskel, og viser at grunnleggende krav til forutberegnelighet gjelder fullt ut i dette segmentet.

Hele KOFA-avgj\u00f8relsen (klikk for \u00e5 skjule)

Saken gjelder:

Tildelingsevaluering.

Innklagede gjennomførte en anskaffelse etter forskriften del I for kjøp av tjenester for utvikling av nettsted, opplæring i bruk av programvare/nettsted, samt support i 3 år etter lansering av nettsted. Klagenemnda kom til at innklagede hadde handlet i strid med regelverket ved evalueringen av tildelingskriteriet «Tre referanseprosjekt (som har vore utvikla dei siste tre åra)». Klagenemndas avgjørelse 15. januar 2021 i sak 2020/911 Klager:

Netlife Design AS

Innklaget:

Høgskulen i Volda

Klagenemndas medlemmer:

Finn Arnesen, Kristian Jåtog Trygstad og Arnt Skjefstad

Bakgrunn:

Høgskulen i Volda (heretter innklagede) inviterte 31. august 2020 tre leverandører til å inngi tilbud i konkurranse etter forskriften del I for anskaffelse av tjenester for utvikling av nettsted, opplæring i bruk av programvare/nettsted, samt support i 3 år etter lansering av nettsted. Anskaffelsens estimerte verdi var 350 000 kroner, inkl. mva. Tilbudsfristen var 28. september 2020.

Av tilbudsinnbydelsen fremgikk følgende om anskaffelsen: «Seksjon for Design, kunst og handverk ved Avdeling for kulturfag skal utvikle ein nettstad (eit CMS) for ei felles ressursside for kunst- og handverksfaget i Norge. I

kravspesifikasjon om innhald, drift og mal for nettsida. Vi ynskjer eit totaltilbod fra dykk, inkl. mva, for utvikling av nettstad, opplæring i bruk av programvare/nettstad, samt support i 3 år etter at nettsida er lansert. I tillegg må tilbydar oppgje tre referanseprosjekt som har blitt utvikla dei siste tre åra.»

Det ble konkurrert om å levere tilbudet med det beste forholdet mellom pris og kvalitet. Tildelingskriteriene for kontrakten var i tilbudsinnbydelsen angitt i følgende prioriterte rekkefølge: «Tre referanseprosjekt (som har vore utvikla dei siste tre åra)» (40 prosent), «Kvalitet- og oppdragsforståelse, kort presentasjon av løysing» (40 prosent), og «Pris» (20 prosent).

Vedlagt tilbudsinnbydelsen, var en oppdragsspesifikasjon. Av denne fremgikk det følgende om tildelingskriteriet «Tre referanseprosjekt […]»:

www.klagenemndssekretariatet.no

«Med «tre referanseprosjekt» meiner vi korleis Seksjon for design, kunst og handverk opplever kvaliteten på tidlegare prosjekt i forhold til egne behov.»

Videre fremgikk det av oppdragsspesifikasjonen at «[v]isuell profil ligg ikkje inn i oppdraget slik det står no, men plassering av innhald og layout vil sjølvsagt bli vurdert. Dette ut frå lesbarheit og intuitiv struktur.»

Etter et spørsmål om konkurransegrunnlaget fra Netlife Design AS (heretter klager) ble følgende punkt inntatt i oppdragsbeskrivelsen: 

utvikling av det visuelle på nettstaden - enkelt og brukarnært design.

Nettsida khdele.no slik den står i dag ligg eit stykke unna det vi ønskjer som visuell profil. Vi ser føre oss eit enkelt design med få fargar og visuelle element anna enn det som er innhaldet på nettstaden. Samtidig bør der være eit design som kommuniserer faget Kunst og handverk. Seksjon for design, kunst og handverk har sjølve noko kompetanse på dette området og ønskjer å ha ei aktiv rolle i utviklinga av designet. Vi ser føre oss eit samarbeid.»

Innen tilbudsfristen mottok innklagede tilbud fra klager og Havnevik AS.

I Havneviks tilbud var det angitt tre referanseprosjekter under overskriften «Utvalgte referanser Web». Referanseprosjektene var angitt med en tittel, en kort angivelse av

Av e-post datert 14. oktober 2020, fremgikk det at innklagede hadde til hensikt å inngå kontrakt med Havnevik AS (heretter valgte leverandør). Det var gitt følgende begrunnelse for tildelingen: «Havnevik & Avento leverte det beste tilbodet basert på tildelingskriteriane som var oppgjeve i e-post datert 31.08.20. Dei får difor anbodet. Dette til orientering.»

(10) Klager etterspurte innsyn i vinnende tilbud, og innklagede sendte da en evalueringsmatrise til klager. Av denne fremgikk det at valgte leverandør hadde oppnådd 4 poeng (1,6 vektede poeng) under tildelingskriteriet «Tre referanseprosjekt […]». Klager fikk 3 poeng (1,2 vektede poeng) under dette tildelingskriteriet. Under tildelingskriteriet «Kvalitet og oppdragsforståelse» fikk valgte leverandør 4 poeng (1,6 vektede poeng). Klager fikk 3 poeng (1,2 vektede poeng). For tildelingskriteriet «Pris» fikk valgte leverandør 3,61 poeng (0,72 vektede poeng). Klager fikk 4 poeng (0,8 vektede poeng). Samlet fikk valgte leverandør 3,9 poeng. Klager fikk 3,2 poeng.

(11) Etter tildelingsbeslutningen, stilte klager blant annet spørsmål om hvorfor valgte leverandørs referanseprosjekter var vurdert som bedre enn klagers. Til dette svarte innklagede følgende: «I kravspesifikasjonen ber vi om et design som kan kommunisere faget Kunst og håndverk. Vi opplever Havneviks referanseprosjekt som nært det kunst- og håndverksfaglige, da de har en tydelig kreativ dimensjon. Referanseprosjektene framstår som enkle og har et intuitivt brukergrensesnitt. Samtidig har de et oppsett som bryter litt med det standardiserte, hvor layout, plassering bilde mot tekst, farge- og fontvalg samsvarer med Khdele sine behov. Khdele har et bredt faglig innhold, instruksjonsfilmer,

eksempeloppgaver og forskingsartikler i short- hand- format. Havneviks referanseprosjekter viser oss at det er mulig å tenke et enkelt, men likevel dynamisk oppsett framfor en mer tradisjonell kronologisk struktur. På ovennevnte punkt skilte Havnevik seg ut i forhold til den andre tilbyderen.»

(12) Klager påklaget etter dette tildelingsbeslutningen. Innklagede gjennomførte deretter en ny vurdering av tildelingen, og meddelte 6. november 2020 at klagers score på tildelingskriteriet «Kvalitet og oppdragsforståelse» ble endret fra 3 til 4 poeng. Innklagede fastholdt likevel at kontrakten skulle tildeles valgte leverandør.

(13) Saken ble brakt inn for Klagenemnda for offentlige anskaffelser ved klage datert 10. november 2020. Innklagede har opplyst at kontraktsinngåelse utsettes til klagenemnda har behandlet klagen. Saken er derfor behandlet som en prioritert sak.

(14) Nemndsmøte i saken ble avholdt 11. januar 2021. Anførsler: Klager har i det vesentlige anført:

(15) Innklagede har brutt regelverket ved evalueringen av valgte leverandørs tilbud. Valgte leverandør har levert et tilbud og referanser som i stor grad omhandler visuell profil («identitet»), og ikke nettsted (CMS). Bare én av valgte leverandørs referanseprosjekter dreier seg om utvikling av nettsted. De to øvrige er knyttet til utvikling av konsept, prospekt og identitet, ikke nettsted. Innklagede har i det vesentlige anført:

(16) Innklagde bestrider å ha brutt regelverket ved evalueringen av tildelingskriteriet «Tre referanseprosjekt (som har vore utvikla dei siste tre åra)». Innklagede viser til side 19 i valgte leverandørs tilbud. Alle tre referanseprosjektene på denne siden gjelder web.

(17) Innklagede har i e-post til klager datert 20. oktober 2020, forklart hvordan de tre referanseprosjektene til valgte leverandør har blitt vurdert som relevante. Innklagede forklarte her at valgte leverandørs referanser, (restauranten Bro, festivalen Jugendfest og leilighetskonseptet Øvre utstillingsplass), var særlig interessante fordi prosjektene er formidlet som innovative, kreative næringer. Måten prosjektet Bro er framstilt på, gir assosiasjoner til ord som matkunst, gastronomi, kystkultur og kreativitet. Jugendfest fremstår som en ung, dynamisk og utadrettet musikkfestival. Øvre utstillingsplass er et leilighetskonsept, og blir «lest» som fagkyndig arkitektur som søker stedsutvikling. Dette har referanser til skolefaget Kunst og håndverk som bærer av kultur, danning og praktisk liv. Klagenemndas vurdering:

(18) Klager har deltatt i konkurransen, og har saklig klageinteresse, jf. forskrift om klagenemnd for offentlige anskaffelser § 6. Klagen er rettidig. Konkurransen gjelder anskaffelse av tjenester for utvikling av nettsted, opplæring i bruk av programvare/nettsted, samt support i 3 år etter lansering, som er en tjenesteanskaffelse. Anskaffelsens estimerte verdi er 350 000 kroner, inkl. mva. I tillegg til lov om offentlige anskaffelser 17. juni 2016 nr. 73 følger anskaffelsen forskrift om offentlige anskaffelser 12. august 2016 nr. 974 del I, jf. forskriften §§ 5-1 og 5-3.

(19) Klager har anført at innklagede har handlet i strid med regelverket ved evalueringen av tildelingskriteriet «Tre referanseprosjekt (som har vore utvikla dei siste tre åra)». Klager har i denne forbindelse vist til at to av valgte leverandørs referanseprosjekter ifølge klager ikke er knyttet til utvikling av nettsteder, men heller omhandler visuell profil («identitet»), og ikke nettsted (CMS).

(20) Den rettslige kontrollen med evalueringen av tilbudene er begrenset. Det som kan prøves, er om innklagede har forholdt seg til tildelingskriteriene slik de er angitt i konkurransegrunnlaget, om tilbudenes innhold er korrekt fastlagt, og om skjønnsutøvelsen er vilkårlig, sterkt urimelig eller for øvrig i strid med de grunnleggende prinsippene i loven § 4.

(21) I oppdragsspesifikasjonen var det angitt at tildelingskriteriet «Tre referanseprosjekt […]» skulle evalueres på grunnlag av «korleis Seksjon for design, kunst og handverk opplever kvaliteten på tidlegare prosjekt i forhold til egne behov». Innklagede skulle altså vurdere referanseprosjektenes opplevde kvalitet mot det behovet som ligger til grunn for anskaffelsen, slik det er beskrevet i konkurransegrunnlaget.

(22) I konkurransegrunnlaget er det angitt at anskaffelsen dreier seg om utvikling av nettsted, og at bakgrunnen for anskaffelsen er at innklagede har behov for ekstern kompetanse på

«plassering av innhald og layout» ville vurderes. Senere ble det tatt inn i konkurransegrunnlaget at anskaffelsen også skulle omfatte «utvikling av det visuelle på nettstaden - enkelt og brukarnært design». Samtidig ble det presisert at innklagede selv hadde kompetanse på dette området, og derfor ønsket et samarbeid om utviklingen av det

og opplæring i bruken av det.

(23) I tildelingsmeddelelsen heter det at valgte leverandør har «det beste tilbodet basert på tildelingskriteriane». I tilsvaret til klagenemnda har innklagede vist til at valgte leverandørs referanser «dekker utvikling av nettsted». Innklagede har også forklart at valgte leverandør var gitt best score for tildelingskriteriet «tre referanseprosjekt» fordi prosjektene formidlet innovative, kreative næringer, som hadde referanser til skolefaget kunst og håndverk som bærer av kultur, danning og praktisk liv. Innklagede har også fremhevet at valgte leverandørs referanseprosjekter fikk positiv uttelling for et enkelt og intuitivt brukergrensesnitt og layout, plassering av bilde mot tekst, farge- og fontvalg i referanseprosjektene.

(24) Slik klagenemnda leser innklagedes forklaring om evalueringen under tildelingskriteriet «tre referanseprosjekt», er det først og fremst det estetiske og designmessige som har vært grunnlaget for at valgte leverandørs referanser ble vurdert som bedre enn klagers. Klagenemnda kan ikke se at referansene har blitt vurdert i lys av at behovet for

Management System – CMS) var sentralt for anskaffelsen. Dette er i strid med de føringene for tildelingsevalueringen som er angitt i konkurransegrunnlaget. Klagenemnda har på denne bakgrunn kommet til at innklagede har brutt regelverket ved evalueringen av tildelingskriteriet «Tre referanseprosjekt (som har vore utvikla dei siste tre åra)».

(25) Bruddet på regelverket som klagenemnda har konstatert, kan ha påvirket utfallet av konkurransen. Bruddet gir følgelig grunnlag for tilbakebetaling av klagegebyret, jf. klagenemndsforskriften § 13.

Konklusjon: Høgskulen i Volda har brutt kravet til forutberegnelighet ved evalueringen av tildelingskriteriet «Tre referanseprosjekt (som har vore utvikla dei siste tre åra)».

For Klagenemnda for offentlige anskaffelser, Finn Arnesen

────────────────────────────────────────────────────────────

Refererte rettskilder

  • LOA 2017 § 4 — Grunnleggende prinsipper, herunder forutberegnelighet; prøvingsgrunnlag for vilkårlig eller sterkt urimelig skjønnsutøvelse
  • FOA 2017 § 5-1 — Terskelverdi og anvendelsesområde for del I
  • FOA 2017 § 5-3 — Terskelverdi og anvendelsesområde for del I
  • FOR-2002-11-15-1288 § 6 — Klageinteresse; klager hadde deltatt i konkurransen og hadde saklig klageinteresse
  • FOR-2002-11-15-1288 § 13 — Tilbakebetaling av klagegebyr; bruddet kunne ha påvirket utfallet av konkurransen

Lignende saker

KOFA 2022/1587
KOFA 2022/1587: Leveringstid-kriterium og forutberegnelighet
KOFA fant at Flekkefjord kommune hadde brutt kravet til forutberegnelighet ved evalueringen av tildelingskriteriet «Leveringstid» i en...
KOFA 2007/83
KOFA 2007/83: Statsbygg – tildelingskriterier og likebehandling
KOFA fant at Statsbygg ikke hadde brutt regelverket ved gjennomføring av åpen anbudskonkurranse om koordinatortjenester for forundersøkelser...
KOFA 2025/0952
KOFA 2025/0952: Ulovlig evaluering av BreeamNOR-erfaring
KOFA fant at Sandefjord kommune brøt regelverket for offentlige anskaffelser ved evalueringen av tildelingskriteriet «Kvalitet»,...
KOFA 2017/334
KOFA 2017/334: Prisberegningsmetode – forholdsmessig vs. lineær
KOFA konkluderte med at Universitetssykehuset i Nord-Norge HF ikke brøt regelverket da det benyttet en forholdsmessig prisberegningsmetode...
KOFA 2008/121
KOFA 2008/121: Uventet lav vekt på pris – brudd
Fjellinjen AS inviterte tre leverandører til å gi tilbud på rekrutteringsbistand. KOFA fant at innklagede brøt kravet til forutberegnelighet...
KOFA 2008/27
KOFA 2008/27: Lisensantall måtte opplyses i konkurransegrunnlag
Skattedirektoratet kunngjorde en åpen anbudskonkurranse for anskaffelse av et databasert pauseprogram. KOFA fant at oppdragsgiver hadde...
KOFA 2017/79
KOFA 2017/79: Tildelingsevaluering og forutberegnelighet
Klagenemnda vurderte om Vestfold Vann IKS hadde brutt kravet til forutberegnelighet ved å vektlegge referanseprosjekter og leverandørenes...
KOFA 2003/143
KOFA 2003/143: Forutberegnelighet og ortopedisk fottøy
KOFA fant at Rikstrygdeverket brøt kravene til forutberegnelighet i lov om offentlige anskaffelser § 5 ved ikke å opplyse leverandørene om...

Ofte stilte spørsmål

Hva innebærer KOFAs begrensede kontroll med tilbudsevalueringen?
KOFA prøver ikke oppdragsgivers faglige skjønn fullt ut. Det som kan overprøves, er om evalueringen har holdt seg innenfor de tildelingskriteriene som er angitt i konkurransegrunnlaget, om tilbudenes innhold er korrekt fastlagt, og om skjønnsutøvelsen er vilkårlig, sterkt urimelig eller i strid med de grunnleggende prinsippene i anskaffelsesloven § 4. Dette ble lagt til grunn av KOFA i sak 2020/911.
Kan en oppdragsgiver vektlegge estetiske forhold under et tildelingskriterium om referanseprosjekter?
Det avgjørende er hvordan oppdragsgiver selv har definert kriteriet i konkurransegrunnlaget og hva som er anskaffelsens kjernebehov. I sak 2020/911 fant KOFA at evalueringen ikke var i samsvar med kriteriet fordi estetiske og designmessige forhold ble tillagt avgjørende vekt, mens kriteriet slik det var definert, skulle vurdere referansene opp mot behovet for CMS- og nettstedsutviklingskompetanse.
Hva er konsekvensen av et konstatert regelverksbrudd ved tildelingsevaluering?
Dersom KOFA konstaterer brudd som kan ha påvirket utfallet av konkurransen, gir dette grunnlag for tilbakebetaling av klagegebyret, jf. klagenemndsforskriften § 13. KOFA har ikke myndighet til å annullere kontrakter eller pålegge oppdragsgiver å gjennomføre ny evaluering, men uttalelsene har veiledende virkning og kan danne grunnlag for erstatningskrav etter alminnelig kontraktsrett.
Dette er et søkeverktøy for å finne og forstå KOFA-praksis. Sammendraget er AI-generert på grunnlag av KOFAs egen avgjørelsestekst (gjengitt i sin helhet over). Det erstatter ikke juridisk vurdering av konkrete saker.
Laster...