foa
Forum
for offentlige anskaffelser

HjemKOFA-basenKOFA 2016/33

KOFA-AVGJØRELSE

KOFA 2016/33: Stikkprøver og evalueringsmodell – ikke brudd

Saksnummer
2016/33
Avgjort
2016-05-10
Kunngjort
2015-03-13
Innklaget
Troms fylkeskommune
Klager
Lyreco Norge AS
Regelverk
FOA 2006
Sakstype
Klage på tildeling – evalueringsmodell, tildelingsevaluering, ulovlige tildelingskriterier
Anskaffelsens verdi
29,6 millioner kroner (estimert)
Art
Vare
Prosedyre
Åpen anbudskonkurranse
Terskelverdi
Over EØS-terskel
KOFA behandlet klage fra Lyreco Norge AS mot Troms fylkeskommune i en åpen anbudskonkurranse om rammeavtale for skolemateriell og kontorrekvisita. Klagenemnda vurderte lovligheten av underkriteriet «mekanisk kvalitet», bruken av stikkprøver ved prisevaluering og valget av forholdsmessig evalueringsmodell. Klagenemndas flertall konkluderte med at ingen av anførslene førte frem. Dissens om evalueringsmodellen.
Hovedspørsmål
Kan oppdragsgiver basere prisevalueringen på et stikkprøveutvalg som ikke er gjort kjent for tilbyderne, og er den forholdsmessige evalueringsmodellen egnet til å gjenspeile relevante prisforskjeller mellom tilbudene?

Faktum

Troms fylkeskommune kunngjorde 13. mars 2015 en åpen anbudskonkurranse om rammeavtale for kjøp av skolemateriell, kontor- og datarekvisita, estimert til 29,6 millioner kroner. Tre tilbydere leverte tilbud, herunder Lyreco Norge AS (klager) og Staples Norway AS (valgte leverandør). Kontrakt skulle tildeles på grunnlag av tildelingskriteriene «Kvalitet» (50 %), «Pris» (40 %) og «Levering» (10 %). Prisevalueringen var todelt: kjernesortiment basert på prisskjema og øvrig sortiment basert på stikkprøver fra tilbydernes prislister, der de konkrete produktene i utvalget ikke var opplyst i konkurransegrunnlaget. I tildelingsbrev av 27. august 2015 ble Staples Norway AS innstilt som vinner. Lyreco begjærte midlertidig forføyning, og innklagede annullerte den første tildelingsbeslutningen etter å ha erkjent evalueringsfeil. Etter ny evaluering ble nytt tildelingsbrev sendt 21. januar 2016, igjen med Staples Norway AS som vinner. Lyreco brakte saken inn for KOFA 22. februar 2016.

KOFAs vurdering

1. Underkriteriet «mekanisk kvalitet». Rettsregel: FOA 2006 (FOR-2006-04-07-402) § 22-2 (2) krever at tildelingskriterier har tilknytning til kontraktsgjenstanden. KOFAs tolkning: Begrepet «mekanisk kvalitet» skal ikke forstås så snevert at det kun dekker produkter med mekaniske deler; det kan gi «relevant fremheving av hvilke egenskaper som var samlet sett viktige for innklagede». Avgjørende faktum: Innklagede klargjorde kriteriet i evalueringsveiledningen for den andre evalueringsrunden som «evne/robusthet til å tåle belastningen produktet normalt vil bli utsatt for», og klager hadde ikke dokumentert at brukergruppen unnlot å følge veiledningen. Delkonklusjon: Anførselen førte ikke frem.

2. Evalueringen av tildelingskriteriet «kvalitet». Rettsregel: LOA 1999 (LOV-1999-07-16-69) § 5 krever likebehandling og forutberegnelighet. KOFAs tolkning: Skriftlige kommentarer i evalueringsmatrisen er supplement til karakterene og påvirker ikke evalueringsresultatet; at ulike brukergruppedeltakere benytter like begreper med ulik poengsetting er ikke i seg selv et regelbrudd. Avgjørende faktum: Klager hadde innsigelser til 164 av 448 enkeltkarakterer, men klagenemnda fant etter gjennomgang av saksdokumentene ikke «holdepunkter for at det foreligger rettslige mangler» ved evalueringen. Delkonklusjon: Anførselen førte ikke frem.

3. Prisevaluering ved stikkprøver – bruk, endringer og representativitet. Rettsregel: LOA 1999 § 5 (forutberegnelighet); KOFAs praksis, jf. sak 2012/25, krever at (a) metoden er opplyst i kunngjøring eller konkurransegrunnlag, (b) utvalget er rimelig representativt, og (c) fremgangsmåten er fastlagt før tilbudsåpning. KOFAs tolkning: Kravet til forutberegnelighet rekker ikke så langt at de konkrete produktene i stikkprøven må opplyses der dette kan åpne for taktisk prising. Reduksjon av utvalget fra 51 til 29 produkter etter tilbudsåpning er tillatt der begrunnelsen er saklig – her fravær av sammenlignbare produkter eller overlapp med kjernesortimentet. Avgjørende faktum: Innklagede hadde dokumentert at produktlisten var fastlagt 5. mars 2015, altså før tilbudsfristens utløp. Reduksjonen fremsto som «saklig og forsvarlig», og klager hadde ikke sannsynliggjort at utvalget ikke var representativt. Delkonklusjon: Ingen av stikkprøveanførslene førte frem.

4. Valg av evalueringsmodell (forholdsmessig metode). Rettsregel: EU-domstolens ATI-test (sak C-331/04) innebærer at etterfølgende konkretisering av tildelingskriteriet er ulovlig dersom den ville påvirket tilbudsutformingen, endrer kriteriet, eller er valgt basert på diskriminerende forhold. KOFAs tolkning (flertallet): Den forholdsmessige metoden er «ikke i seg selv ulovlig», jf. sak 2014/95, og klager hadde ikke forklart hvordan kjennskap til modellen på forhånd ville endret tilbudet. Mindretallet mente innklagede ikke hadde godtgjort at metoden ga uttelling som «gjenspeiler de relevante forskjellene mellom tilbudsprisene», særlig gitt de store prisavstandene mellom tilbyderne, og karakteriserte evalueringen som vilkårlig. Avgjørende faktum: Klagers pris for øvrig sortiment (kr 67 347) var mer enn dobbelt så høy som valgte leverandørs (kr 29 305); metoden ga prosentvis lite poengutslag ved store prisforskjeller. Delkonklusjon: Flertallet fant ikke brudd; mindretallet dissenterte.

Konklusjon

Klagenemndas flertall konkluderte med at Troms fylkeskommune ikke hadde brutt regelverket for offentlige anskaffelser. Ingen av Lyrecos anførsler knyttet til underkriteriet «mekanisk kvalitet», evalueringen av kvalitet, stikkprøvevalget eller valget av evalueringsmodell ble tatt til følge. Saken ble avgjort med dissens, idet ett nemndsmedlem mente innklagede ikke hadde godtgjort at den forholdsmessige metoden var egnet til å identifisere det økonomisk mest fordelaktige tilbudet.

Praktisk betydning

Avgjørelsen bekrefter KOFAs etablerte praksis om at stikkprøver kan benyttes ved prisevaluering av rammeavtaler med bredt sortiment, forutsatt at metoden er opplyst i konkurransegrunnlaget og fremgangsmåten er fastlagt før tilbudsåpning. De konkrete produktene i utvalget trenger ikke kommuniseres til tilbyderne der åpenhet kan legge til rette for taktisk prising. Saken illustrerer videre at den forholdsmessige evalueringsmodellen etter flertallets syn ikke er ulovlig i seg selv, men må prøves mot ATI-kriteriene. Mindretallets votum tydeliggjør at oppdragsgiver bør ha dokumentert at den valgte modellen er egnet til å gjenspeile relevante prisforskjeller, særlig der det er store prisavstander mellom tilbyderne. Dissensen signaliserer at spørsmålet om evalueringsmodellens egnethet var rettslig omstridt på avgjørelsestidspunktet.

Hele KOFA-avgjørelsen (klikk for å skjule)

2016/33 Troms fylkeskommune

Innklaget: Troms fylkeskommune

Klager: Lyreco Norge AS

Avgjørelse: Ikke brudd på regelverket

Type sak: Prioritert rådgivende sak

Klagenemnda for offentlige anskaffelser Saken gjelder: Evalueringsmodell, tildelingsevaluering, ulovlige tildelingskriterier Innklagede har gjennomført en åpen anbudskonkurranse for å inngå rammeavtale om sortimentskjøp av skolemateriell, kontor- og datarekvisita. Klager anførte at underkriteriet "Mekanisk kvalitet" var ulovlig, og at innklagede hadde brutt regelverket ved evalueringen av tildelingskriteriet kvalitet. Klager fremsatte også flere anførsler knyttet til evalueringen av tildelingskriteriet "Pris". Klager anførte at innklagede hadde brutt regelverket ved å basere prisevalueringen delvis på stikkprøver, ved at det etter tilbudsåpning ble gjort endringer i sammensetningen av varer som lå til grunn for stikkprøveevalueringen, ved at enkelte av produktene som var sammenlignet under stikkprøveevalueringen ikke var sammenlignbare og ved valg av evalueringsmodell. Klagenemndas flertall kom til at ingen av klagers anførsler kunne føre frem. Dissens. Klagenemndas avgjørelse 10. mai 2016 i sak 2016/33 Klager: Lyreco Norge AS Innklaget: Troms fylkeskommune Klagenemndas medlemmer: Karin Fløistad, Kristian Jåtog Trygstad og Jakob Wahl

Bakgrunn

(1)Troms fylkeskommune (heretter innklagede) kunngjorde 13. mars 2015 en åpen anbudskonkurranse for inngåelse av rammeavtale om kjøp av skolemateriell, kontor- og datarekvisita. Rammeavtalen hadde en varighet på 1 år, med opsjon for oppdragsgiver på tre ettårige forlengelser. Anskaffelsens estimerte verdi var 29,6 millioner. Tilbudsfrist var 28. april 2015.

(2)Anskaffelsen var inndelt i tre varegrupper – "Kontorrekvisita, Skolerekvisita, Datarekvisita", "Kopieringspapir" og "Toner, trommel, blekk".

(3)Kontrakt ville tildeles det mest økonomisk fordelaktige tilbudet, basert på tildelingskriteriene "Kvalitet" (vektet 50 %), "Pris" (40 %) og "Levering" (10 %). Disse var nærmere beskrevet i kravspesifikasjonen: "Kvalitet - vektes 50 % Oppdragsgiver vil be om vareprøver på et utvalg av produktene for å teste kvaliteten. Produktene vil bli karaktersatt. Oversikt over produkt som skal testes, vil bli sendt tilbydere etter tilbudsfrist. Oppdragsgiver gjennomfører testing av produktene sammen med representanter i brukergruppen. Produktene vil bli evaluert ut fra følgende kriterier: design, funksjonalitet, mekanisk kvalitet og forpakning.

Pris - vektes 40 % Tilbyder skal prise sitt tilbud i samsvar med prisskjema i vedlegg 2. Alle priser oppgis ekskl. mva. Totalpris beregnes på basis av inngitt tilbudspris (justert for rabatt) og volum pr artikkel. Veiledende priser som benyttes i prisskjemaet skal være offentlig tilgjengelig,

For det tilfelle at vareutvalget dekker mindre enn 100 % av varegruppen: I evalueringen av pris vil eventuelle artikler uten inngitt pris bli verdsatt til høyeste pris i forhold til konkurrerende tilbud. Pris på øvrig sortiment vil bli evaluert bakgrunn av et representativt utvalg stikkprøver fra tilbyders øvrige sortiment, hvor pris fra tilbyders øvrige vedlagte prisliste sammenholdt med tilbudt rabatt og volum per artikkel vil legges til grunn. Produktkatalog med elektronisk prisliste legges ved som vedlegg til tilbudet. Tilbudte priser for kjernesortimentet er i evalueringssammenheng vektet høyere enn tilbudte rabatterte priser for øvrig sortiment."

(4)Før tilbudsfristen svarte innklagede på spørsmål fra tilbyderne. Et spørsmål gjaldt årsaken til at det ikke var oppgitt hvilke produkter som skulle sammenlignes under "øvrig sortiment", og om dette var i samsvar med kravet til forutberegnelighet. Innklagede svarte som følger: "Oppdragsgiver har på forhånd gjort et utplukk av produkter som skal inngå i prisevalueringen på øvrig sortiment. Grunnen til at dette ikke er gjort kjent for tilbyderne på forhånd er for å redusere mulighet for taktisk prising. Oppdragsgiver mener at opplysninger som er gitt i konkurransegrunnlaget gir leverandørene tilstrekkelig informasjon til å inngi tilbud, og at det tilfredsstiller lovens krav til forutberegnelighet, jf. KOFA-sak 2008/191, premiss 26 og 27."

(5)Innklagede har i ettertid vist til at det for prisevalueringen av øvrig sortiment ble opprettet en liste med 55 produkter 5. mars 2015. Før tilbudsfristen ble fire produkter fjernet, slik at det gjenstod 51 produkter som skulle danne grunnlag for prissammenligningen ved dette punktet.

(6)I et annet spørsmål var det bedt om at innklagede utdypet innholdet i kriteriene design, funksjonalitet, mekanisk kvalitet og forpakning, som var angitt under tildelingskriteriet kvalitet. Innklagede svarte: "Design, funksjonalitet, mekanisk kvalitet og forpakning er begreper som innebefatter blant annet brukervennlighet/bruksegenskaper, ergonomi, opplevd kvalitet, pakningsstørrelse, mengde emballasje mm. som beskriver slike egenskaper med produktet. Brukergruppens karaktersetting av produktkvaliteten, basert på nevnte underkriterier, utgjør tildelingskriteriet kvalitet."

(7)Tre tilbydere leverte tilbud, blant disse Lyreco Norge AS (heretter klager), og Staples Norway AS (heretter valgte leverandør).

(8)I tildelingsbrev av 27. august 2015 informerte innklagede om at kontrakt ville inngås med valgte leverandør. Valgte leverandørs tilbud hadde oppnådd 9,489 poeng mot klagers 9,196 poeng. Det fremgikk i poengoversikten at klagers tilbud var vurdert som best på priskriteriet, med poengsummen 4 mot valgte leverandørs 3,609. Ved "Kvalitet" hadde klagers tilbud fått 4,473 poeng mot valgte leverandørs 5, og ved "Levering" 0,723 mot valgte leverandørs 0,880 poeng. Fra brevet gjengis følgende om evalueringen av tildelingskriteriet "Pris": "Tildelingskriteriet er inndelt i to underkriterier, henholdsvis totalpris på direkte etterspurt sortiment (prisskjema) og totalpris på et utvalg av stikkprøver fra øvrig sortiment. Oppdragsgiver vet av erfaring at en del av de nye produktene som kommer til i løpet av avtaleperioden, blir en del av det øvrige sortimentet. Disse produktene vil være attraktive for brukerne av avtalen. Derfor er det viktig for oppdragsgiver å også oppnå en god pris på det øvrige sortimentet. Den interne vektingen av priskriteriet er derfor som følger: 60 % på direkte etterspurt sortiment og 40 % på øvrig sortiment. Brukergruppa hadde, før tilbudsfrist, gjort et utvalg av produkter som skulle utgjøre stikkprøvene fra et øvrig sortiment. Utvalget var gjort ut fra statistikk, og det var lagt til grunn et forventet uttak av den enkelte varelinje. Det var opprinnelig plukket ut 54 produkt og antallet var høyt med hensikt, siden man regnet med at noen produkter måtte tas ut. Ikke alle tilbyderne hadde produkt som var sammenlignbare. Oppdragsgiver sto dermed til slutt igjen med 28 produkt, som anses å være er et representativt utvalg, og som gir et godt bilde av tilbydernes prising av et øvrig sortiment. Lyreco hadde lavest pris på direkte etterspurt sortiment, men de var dyrest på øvrig sortiment. Samlet sett oppnådde Lyreco høyest vektet poengsum på tildelingskriteriet pris."

(9)Klager fremmet i brev av 25. september 2015 en klage over tildelingsbeslutningen. Innklagede fastholdt sin tildelingsbeslutning. Klager innga begjæring om midlertidig forføyning til Nord-Troms tingrett 27. oktober 2015 for å stanse kontraktsigneringen. I sitt tilsvar til Nord-Troms tingrett 10. november 2015 erkjente innklagede enkelte feil ved gjennomføringen av konkurransen, og opplyste at tildelingsbeslutningen derfor var annullert. Retten avsa kjennelse i saken 30. november 2015, og kom til at det ikke forelå sikringsgrunn ettersom innklagede hadde annullert tildelingsbeslutningen. Begjæringen ble derfor forkastet.

(10)I forbindelse med annulleringen av tildelingsbeslutningen, utformet innklagede et notat, datert 4. januar 2016, til brukergruppen som evaluerte produktkvalitet. Her fremgår det blant annet at deltakerne ikke har evaluert samtlige produkter, og ikke karaktersatt underkriteriene for samtlige produkter. Brukergruppen ble derfor bedt om å foreta en ny evaluering/karaktersetting. Det fremgår også at det etter samtaler med brukergruppen har fremkommet at det var uklart for dem hvordan begrepet "Mekanisk kvalitet" skulle forstås, og at mengde emballasje ikke har vært vurdert ved underkriteriet "Forpakning". Konsekvensen var at samtlige produkter skulle evalueres på nytt på dette punkt. Det var også gjengitt enkelte andre potensielle feil ved den første evalueringen. Notatet

inneholder også en veiledning til ny evaluering. Her var blant annet de enkelte underkriteriene til kvalitet utdypet – herfra hitsettes: "Design (kvalitet): Refererer til utseende og formen til et produkt Funksjonalitet (kvalitet): Refererer seg til bruken/anvendbarheten til et produkt Mekanisk (kvalitet): Refererer seg til evne/robusthet til å tåle belastningen produktet normalt vil bli utsatt for Forpakning (kvalitet): Refererer seg til originalemballasjen – herunder, men ikke begrenset til (...) a)Mengde emballasje (…) og b)Minste bestillingsenhet/Pakningsstørrelse"

(11)Innklagede sendte et nytt tildelingsbrev 21. januar 2015. Valgte leverandørs tilbud ble igjen innstilt som vinner av konkurransen. Klager hadde fremdeles høyeste score på priskriteriet, men valgte leverandørs poengsum på priskriteriet var ved den nye vurderingen justert opp til 3,777. Fra brevet gjengis følgende om grunnlaget for annulleringen av den foregående tildelingsbeslutningen, og den nye tildelingen: "Liste over produkter på øvrig sortiment:  30 produkt ble utelatt ved første evaluering fordi de av ulike grunner ble vurdert som ikke sammenlignbare eller fordi de var priset i direkte etterspurt sortiment. Ny gjennomgang viser at feil vurdering lå til grunn for 8 av de 30 produktene. Det ble funnet sammenlignbare produkter hos alle tre leverandører og feilen er rettet.  Det ble lagt til 7 produkter, etter tilbudsfrist, som ikke var omfattet av den opprinnelige listen over produkt til øvrig sortiment. TFK la til grunn i annulleringsbrevet at det var feil og har nå fjernet disse 7 produktene fra evalueringen.  På 4 av produktene ble antatt årsforbruk endret etter tilbudsfrist. Dette anses som feil og er endret tilbake til antatt årsforbruk i henhold til opprinnelig liste. (…) Resultat av evaluering (…) Tildelingskriteriet Pris Retting av feil i blant annet stikkprøveutvalget har medført noe endrede totalpriser hos alle tre leverandører. Nye totalsummer fremkommer i vedlagte evalueringsmodell."

(12)I det vedlagte evalueringsskjemaet var følgende oversikt over evalueringsresultatet for pris inntatt (utdrag, supplert med poengsummer for hvert av underkriteriene):

Staples Lyreco PRIS Laveste tilbud Tilbudspris 60 Tilbudspris 2446304 1348960 1 348 960 % Poengsum 5,51 10,00 Internvektet 3,31 6,00 poengsum Øvrig 40 Pris stikkprøver 29305 67347 29 305 sortiment % Poengsum 10,00 4,35 Internvektet 4,000 1,741 poengsum Poengsum 7,309 7,741 Relativ poengsum 9,442 10,000 Poengsum 3,777 4,000

(13)Ved omregningen av priser til poengsummer har innklagede brukt en ikke-lineær modell, ved følgende formel: Poeng = Maksimumpoeng * laveste pris / pris.

(14)Saken ble brakt inn for Klagenemnda for offentlige anskaffelser 22. februar 2016. Innklagede utsetter kontraktsinngåelsen i påvente av klagenemndas avgjørelse.

(15)Nemndsmøte i saken ble avholdt 2. mai 2016.

Anførsler

Klager har i det vesentlige anført

Underkriteriet "Mekanisk kvalitet"

(16)Tildelingskriteriet "Kvalitet" er ulovlig, fordi det var uklart hva som var ment med underkriteriet "Mekanisk kvalitet". Dette har også vært uklart for brukergruppen som forestod evalueringen, hvilket er i strid med forskriften § 22-2 (2) og kravet til gjennomsiktighet, forutberegnelighet og likebehandling i loven § 5. Underkriteriet mekanisk kvalitet hadde heller ikke tilstrekkelig tilknytning til kontraktsgjenstanden, ettersom seks av varene som ble evaluert ikke har mekaniske deler. Evalueringen av kvalitet

(17)Innklagede har brutt kravene til likebehandling og forutberegnelighet ved evalueringen av kvalitet. De fremlagte evalueringsmatrisene viser at evalueringen har vært vilkårlig, usaklig osv. Det vises blant annet til (i) inkonsistens mellom evaluering og poengsetting (samme begrunnelse har i enkelte tilfeller gitt 5 poeng hvorav andre steder 10 poeng), (ii) ulik poengsetting av produkter som ikke er tilbudt, (iii) poengsetting hvor testdeltaker

ikke har fylt ut evalueringsskjema, og at (iv) begrunnelsen i liten grad benytter begrepene fra karakterskalaen. Prisevaluering av øvrig sortiment ved stikkprøver

(18)Innklagede har brutt kravet til forutberegnelighet i loven § 5, ved å basere evalueringen på et utvalg varer, uten at disse var kjent for tilbyderne. Det utgjør et brudd på samme bestemmelse at innklagede ikke har bevist at listen over produkter ble utarbeidet før tilbudsfristens utløp. Stikkprøver – endring i utvalg

(19)Innklagede har brutt kravet til forutberegnelighet i loven § 5 ved å gjøre endringer i hvilke varer som inngikk i stikkprøveutvalget. Stikkprøver – representativt utvalg

(20)Innklagede har brutt regelverket ved å basere evalueringen på 29 produkter. Dette utgjør ikke et representativt utvalg. Stikkprøver – sammenlignbare produkter

(21)Innklagede har brutt regelverket ved at kun 19 av de 29 produktene som var gjenstand for prisevalueringen faktisk er sammenlignbare. Så lenge det ikke sammenlignes identiske produkter, vil det være forskjeller selv om produktene tilsynelatende har samme funksjon. Det vil være forskjeller i produksjonsmetode, materiale og sertifiseringer, noe som påvirker prisen betydelig. Sammenligningen av produkter som ikke er identiske er derfor vilkårlig, og innebærer brudd på kravet til forutberegnelighet i loven § 5. Evalueringsmodell

(22)Evalueringsmodellen reflekterer ikke relevante forskjeller mellom tilbudene, og representerer et brudd på forskriften § 22-2.

(23)Innklagede har evaluert tilbudsprisene ved den såkalte forholdsmessige metoden. Den faktiske forskjellen mellom klagers pris og valgte leverandørs pris på 43 % har gitt et poengmessig utslag på ca. 9 %. I en slik situasjon kan den forholdsmessige metoden ikke anses egnet til å sikre den fastsatte vekten av tildelingskriteriet pris, noe som innebærer et brudd på ATI-testen, og dermed et brudd på forskriften § 22-2.

(24)Innklagede har brutt regelverket ved at underkriteriene til tildelingskriteriet pris, "Tilbudspris" og "Øvrig sortiment", i evalueringen ble tillagt henholdsvis 60 % og 40 % vekt, uten at denne innbyrdes fordelingen var opplyst i konkurransegrunnlaget.

(25)Klager ville blitt tildelt kontrakten dersom en lovlig evalueringsmodell hadde vært benyttet. Innklagede har derfor handlet i strid med kravene til forutberegnelighet og likebehandling i loven § 5. Feilen må medføre en plikt til å avlyse konkurransen.

Innklagede har i det vesentlige anført

Underkriteriet "Mekanisk kvalitet" og evalueringen av kvalitet

(26)Klagers anførsler bestrides. Innklagedes begrunnelse for dette gjengis under klagenemndas vurdering av anførslene nedenfor. Prisevaluering av øvrig sortiment – bruken av stikkprøver

(27)Innklagede kunne anvende stikkprøver for prisevalueringen. Det var angitt i konkurransegrunnlaget at pris på øvrig sortiment ville evalueres på bakgrunn av stikkprøver. Det var fastsatt hvordan stikkprøveevalueringen konkret skulle foregå før tilbudene ble åpnet, ved at den spesifikke produktlisten (produkt og volum) var definert før tilbudsfrist. Utvalget omfattet alle de tre varegruppene, og var basert på forventninger om etterspørsel i løpet av avtaleperioden. Stikkprøveutvalget var derfor representativt.

(28)I rammeavtaler er det en utfordring med taktisk prising av produktene som inngår i avtalen. Tilbyderne priser direkte etterspurte produkter lavt, og har en noe høyrere avanse på alle øvrige produkter som inngår i avtalen. For å motvirke taktisk prising opprettet innklagede to ulike "varekurver". Fordi produktsortiment og produktbredden har store variasjoner hos de ulike tilbyderne, ble det ikke bedt om tilbud på spesifiserte produkter i øvrig sortiment, men bedt om en fast rabattsats for de ulike varegruppene. For å unngå taktisk prising evaluerte innklagede pris på et utvalg av produkter fra et øvrig sortiment. Listen over stikkprøvene ble ikke opplyst for tilbyderne, nettopp for å unngå taktisk prising. Stikkprøver – endring i utvalg

(29)Før tilbudsfristen vil det ikke være mulig for oppdragsgiver å vite eksakt hvilke produkt som inngår i tilbydernes øvrig sortiment. Innklagede anså det som sannsynlig at enkelte produkt ville kunne falle fra, og plukket derfor ut flere produkt enn nødvendig.

(30)Utvalget er altså redusert fra 51 produktlinjer til 29 av to grunner. Enten fordi det ikke var tilbudt sammenliknbare produkter, eller at produkter var tilbudt i direkte etterspurt sortiment for én eller flere av tilbyderne. Det er i strid med anskaffelsesregelverket å evaluere samme produkt to ganger, jf. klagenemndas sak 2012/172. Stikkprøver – representativt utvalg

(31)Selv om antall varer i stikkprøveutvalget ble redusert, ble det evaluert produkter fra alle de tre varegruppene. Under enhver omstendighet måtte 29 produkter være tilstrekkelig. Stikkprøver – sammenlignbare produkter

(32)Klagers anførsel bestrides. De ti aktuelle produktene har tilsvarende kvalitet og lik funksjonalitet, uavhengig av merkenavn, og kunne derfor sammenlignes. (Innklagede har også enkeltvis kommentert de enkelte forskjellene klager har påpekt.) Etterfølgende fastsettelse av modellen anvendt ved evalueringen av pris

(33)Valget av evalueringsmodell utgjorde ikke et brudd på regelverket. Presiseringen av vektingsmodellen ligger innenfor rammene av det som er tillatt i henhold til ATI-testen, jf. også klagenemndas sak 2014/95.

(34)Bruken av den forholdsmessige metoden kunne ikke, dersom kjent for tilbyderne på forhånd, påvirket utformingen av tilbudene. Tilbyderne kjenner ikke innholdet i de øvrige

tilbudene, verken de konkrete prisene eller tilbudte produkter (kvalitet). Valget av modell er heller ikke gjort for å diskriminere en tilbyder. Modellen var vurdert som egnet og planlagt brukt på den foreliggende konkurransen.

(35)Modellen er en vanlig modell og derfor en påregnelig evalueringsmodell. Innklagede har benyttet den forholdsmessige metode på alle tre tildelingskriteriene. Modellen sikrer den fastsatte vekten av tildelingskriteriet pris i konkurransen, premierer relevante forskjeller mellom tilbudene og er egnet til å utpeke det beste tilbudet.

(36)Valg av evalueringsmodell er avhengig av tilbudenes relative forhold til hverandre, ved at enkelte modeller ikke er anvendelige når enkelte tilbud er over dobbel så dyre som andre. En alminnelig lineær modell ville eksempelvis gitt klager minuspoeng under øvrig sortiment, noe det ikke var åpnet for i konkurransegrunnlaget. Innklagede forutså ikke at det ville være så store forskjeller mellom varekurvene, og prisene antas å være et utslag av taktisk prising.

Klagenemndas vurdering

(37)Klager har deltatt i konkurransen, og har saklig klageinteresse, jf. forskrift om klagenemnd for offentlige anskaffelser § 6. Klagen er rettidig. Konkurransen gjelder skolemateriell, kontor- og datarekvisita og er en vareanskaffelse. Anskaffelsens estimerte verdi var 29,6 millioner kroner. I tillegg til lov om offentlige anskaffelser følger anskaffelsen etter sin art og verdi forskrift om offentlige anskaffelser av 7. april 2006 nr. 402 del I og III, jf. forskriften §§ 2-1 og 2-2. Underkriteriet "Mekanisk kvalitet"

(38)Klager anfører at tildelingskriteriet "Kvalitet" var i strid med forskriften § 22-2 (2), fordi underkriteriet "Mekanisk kvalitet" var uklart. Klager begrunner dette med at "evalueringen av kvalitet fremstår som uklar". Klager har ikke begrunnet på hvilken måte "Mekanisk kvalitet" var uklart for tilbyderne. Etter klagenemndas syn er det ikke grunnlag for å forstå begrepet så snevert at det kun var anvendelig for å vurdere mekaniske deler.

(39)Klager anfører også at tildelingskriteriet kvalitet var ulovlig fordi det ikke har den nødvendige "tilknytning til kontraktsgjenstanden". Dette er begrunnet med at seks produkter i vareprøveutvalget ikke har mekaniske deler.

(40)Det var opplyst i konkurransegrunnlaget at tildelingskriteriet "Kvalitet" ville vurderes ut fra underkriteriene "Design", "Funksjonalitet", "Mekanisk kvalitet" og "Forpakning". Evaluering av en stor mengde ulike produkter gjør at vurderingstemaene ikke alltid vil være like treffende for hele produktspekteret. Innholdet i de enkelte underkriteriene må sammenholdes med hvilke produkter som tilbys, og identifiseringen av fire ulike sider ved kvalitetskriteriet fremstår for klagenemnda som en relevant fremheving av hvilke egenskaper som var samlet sett viktige for innklagede.

(41)Klager har i tillegg anført at innklagede har brutt regelverket ved evalueringen av produktenes "Mekaniske kvalitet". Klager hevder at brukergruppen som evaluerte produktene "ikke har forstått innholdet av mekanisk kvalitet", og i realiteten har vurdert produktenes kvalitet og anvendbarhet.

(42)Innklagede har erkjent at begrepet var noe uklart for brukergruppen ved den første evalueringen, og at dette var en av grunnene til at denne tildelingsbeslutningen ble

annullert. Før den andre evalueringen ble det imidlertid utdelt en evalueringsveiledning, der det fremgikk at brukergruppen ved kriteriet skulle vurdere "evne/robusthet til å tåle belastningen produktet normalt vil bli utsatt for". Klager har ikke vist til forhold som tilsier at brukergruppen har unnlatt å evaluere produktene i henhold til dette.

(43)Når det gjelder kommentarene i evalueringsmatrisen, var det ikke krav om at produktets egenskaper under hvert enkelt av kvalitetskriteriene nødvendigvis skulle kommenteres. Det at en kommentar gjaldt design, innebar følgelig ikke at de øvrige kriteriene ikke ble vurdert, eller at evalueringen av dem var uriktig.

(44)Klagers anførsler knyttet til "Mekanisk kvalitet" fører etter dette ikke frem. Evalueringen av "Kvalitet"

(45)Klager anfører at innklagede har brutt kravene til likebehandling og forutberegnelighet i loven § 5 ved evalueringen av tildelingskriteriet "Kvalitet". Klager har fremsatt en rekke innsigelser mot evalueringen.

(46)Tildelingskriteriet "Kvalitet" skulle vurderes basert på vareprøver av et utvalg av de tilbudte produktene, med hensyn til underkriteriene "Design", "Funksjonalitet", "Mekanisk kvalitet" og "Forpakning". Disse kriteriene ble nærmere utdypet i svar på tilbydernes spørsmål før tilbudsfristen. Totalt 56 produkter ble testet av en brukergruppe på fire personer. Disse satte hver for seg karakterer på hver av de fire kvalitetskriteriene på hvert produkt, medfulgt av en kommentar/begrunnelse for hvert produkt. Innklagede fremla disse evalueringsmatrisene til tilbyderne.

(47)Klager har som nevnt fremmet en rekke innsigelser til enkeltkarakterer og til kommentarene som er gitt fra de enkelte brukermedlemmene, og har opprettet et hjelpedokument hvor disse innsigelsene fremgår. Av de i alt 448 vurderingene av klagers og valgte leverandørs produkter, hver av disse med fire karakterer, har klager innsigelser til 164.

(48)Innklagede har i sitt tilsvar til klagenemnda imøtegått klagers innsigelser, som var delt inn i fire kategorier: (i) inkonsistens mellom evaluering og poengsetting (samme begrunnelse har gitt ulike poengsummer), (ii) ulik poengsetting av produkter som ikke er tilbudt, (iii) poengsetting hvor testdeltaker ikke har fylt ut evalueringsskjema og at (iv) begrunnelsen i liten grad benytter begrepene fra karakterskalaen.

(49)Under (i) er det anført å utgjøre brudd på regelverket at like kommentarer, eksempelvis "OK kvalitet" eller "Virker solid", ikke er fulgt av lik karaktersetting. Innklagede har til dels vist at klager har begrepsbruk fra ulike medlemmer av brukergruppen, og til dels til at klager har ført inn feil karakterer i sitt hjelpedokument. Med henvisning til at karakterene var avgjørende for evalueringen, har innklagede forklart at de skriftlige kommentarene kun var ment som supplement for brukergruppa selv. Det kan være en rekke grunner til at ulike personer bruker like begreper på forskjellige typer produkter, og samtidig vurderer produktenes design, funksjonalitet, mekaniske kvalitet og forpakning forskjellig. Kommentaren til de enkelte varelinjene påvirket heller ikke evalueringsresultatet under tildelingskriteriet "Kvalitet", og enkelte uoverensstemmelser mellom kommentar og karaktergivning kan ikke i seg selv innebære et brudd på regelverket.

(50)Klagers innsigelser under (ii) gjelder varelinjer som skulle evalueres på nytt i den andre evalueringen, som følge av feil ved evalueringen, eller manglende innsendte vareprøver. Innklagede har i sitt tilsvar forklart hvorfor disse kunne og skulle evalueres på nytt etter den annullerte tildelingsbeslutningen. Det foreligger ikke holdepunkter for at innklagedes vurdering i den endelige evalueringen av disse varelinjene var i strid med regelverket.

(51)Innvendingene i kategori (iii) gjelder varer som klager mener ikke er evaluert, men som likevel er karaktersatt. Innklagede har vist at klagers anførsler her beror på en misforståelse. Varelinjene ble ikke evaluert ved første evalueringsrunde, men de ble vurdert i den andre evalueringen. Når det gjelder innsigelsene om at begrunnelsen ikke bruker begrepene fra evalueringsveiledningen (iv), har klager eksempelvis vist til at karakteren 10 skulle brukes for å betegne fremragende egenskaper, men at karakteren er gitt på egenskaper som ikke er betegnet som fremragende. Som nevnt foran påvirket ikke kommentaren til de enkelte varelinjene evalueringen av kvalitet. Det at brukergruppens medlemmer ikke brukte begrepene fra evalueringsveiledningen, innebærer derfor ikke uten videre at karakterene er uriktige.

(52)Klagenemnda har etter dette ikke holdepunkter for at det foreligger rettslige mangler ved innklagedes vurdering av tildelingskriteriet "Kvalitet". Klagers anførsler fører ikke frem. Prisevaluering av øvrig sortiment ved stikkprøver

(53)Tildelingskriteriet "Pris" var inndelt i kjernesortiment og øvrig sortiment. Evalueringen av sistnevnte skulle baseres på stikkprøver. Klager anfører at innklagede har brutt kravet til forutberegnelighet i loven § 5, ved å basere evalueringen på et utvalg varer som ikke var gjort kjent for tilbyderne i konkurransegrunnlaget.

(54)Hovedregelen er at relevante forhold knyttet til tilbudsevalueringen skal fremgå av konkurransegrunnlaget. Det er imidlertid unntak fra denne hovedregelen. Klagenemnda har blant annet åpnet for å basere evalueringen på stikkprøver på nærmere vilkår, jf. eksempelvis sak 2012/25 med videre henvisninger. Vilkårene for å basere en evaluering på stikkprøver er ifølge nemndas praksis at det er opplyst om metoden i kunngjøringen eller konkurransegrunnlaget, at stikkprøvene er rimelig representative for det som skal kjøpes, og at oppdragsgiver har fastsatt hvordan stikkprøveevalueringen skal foregå før tilbudene åpnes.

(55)I denne saken hadde innklagede opplyst i konkurransegrunnlaget at pris på øvrig sortiment ville bli beregnet på bakgrunn av stikkprøver, og oppdragsgiver har dokumentert at fremgangsmåten ved stikkprøveevalueringen var bestemt før tilbudene ble åpnet. Klager har ikke anført at utvalget ikke var representativt. Klager har derimot anført at kravet til forutberegnelighet var brutt fordi utvalget ikke var angitt i konkurransegrunnlaget. Kravet til forutberegnelighet rekker, som nevnt foran, ikke så langt at enhver opplysning av betydning for utformingen av tilbudene skal fremgå av konkurransegrunnlaget. Innklagede har vist til at opplysninger i konkurransegrunnlaget om hvilke varer som skal sammenlignes, kunne åpne for taktisk prising. Klagenemnda har på denne bakgrunn ingen innvendinger mot at vareutvalget ikke var meddelt i konkurransegrunnlaget. Klagers anførsel fører etter dette ikke frem. Stikkprøver – endring i utvalg

(56)Klager anfører at innklagede har brutt kravet til forutberegnelighet i loven § 5 ved å gjøre endringer i stikkprøveutvalget. Ved den endelige tildelingsevalueringen gjenstod kun 29 av de opprinnelig 55 produktene på listen.

(57)Endringen av hvilke produkter som skal inngå i prissammenligningen innebærer, på samme måte som valget av evalueringsmodell, en konkretisering av tildelingskriteriet "Pris". Lovligheten av endringene beror derfor på om vilkårene som er trukket frem av EU-domstolen i sak C-331/04 (ATI) er oppfylt. Disse vilkårene behandles nærmere nedenfor i avsnitt (76).

(58)Endringene i utvalget skjedde etter tilbudene var åpnet. Dette innebærer en risiko for at endringene kan ha blitt "vedtaget under hensyntagen til forhold, som kan virke diskriminerende over for en af de bydende", jf. EU-domstolens avgjørelse i sak C-331/04 (ATI) og sak C-226/09. Klagenemnda tok stilling til et liknende tilfelle i sak 2015/75, og uttalte at det ved konkretisering av tildelingskriteriet på dette tidspunktet vil være en iboende risiko for favorisering av en bestemt leverandør, og at det i slike tilfeller skal lite til før den etterfølgende konkretiseringen må anses for å ha virket diskriminerende.

(59)Innklagede har forklart at det før tilbudsåpning var umulig å vite eksakt hvilke produkter som inngikk i tilbydernes øvrig sortiment. Ettersom prissammenligningen forutsatte at det var tilbudt sammenlignbare produkter, kunne dermed ikke justeringen av produktutvalget foretas før tilbudsåpning. Denne saken skiller seg derfor fra saksforholdet i sak C-6/15 som er under behandling i EU-domstolen.

(60)Det ble av innklagede vurdert som sannsynlig at ikke alle produktene ville kunne sammenlignes, og innklagede plukket derfor ut flere produkter enn nødvendig. Begrunnelsen for at utvalget ble redusert fra 51 produktlinjer til 29 var dels at det ikke forelå sammenliknbare produkter hos tilbyderne, og dels at én eller flere av tilbyderne istedenfor hadde tilbudt produktet i etterspurt sortiment.

(61)Innklagedes begrunnelse for reduksjon av produkter i stikkprøven fremstår som saklig og forsvarlig, og det er ikke holdepunkter for at reduksjonen kan ha virket diskriminerende. Klagers anførsel fører etter dette ikke frem. Stikkprøver – representativt utvalg

(62)Klager har også anført at stikkprøveutvalget, etter reduksjonen i antall produkter, ikke var representativt.

(63)Innklagede har forklart at produktutvalget som lå til grunn for evalueringen av øvrig sortiment er hentet fra alle de tre varegruppene – "Kontorrekvisita, Skolerekvisita, Datarekvisita", "Kopieringspapir" og "Toner, trommel, blekk". Innklagede mener at 29 produkter uansett var et tilstrekkelig utvalg, ut fra at leverandørene har fra 8000-15000 produkter i sitt sortiment, og viser til at klagenemnda i sak 2008/191 aksepterte et utvalg på 10 stikkprøver av 7000-10000 produkter. Klager har på sin side estimert at omtrent 40-50 % av leverandørenes sortiment er likt, og mener at det med et slikt utvalg merkevarer med rimelighet må forventes at innklagede kunne ha funnet flere sammenlignbare produkter.

(64)Det forhold at prøvene utgjør en liten andel av det samlede vareantallet, er ikke i seg selv tilstrekkelig til å underkjenne utvalget som ikke representativt, jf. til sammenligning

klagenemndas sak 2008/191. Kravene til fremgangsmåten ved stikkprøver begrenset også innklagedes muligheter til å erstatte produkter som ble utelatt fra den opprinnelige listen med andre produkter i leverandørenes øvrige sortiment. Klager har ikke begrunnet anførselen nærmere, og slik saken fremstår på bakgrunn av saksdokumentene, er det ikke holdepunkter for at utvalget ikke var representativt. Klagers anførsel fører ikke frem. Stikkprøver – sammenlignbare produkter

(65)Klager anfører at innklagede også har brutt regelverket ved at kun 19 av de 29 produktene i stikkprøveutvalget faktisk er sammenlignbare. Klager har i denne forbindelse fremlagt et hjelpedokument for klagenemnda, der det er kommentert forskjeller mellom valgte leverandørs og klagers produkter. Kommentarene gjelder i all hovedsak at én tilbyder har tilbudt en merkevare, der den andre har tilbudt en egenprodusert vare. Klager hevder at så lenge det ikke sammenlignes identiske produkter, vil det være forskjeller selv om de tilsynelatende har samme funksjon – eksempelvis i produksjonsmetode, materiale og sertifiseringer, noe som påvirker pris.

(66)Innklagede hevder at de 10 omstridte produktene var sammenlignbare, og viser til at produktene har tilsvarende kvalitet og lik funksjonalitet, uavhengig av merkenavn. Innklagede har for øvrig konkret imøtegått de enkelte av klagers innsigelser, og har vist at noen beror på feil, og at andre er ubegrunnede.

(67)Klagenemndas skriftlige saksbehandling er ikke særlig godt innrettet mot slike vurderinger som i noen grad forutsetter særlig fagkunnskap og umiddelbar bevisføring. Klagenemnda er enig med innklagede i at kvalitet og funksjonalitet er relevante som styrende elementer for hvilke produkter som kunne sammenlignes. Om varene er egenproduserte eller ikke, kan ikke uten videre være av avgjørende betydning for om de lar seg sammenligne. Det er heller ikke uten videre slik at produkter må ha identiske miljøsertifiseringer for å være sammenlignbare.

(68)Slik saken fremstår på bakgrunn av en gjennomgang av saksdokumentene, er det ikke grunnlag for å underkjenne innklagedes vurdering av at produktene kunne sammenlignes. Klagers anførsel fører derfor ikke frem. Evalueringen av tildelingskriteriet pris – valg av modell

(69)Klager har anført at innklagede har brutt regelverket ved valget av evalueringsmodell. Klager mener at modellen har gitt resultater som ikke reflekterer relevante forskjeller mellom tilbudene.

(70)Tildelingskriteriet "Pris" skulle vurderes ut fra to underkriterier, som forenklet kan omtales som to ulike varekurver. En varekurv med kjernesortiment; konkrete produkter som skulle prises i det vedlagte prisskjemaet, og en varekurv med øvrig sortiment. Sistnevnte skulle evalueres ved "et representativt utvalg stikkprøver". Det var opplyst at kjernesortimentet ville veie tyngre enn øvrig sortiment i evalueringen.

(71)Innklagede regnet om tilbudsprisene i hver av de to varekurvene til poeng for å sammenligne tilbudene, se avsnitt (12) ovenfor. Klager mener at dette medførte at relevante forskjeller mellom tilbudene ikke ble reflektert i evalueringen, og viser til at klagers tilbud er klart billigere enn valgte leverandør ved en summering av prisene i de to varekurvene.

(72)Prisskjemaet for kjernesortimentet anga at disse prisene reflekterte et antatt årsforbruk. For øvrig sortiment var det imidlertid ikke opplysninger som tilsa at prisene skulle representere et årsforbruk – sammenligningen skulle nettopp baseres på "et representativt utvalg". Ettersom prisen for de to varekurvene ikke var beregnet på grunnlag av sammenlignbare volum, ville en summering av prisene i de to varekurvene derfor ikke reflektere en årlig kostnad for innklagede. Dette underbygges av at anskaffelsens beregnede årlige verdi var mer enn 5x klagers summerte pris. Konkurransegrunnlagets opplysning om at kjernesortimentet ville veie tyngre enn øvrig sortiment, ga også leverandørene holdepunkter for at innklagede ville gjøre separate prissammenligninger under de to kriteriene, før de ble sammenstilt.

(73)Det kan etter dette verken anses overraskende eller uforsvarlig at innklagede omregnet prisene i hver av varekurvene til poeng for deretter å beregne en samlet poengsum på priskriteriet. Den innbyrdes vektingen av varekurvene (60% på kjernesortiment og 40% på øvrig sortiment) må videre antas å ligge innenfor rammene som ble trukket opp i konkurransegrunnlaget. Klagers anførsel fører derfor ikke frem.

(74)Klager har også anført at innklagede har brutt regelverket ved bruk av formelen for omregning av priser til poeng i evalueringen av de to varekurvene. Innklagede benyttet her den såkalte forholdsmessige metoden. Laveste pristilbud ble ved hvert av de to underkriteriene gitt maksimal poenguttelling (10). De øvrige tilbudenes poeng ble regnet ut som følger: Poeng = 10 * laveste pris / den aktuelle tilbudsprisen.

(75)I vurderingen av denne anførselen har klagenemnda delt seg i et flertall og et mindretall.

(76)Klagenemndas flertall, nemndsmedlemmene Fløistad og Wahl, viser til at den forholdsmessige evalueringsmodellen var gjenstand for klagenemndas vurdering i sak 2014/95, som ble behandlet som en stornemndssak. Nemnda skrev at modellen "er ikke i seg selv ulovlig å benytte ved evalueringen", men at bruken av den må underlegges testen som EU-domstolen har foreskrevet i sak C-331/04 (ATI). Dette innebærer at fastsettelse av evalueringsmodellen er ulovlig dersom modellen, hvis den hadde vært kjent på forhånd, kunne hatt betydning for tilbudsutformingen, hvis den endrer tildelingskriteriet, eller hvis den blir valgt basert på forhold som kan virke diskriminerende overfor en av tilbyderne. Også generaladvokaten i sak C-6/15, som ennå ikke er avgjort av EU-domstolen, mener at denne tilnærmingen må benyttes når det gjelder evalueringsmodeller som ikke er tilkjennegjort overfor tilbyderne på forhånd.

(77)Konkurransegrunnlaget inneholdt en rekke opplysninger om tildelingskriteriet pris, og hvordan evalueringen av dette ville skje. Det var imidlertid enkelte usikkerhetsfaktorer, herunder hvilken modell innklagede ville benytte for å sammenligne ulike priser, og den innbyrdes vektfordelingen mellom underkriteriene. Det var også en del usikkerhetsfaktorer knyttet til evalueringen av varekurven for øvrig sortiment, som behandlet ovenfor. Utformingen av pristilbudene ble altså gjort på noen kjente, og noen ukjente premisser. Klager har imidlertid ikke forklart hvordan priskriteriet ble forstått av klager ved utformingen av tilbudet, og hvordan disse premissene påvirket tilbudet. Det er heller ikke begrunnet hvordan den aktuelle evalueringsmodellen, dersom klager på forhånd hadde visst at denne ville bli brukt, kunne ha ført til at klager hadde tilbudt andre produkter eller priser. Klager har hevdet at tildelingskriteriet er endret, basert på at forskjellene mellom tilbydernes samlede tilbudssummer ved de to varekurvene, skulle ha gitt en større poengmessig differanse. Som det fremgår ovenfor, måtte imidlertid

konkurransegrunnlaget forstås slik at tilbudsprisene i hver av de to varekurvene ville vurderes separat før de ble sammenlignet.

(78)Den aktuelle formelen som er brukt for å omregne priser til poeng har riktignok visse iboende svakheter, jf. også klagenemndas sak 2014/95. Den har en innbygget tendens til å favorisere tilbud med høyere priser (og høyere kvalitet). Grunnen er at modellen ikke er lineær, og desto dyrere tilbudene sammenlignet med laveste pris, gis det stadig mindre poengdifferanser for like prisintervaller. Som nemnda kom til i sak 2014/95 er likevel ikke bruken av modellen uten videre ulovlig. Den innebyggede tendensen i modellen er altså ikke alene tilstrekkelig til å konstatere at tildelingskriterienes vekt ble endret.

(79)Innklagede gjorde en rekke grep når det gjaldt evalueringen av tilbudsprisene. Som nevnt var flere av dem gjort kjent i konkurransegrunnlaget. I tillegg til formelen for poengutregning, ble poengsummene multiplisert med vektene for hvert av underkriteriene (60 og 40 %), og disse poengsummene ble oppskalert slik at beste pristilbud oppnådde 10 poeng, før denne poengsummen igjen ble multiplisert med tildelingskriteriets vekt. Innklagede har også forklart at den forholdsmessige modellen ble anvendt ved evalueringen av de øvrige tildelingskriteriene, herunder ved omregning fra summerte kvalitetskarakterer til poeng. Klager har i begrenset grad kommentert disse valgene, eller vist på hvilken måte de innebærer en endring av tildelingskriteriets vekt eller på annen måte representerte en ulovlig konkretisering av tildelingskriteriet. Evalueringen viste for øvrig at klagers og valgte leverandørs tilbud var rimeligst ved hvert sitt underkriterium. Det skilte også mye mellom tilbudsprisene. Klagers tilbud var over dobbelt så dyrt som valgte leverandørs når det gjaldt øvrig sortiment, hvilket etter omstendighetene kan skape problemer ved bruk av lineære modeller.

(80)Klagenemndas flertall har på denne bakgrunn kommet til at klagers anførsler ikke gir grunnlag for å underkjenne innklagedes valg ev evalueringsmodell. Klagers anførsel fører derfor ikke frem.

(81)Klagenemndas mindretall, nemndsmedlem Trygstad, er enig i at bruken av den forholdsmessige metoden i denne saken ikke bryter med vilkårene som kan utledes av EU-domstolens avgjørelse i sak 331/04 (ATI). Mindretallet kan også et stykke på vei slutte seg til flertallets vurderinger av disse vilkårene.

(82)Mindretallet mener imidlertid at innklagede ikke har vist at den valgte evalueringsmetoden gir tilbudene en uttelling på tildelingskriteriet "Pris" som gjenspeiler relevante forskjeller mellom tilbudsprisene.

(83)Den rettslige prøvingen av oppdragsgivers valg av metode for evaluering av tildelingskriteriene er begrenset. Høyesteretts avgjørelse i den såkalte NIDA-saken, inntatt i Rt 2007 side 1783, viser samtidig at det er enkelte rettslige rammer for de skjønnsmessige vurderingene ved evalueringen av tilbudene. Høyesterett uttalte følgende om domstolenes prøving av oppdragsgivers skjønn: "Når det gjelder den konkrete utmålingen av 0 poeng for de to kriteriene, anser jeg dette å tilligge kommunens skjønn, som ikke bør overprøves av domstolene. Skjønnet fremstår verken som vilkårlig eller sterkt urimelig, og støter heller ikke an mot kravene i anskaffelsesloven § 5 om forutberegnelighet, gjennomsiktighet og etterprøvbarhet."

(84)Klagenemnda har fulgt opp denne avgjørelsen og i flere saker lagt til grunn at heller ikke oppdragsgivers valg av evalueringsmodell kan være et utslag av vilkårlig eller sterkt urimelig skjønnsutøvelse, se for eksempel sakene 2010/148 avsnitt 64 flg. og 2012/41 avsnitt 39 flg. – begge med videre henvisninger.

(85)I sak 2012/41 kom klagenemnda til at innklagedes evaluering var vilkårlig. Klagenemndas vurdering er illustrerende for den rettslige kontrollen med slike vurderinger: "(42) Innklagede har ikke forklart hvordan prispoengene er beregnet, eller begrunnet på hvilken måte resultatene av evalueringen gjenspeiler relevante forskjeller mellom pristilbudene. Det kan synes som om prispoengene er fastsatt skjønnsmessig mellom 1 og 6, uten hensyn til de forholdsmessige prisdifferansene mellom tilbudsprisene. Selv om den prosentvise forskjellen mellom pris og poeng ikke nødvendigvis må samstemme for at evalueringen kan anses forsvarlig eller gjenspeile relevante prisforskjeller, jf. blant annet klagenemndas saker 2008/67 premiss (51) og 2011/176 premiss (70), fremstår resultatene i foreliggende sak som vilkårlige, jf. også sak 2011/1 premiss (39) og 2009/192 premiss (26). Når forskjellene mellom pristilbudene har fått en så høy poengmessig differanse, og uten at innklagede har godtgjort hvordan poengtildelingen gjenspeiler relevante prisforskjeller, finner klagenemnda at tildelingsevalueringen var vilkårlig."

(86)Hvilken metode oppdragsgiver benytter for evalueringen av tildelingskriteriene, vil som oftest få betydning for hvor mange poeng tilbudene får i evalueringen. Uansett hvilken metode som benyttes, vil tilbudet som bedømmes som best på et tildelingskriterium få bedre uttelling enn de øvrige i evalueringen av dette kriteriet. Valg av evalueringsmetode spiller derimot inn på hvilke poengutslag differansene mellom det beste tilbudet og de øvrige gis i evalueringen. Konsekvensene ved valg av evalueringsmetode blir derfor først synlige når tildelingskriteriene (og underkriteriene) holdes opp mot hverandre i den samlede vurderingen av hvilket tilbud som er det økonomisk mest fordelaktige.

(87)Hvis oppdragsgiver velger en evalueringsmetode hvor tilbudenes uttelling på tildelingskriteriene ikke gjenspeiler de relevante forskjellene mellom tilbudene, vil metoden ikke være egnet til å identifisere det økonomisk mest fordelaktige tilbudet. Mindretallet forstår det slik at denne vurderingen er en operasjonalisering av den rettslige prøvingen Høyesterett la opp til i NIDA-saken.

(88)I en jevn konkurranse kan valg av evalueringsmetode få avgjørende betydning for hvilket tilbud som vurderes som det økonomisk mest fordelaktige. Hvilken evalueringsmetode som benyttes, er dermed relevant for leverandørene. Dette er grunnen til at valg av metode skal oppfylle vilkårene som er trukket opp i ATI-saken for å beskytte leverandørenes interesser.

(89)Valg av metode er imidlertid vel så sentralt for oppdragsgiver for å sikre at kontrakt inngås på bakgrunn av det beste tilbudet. Feil valg av metode kan gi oppdragsgiver en dårligere og/eller dyrere leveranse enn det de innkomne tilbudene ga grunnlag for.

(90)Ettersom valg av evalueringsmetode kan få stor innvirkning på utfallet av konkurransen, må oppdragsgiver ha et bevisst forhold til valg av metode. Dette innebærer at oppdragsgiver som et minimum må ha gjort en overordnet vurdering av konsekvenser ved bruk av ulike metoder, og en vurdering av om den metoden som benyttes er egnet. I

denne vurderingen må oppdragsgiver ha tatt i betraktning de utslagene den valgte metoden får for beregningen av tilbudenes poenguttelling på kriteriene. Oppdragsgivers valg av evalueringsmetode må derfor også vurderes opp mot kravene om at skjønnsutøvelsen ikke skal være vilkårlig eller sterkt urimelig. Selv om det er et delvis overlapp mellom denne vurderingen og vurderingen av ATI-kriteriene, er vurderingene ikke nødvendigvis sammenfallende. Vilkårene er ulike, og det er til dels ulike interesser som beskyttes.

(91)I de tilfellene spørsmålet aktualiseres, for eksempel gjennom en klagesak, forstår altså mindretallet det foreliggende rettskildegrunnlaget slik at oppdragsgiver skal kunne vise at valg av metode er gjennomtenkt, og at den valgte metoden var egnet til å identifisere relevante forskjeller mellom tilbudene.

(92)Uten at det har avgjørende betydning, legger mindretallet til at oppdragsgiver også må antas å ha klart bedre forutsetninger for å vise hvorfor metoden er egnet enn leverandørene har for å påvise mangler ved den valgte metoden. Ettersom oppdragsgiver uansett skal ha foretatt en vurdering av modellens egnethet som en del av tildelingen av kontrakt, kan det heller ikke anses særlig byrdefullt å forklare metodevalget hvis spørsmålet kommer på spissen.

(93)Klager har anført at den valgte metoden ikke var anvendelig til å identifisere det økonomisk mest fordelaktige tilbudet. Under saksforberedelsen har innklagede anført at den valgte metoden var egnet, og at tilbudenes uttelling gjenspeiler relevante forskjeller mellom tilbudsprisene. Som forklaring på hvorfor metoden var egnet, har innklagede opplyst følgende: "Valg av evalueringsmodell er avhengig av tilbudenes relative forhold til hverandre, ved at enkelte modeller ikke er anvendelige når enkelte tilbud er over dobbel så dyre som andre. I denne konkrete sak ville eksempelvis ikke en lineær modell vært anvendelig, da Lyreco for øvrig sortiment var 129 % dyrere enn billigste tilbud fra Staples AS. Lyreco ville etter en lineær modell fått minuspoeng, men TFK har ikke i konkurransegrunnlaget åpnet for negativ poengsum."

(94)Slik mindretallet ser det, er ikke dette en treffende begrunnelse for at en lineær metode er uegnet. Evaluering ved bruk av den lineære metoden forutsetter ofte en konkret vurdering av hvilke ytterpunkter som skal gjelde for poengskalaen. Det kan heller ikke ut fra praksis utledes et generelt krav om at leverandørene skal informeres i konkurransegrunnlaget for at oppdragsgiver skal kunne gi minuspoeng i evalueringen.

(95)Avgjørende for at mindretallet mener at innklagede har brutt regelverket, er likevel at innklagede ikke har vist at den metoden som faktisk ble valgt gir tilbudene en uttelling som gjenspeiler de relevante forskjellene mellom tilbudsprisene. Selv om det skulle være slik innklagede mener, at den lineære metoden ikke var egnet, innebærer ikke det uten videre at den forholdsmessige metoden er (bedre) egnet.

(96)Den forholdsmessige metoden gir store poengutslag når det er små differanser mellom tilbudet med lavest pris og andre tilbudspriser. Når forskjellen mellom lavest pris og øvrige tilbudspriser er større, vil derimot prisøkninger gi lite utslag i poengscoren. Bruk av metoden vil derfor føre til at nivået på den laveste tilbudsprisen er styrende for de øvrige tilbudsprisenes uttelling. Videre vil metoden føre til større poengutslag i intervallet nært opp til den laveste prisen, og små poengutslag ved høyere tilbudspriser. Sagt på en

annen måte kjennetegnes den forholdsmessige metoden ved at prisforskjeller gis forskjellig uttelling på ulike steder i skalaen.

(97)Til tross for at innklagede gjennom klagesaken har hatt en klar oppfordring, kan ikke mindretallet se at det er forklart hvorfor den forholdsmessige metoden var egnet i denne konkurransen. I foreliggende sak var det store avstander mellom tilbudsprisene som ble vurdert. Valgte leverandørs pris for kjernesortimentet var kr. 2 446 304 og klagers pris var kr. 1 348 960. For øvrig sortiment var valgte leverandørs pris kr. 29 305 og klagers pris kr. 67 347. Konsekvensene ved bruk av den forholdsmessige metoden ved evalueringen av de to varekurvene er ikke berørt i innklagedes omfattende innlegg til klagenemnda.

(98)Etter mindretallets vurdering etterlater innklagedes redegjørelser etter dette begrunnet tvil om den valgte metoden var egnet til å identifisere det økonomisk mest fordelaktige tilbudet. Slik saken er opplyst, mener mindretallet derfor at tildelingsevalueringen var vilkårlig.

(99)Avslutningsvis legger mindretallet til at denne feilen kan tenkes reparert ved at innklagede viser hvordan den valgte evalueringsmetoden gir utslag som gjenspeiler relevante forskjeller mellom tilbudene. Alternativt kan feilen muligens repareres ved at innklagede gjennomfører en ny evaluering av tilbudene som foreligger, med en metode som er egnet til å identifisere det økonomisk mest fordelaktige tilbudet.

Konklusjon

Troms fylkeskommune har ikke brutt regelverket om offentlige anskaffelser.

For Klagenemnda for offentlige anskaffelser, Kristian Jåtog Trygstad

Refererte rettskilder

  • FOA 2006 § 22-2 — Krav til tildelingskriterier, herunder tilknytning til kontraktsgjenstanden og krav til underkriterier
  • FOA 2006 § 2-1 — Anvendelsesområde – anskaffelsens art og verdi, del I og III
  • FOA 2006 § 2-2 — Terskelverdier – grunnlag for at del III kom til anvendelse
  • LOA 1999 § 5 — Grunnleggende prinsipper om forutberegnelighet, likebehandling og gjennomsiktighet
  • C-331/04 (ATI EAC e Viaggi di Maio) — ATI-testen: vilkår for lovlig etterfølgende konkretisering av tildelingskriterier og evalueringsmodell
  • C-226/09 (Kommisjonen mot Irland) — Risiko for diskriminering ved endringer etter tilbudsåpning
  • C-6/15 (TNS Dimarso) — Generaladvokatens uttalelse om evalueringsmodeller som ikke er tilkjennegjort på forhånd; saken var under behandling på avgjørelsestidspunktet
  • KOFA 2014/95 — Stornemndssak: den forholdsmessige evalueringsmodellen er ikke i seg selv ulovlig, men må undergis ATI-testen
  • KOFA 2012/25 — Vilkår for lovlig bruk av stikkprøver ved prisevaluering
  • KOFA 2015/75 — Lav terskel for å konstatere diskriminering ved etterfølgende konkretisering av tildelingskriterium
  • KOFA 2012/172 — Forbud mot å evaluere samme produkt to ganger under ulike kriterier
  • KOFA 2008/191 — Forutberegnelighet ved stikkprøveevaluering; aksept av utvalg på 10 stikkprøver av 7 000–10 000 produkter
  • KOFA 2012/41 — Evalueringsmodell som ikke gjenspeiler relevante forskjeller mellom tilbud anses vilkårlig
  • KOFA 2010/148 — Rettslig kontroll med oppdragsgivers valg av evalueringsmodell

Lignende saker

KOFA 2016/73
KOFA 2016/73: Volumtall og likebehandling ved rammeavtale
KOFA fant at Forsvarets logistikkorganisasjon ikke hadde plikt til å oppgi historiske volumtall per enkeltartikkel i en konkurranse om...
KOFA 2024/824
KOFA 2024/824: Ulovlig omgjøring av tildelingsbeslutning
Stavanger kommune omgjorde en tildelingsbeslutning for tømrertjenester på fredede bygg og tildelte kontrakten til en ny leverandør. KOFA...
KOFA 2018/341
KOFA 2018/341: Re-evaluering og kredittrating (Stange kommune)
Stange kommune gjennomførte en ny evaluering etter at den opprinnelige tilbudsevalueringen ble funnet ulovlig. Klagenemndas flertall godtok...
KOFA 2023/0975
KOFA 2023/0975: Svakt prisskjema brøt likebehandling
KOFA fant at Oslo kommune brøt prinsippene om likebehandling og forutberegnelighet ved ikke å håndtere vesentlige svakheter i prisskjemaet...
KOFA 2012/52
KOFA 2012/52: Volumvekting av kvalitetskriterium i IKT-anbud
Klagenemnda for offentlige anskaffelser fant i sak 2012/52 at Skedsmo kommune ikke hadde brutt regelverket ved å evaluere...
KOFA 2018/329-2
KOFA 2018/329: Re-evaluering av tilbud og kredittkrav
KOFA behandlet tre forente klager mot Stange kommunes re-evaluering av tilbud på rammeavtaler for møbler verdt 74 millioner kroner....
KOFA 2020/294
KOFA 2020/294: Ulovlig stikkprøveevaluering – avlysningsplikt
KOFA fant at Kriminalomsorgsdirektoratet brøt anskaffelsesregelverket da stikkprøveutvalget for tildelingskriteriet «Rabatt øvrig sortiment»...
KOFA 2021/121
KOFA 2021/121: Avklaring og tildelingsevaluering av AV-utstyr
Klagenemnda for offentlige anskaffelser fant i sak 2021/121 at Bufetat Senter for administrasjon og utvikling ikke hadde brutt...

Ofte stilte spørsmål

Kan oppdragsgiver holde stikkprøveutvalget hemmelig for tilbyderne ved prisevaluering?
Ja, etter KOFAs praksis kan de konkrete produktene i et stikkprøveutvalg holdes tilbake dersom offentliggjøring ville åpne for taktisk prising. Forutsetningene er at metoden er opplyst i konkurransegrunnlaget, at utvalget er rimelig representativt, og at de konkrete produktene og fremgangsmåten er fastlagt av oppdragsgiver før tilbudene åpnes. Dette ble bekreftet i KOFA 2016/33 med henvisning til tidligere praksis, blant annet sak 2012/25.
Er det lov å justere stikkprøveutvalget etter at tilbudene er åpnet?
Det er en begrenset adgang til dette, men krav til begrunnelse er streng. I KOFA 2016/33 aksepterte flertallet reduksjon fra 51 til 29 produkter fordi begrunnelsen var saklig – produktene manglet sammenlignbare alternativer hos alle tilbydere, eller var allerede priset i kjernesortimentet. Klagenemnda understreket at slike endringer innebærer en iboende risiko for favorisering, og at det skal lite til før en etterfølgende konkretisering anses diskriminerende, jf. ATI-testen fra EU-domstolen i sak C-331/04.
Hva er den forholdsmessige evalueringsmodellen, og når kan den brukes?
Den forholdsmessige modellen (også kalt ratio-metoden) beregner poeng etter formelen: poeng = maksimumspoeng × laveste pris / tilbudspris. Modellen er ikke i seg selv ulovlig etter FOA 2006, men må oppfylle ATI-kriteriene fra EU-domstolen: den kan ikke endre tildelingskriteriet, ikke ha kunnet påvirket tilbudsutformingen dersom den var kjent på forhånd, og ikke være valgt på diskriminerende grunnlag. KOFAs mindretall i sak 2016/33 presiserte at oppdragsgiver bør dokumentere at modellen er egnet til å gjenspeile relevante prisforskjeller, særlig der prisavstandene mellom tilbyderne er store.
Dette er et søkeverktøy for å finne og forstå KOFA-praksis. Sammendraget er AI-generert på grunnlag av KOFAs egen avgjørelsestekst (gjengitt i sin helhet over). Det erstatter ikke juridisk vurdering av konkrete saker.
Laster...