KOFA 2009/51: Dokumentasjonskrav og vilkårlig evaluering

2009/51 NAV Drift og utvikling

Innklaget: NAV Drift og utvikling

Klager: LVI Norge AS

Avgjørelse: Brudd på regelverket

Type sak: Rådgivende sak

Klagenemnda for offentlige anskaffelser Innklagede gjennomførte en åpen anbudskonkurranse for anskaffelse av rammeavtaler for synstekniske hjelpemidler, tilbehør og reservedeler samt service. Klagenemnda fant at innklagede har brutt kravene til etterprøvbarhet og giennomsiktighet i loven § 5 og forskriften § 3-1 (7) ved ikke å sikre at de vurderinger og den dokumentasjon som har hatt betydning for gjennomføring av konkurransen er sknftlig og mulig å fremlegge i ettertid. Videre fant klagenemnda at innklagede har brutt kravet til forutberegnelighet i loven § 5 ved åforeta en vilkårlig poengsetting av en produktpost. Klagenemndas avgjørelse 12. oktober 2009 i sak 2009/51 Klager: LVI Norge AS Innklaget: NAV Drift og utvikling Klagenemndas medlemmer: Andreas Wahl, Per Christiansen og Jakob Wahl. Saken gjelder: Mangelfull dokumentasjon av evaluering. Vilkårlig tildelingsevaluering og tildelingsprosess. Bakgrunn:

(1) NAV Drift og utvilding (heretter kalt innklagede) kunngjorde 18. januar 2008 en åpen anbudskonkurranse for anskaffelse av rammeavtaler for synstekniske hjelpemidler, tilbehør og reservedeler samt service. Tilbudsfristen var satt til 25. mars 2008. Anskaffelsen omfattet 15 ulike produktposter, hvor enkelte produktposter igjen var inndelt i flere underposter. Det skulle tildeles separat kontrakt per produktpost eller per underpost der slike var beskrevet. Tildelingsevalueringen skulle foretas av en egen referansegruppe. Denne klagen gjelder de postene der klager har deltatt i konkurransen, men ikke blitt tildelt kontrakt, jf. premiss 5 og i saksfremstillingen nedenfor.

(2) Fra konkurransegrunnlagets punkt 4, "Oppdragsgivers behandling av tilbudene", hitsettes følgende vedrørende punkt 4.6 Produktgjennomgang/-presentasjon: "Tilbudte produkter må på anmodning kunne stilles vederlagsfritt til disposisjon for nærmere vurdering av oppdragsgiver.

Postboks4 39 Sentrum Olav Kyrresgate8 postmottak@kofa.no

Oppdragsgiver tar sikte på at aktuelle tilbydere vil få anledning til en kort gjennomgang/presentasjon av noen av sine tilbudte produkter ved en produktgjennomgang i Oslo."

(3) Tildelingskriteriene fremkom av konkurransegrunnlagets punkt 5.1: "5.1 Tildelingskriterier Det vil bli foretatt en selvstendig evaluering og tildeling pr. produktpost eller pr. underpost der slike er beskrevet. En leverandør kan således tildeles kontrakt som omfatterf lere produktposter. Tildelingen skjer på grunnlag av hvilket tilbud som er det økonomisk mest fordelaktige i henhold til følgende tildelingskriterier: Tildelingskriterier Vekt Totalkostnadf or oppdragsgiver 35 % Kvalitet herunder brukervennlighet og funksjonelle egenskaper 65 % 5.1.2 Kvalitet (65 %) herunder brukervennlighet og funksjonelle egenskaper: For Forstørrende videosystemer (postene 1-5) vurderes herunderf ølgende: (cid:127) Hvor enkel betjeningen er (cid:127) Hvor god billedkvaliteten er (cid:127) Utslaget på leseplaten (cid:127) Mulighetf or regulering av arbeidshøyde (cid:127) Om det er programmerbar forstørrelse (cid:127) Hvor rask og enkel monteringen er (cid:127) Grad av mulighetf or tilpassing til flere brukeres behov (cid:127) Grad av mulighetf or gjenbruk"

(4) Fra kravspesifikasjonen hitsettes følgende vedrørende gjenbruk av produktene: "Punkt8 .0 GJENBRUK— R AMMEAVTALES ERVICE NAV tilstreber å ha en høy gjenbruksprosent av produktene som kjøpes. Leverandørene skal tilby gjenbruk av de enkelte produktene. Med gjenbruk menes at produktet settes i

stand slik at det fremstår som nytt. Vurderingen av hvorvidt produktene skal gjenbrukes gjøres av den enkelte hjelpemiddelsentral."

(5) Innen tilbudsfristens utløp mottok innklagede tilbud fra 9 leverandører, deriblant fra LVI Elektron Optikk AS (heretter kalt klager). Klagers tilbud omfattet følgende produktposter med underposter: 2, 3, 4, 5, 6, 11, og 15.

(6) Av referansegruppens udaterte evalueringsskjema fremgår det hvor mange poeng den enkelte tilbyder hadde fått totalt og på den enkelte underpost. Det fremgikk imidlertid ingenting om hvilke forhold innklagede hadde vurdert under den enkelte underpost.

(7) Den 12. desember 2008 ble det sendt ut meddelelse om kontraktstildeling. Det ble tildelt kontrakt(er) til totalt 7 av tilbyderne. Dette var henholdsvis til BoJo AS, GEWA AS, Handy Tech Norge AS, ProVista AS, SynSupport AS, Tagarno Norge AS og klager. Klager ble tildelt kontrakt på 1 av 2 underposter til produktpost 4, på 5 av 16 underposter til produktpost 5, på 1 av 3 underposter til produktpost 6, samt på produktpost 11. Tildelingsmeddelelsen var også vedlagt en oversikt over hvor mange poeng den enkelte tilbyder var gitt totalt på det enkelte tilbudte produkt, ledsaget av oppsummert begrunnelse for den enkelte produktpost.

(8) Klager påklaget tildelingsbeslutningen i brev datert 22. desember 2009, hvorav det også ble bedt om en utdypende begrunnelse på enkelte forhold. Fra klagen hitsettes følgende: "Det anføres at tildelingskriteriene er anvendt upresist og uriktig i forhold til kravspesifikasjonen i anbudet. Dette slår ut på en måte for LVI som gjør at konkurransen ikke er blitt reell. b. Post 4a LVI ber her om en utredning for hvordan man har sammenlignet produktene MagniLink Student Addition (heretter omtalt som MLSTA) og IDEA Solo. MLSTA har en hel rekke unike egenskaper, som: Systemet har både bilde og kraft fra kun en USB kabel (IDEA Solo kan benyttes opp til 6 timer før det må lades opp igjen) Systemet kan spille inn video (IDEA Solo kan ikke dette) Systemet er fleksibelt og kan kobles til både PC, datamonitor og TV Systemet er kompatibelt med Zoomtext og Windows Vista og fungerer bedre med denne kombinasjonen en det IDEA Solo gjør, som ikke kan benytte

kamerafunksjoner,s amtidig som Zoomtext programmet kjører (Zoomtext må deaktiveres ved bruk av kamera). Systemet har en memoryfunksjons om gjør at det "husker"i nnstillinger ved veksling mellom avstandskamera og nærkamera (feks. forskjellige zoominnstillinger, kontrast, positivt/negativt bilde) en funksjon som har blitt meget godt mottatt blant studenter og brukere. På bakgrunn av de nevnte forskjeller på disse produktene er LVI av den oppfatning at de dekker tildels ulike behov og derfor bør det være plass til begge kameraene under denne posten. Alternativt kan posten deles opp i flere underposter, slik som post 5. Helt til slutt ønskes en bekreftelse på at referansegruppen har testet LVI systemet riktig. 3. Karaktersetting LVI har vanskeligf or å forstå begrunnelsen som er gitt ved karaktersettingen og ber om en redegjørelse for denne. Hvordan kan kvaliteten på det samme produktet være forskjellig i 2 poster. Eksempel: MagniLinkM ira får i post 5B bra kvalitet, mens samme produkt i post 5F får akseptabel Kvalitet. [....1"

(9) Fra innklagedes brev vedrørende utdypende begrunnelse datert 6. januar 2009, hitsettes følgende: " b. Post 4a 1...] Noen av disse egenskaper som f eks at systemet kan spille inn video, at det er kompatibelt med Zoomtekst og Windows Vista er ikke kriterier som er stilt fra vår side og har ded'or ikke gitt ekstra uttelling i forhold til de andre produktene i konkurransen.

Når det gjelder referansegruppens kompetanse til å teste de forskjellige systemene riktig; kan vi opplyse om at referansegruppens mandat ikke er å teste de enkelte systemer men å vurdere disse ut i fra de tildelingskriterier som er gitt i konkurransegrunnlaget. Medlemmene av referansegruppen velges ut i fra at de besitter stor kompetanse på de områdene hvor hjelpemidler skal anskaffes. Medlemmene i denne referansegruppen er personer som til daglig arbeider med formidling av synstekniske hjelpemidler. Alle produktene er grundig gjennomgått ut fra de tildelingskriterier som er nevnt ovenfor. I tillegg vil vi informere om produktkravene som er stilt under punkt 2 i Kravspesifikasjonen, bilag 1.

(10) I brev av 23. januar 2009 fremsatte klager en revidert klage. Fra denne hitsettes følgende: "Selve evalueringen som er foretatt av NAV og grunnlaget for de poeng som er gitt innen kvalitetskriteriet for de enkelte produkter, er i liten grad dokumentert. Dette gjør at vurderingene ikke er etterprøvbare som følge av mangelfull dokumentasjon. Det foreligger for eksempel ikke noen forklaring for hvolfor produktet til LVI under punkt 4A, har fått vurderingen 5 på bildekvalitet, mens produktet IDEA solo har blitt gitt vurderingen 8 på bildekvalitet. NAV har ikke dokumentert de vurderinger som ligger bak de enkelte tilbydernes poengscore på kvalitet. Hensynet til etterprøvbarhet er ikke ivaretatt. Dette innebærer en feil ved vedtaket for beslutningen om tildelingen av kontraktene. Med mindre NAV kan dokumentere de manglene vi etterspør, anser vi at feilen er av en slik karakter at vedtakene er ugyldige. I klagen er det vist til at tilbudt produkt under post 4B. har egenskaper og kvaliteter som ikke har gitt utslag ved vurderingen. I begrunnelsen for vedtaket har NAV uttalt at egenskapene ikke har vært etterspurt, og at de dedbr ikke har gitt uttelling. LVI er av den oppfatning at egenskaper som videoinnspilling og kompatibilitet skal vektlegges under kulepunktene "Grad av mulighet for tilpasning til fiere brukeres behov" og "Grad av mulighet for gjenbruk". Produkter som er kompatible med ulik programvare, vil ha større anvendelsesområde og øke muligheten for gjenbruk "Kameraf ra samme leverandør har fått ulik vurdering" I post 5 har LVI levert inn MagniLink U systemet i forskjellige varianter i henhold til postens undergrupper. Lesekamera er identisk i alle modeller, men bedømmelsen av bildekvalitet er forskjellig.

LVI kan ikke se at det var grunn til å vurdere identiske kameraer ulikt. LVI ber om en nærmere redegjørelse for årsaken til at samme kamera får karakter for bildekvalitet som spriker fra karakter 5 til karakter 8. LVI ønsker å se dokumentasjonen som ligger til grunn for karaktergivningen. Det samme gjelder under punktet "Betjening". LVI ber om en begrunnelse for hvo?for modellene i underpostene 5C og 5D får karakter 10 svært bra. Mens modellene i postene 5E, G, I, J, K, L,M, N, 0 og P får poengscore 8 bra. Alle disse modellene betjenes med samme "kontrollboks". øvrige forhold ved anbudskonkurransens gjennomforing [ ...1 Visningen I forbindelse med visningen av produktene for referansegruppen, hadde oppdragsgiver ikke tilrettelagt for fremvisning av produktene på en tilstrekkelig hensiktsmessig og god måte. LVI som hadde en rekke produkter med i konkurransen hadde ikke fått egnet og tilstrekkelig plass til å vise disse frem. I forbindelse med at ulike produkter skulle leveres uten skjerm, var tilbyderne ikke informert om at tilbyderne skulle stille med skjerm ved fremvisningen. Det var således ikke orientert om hvilken type monitor som skulle benyttes. Produktene ble vurdert på bildekvalitet, og type skjerm som ble benyttet, ville innvirke på produktets vurdering. LVI leverte 37 produkter til konkurransen. Det ble gitt til sammen 32 minutter til fremvisning av disse produktene. Referansegruppen ble gitt anledning til å gå rundt å kikke på produktene, men uten veileding fra tilbyderne. Der den enkelte i referansegruppen ikke umiddelbart forsto eller fikk til å anvende produktet, ville produktets score bli lav. Det ble gitt for kort tid til presentasjon av det enkelte produktet, hvilket medførte at vurderingen av det enkelte produkt fikk preg av vilkårlighet."

(11) Innldagede besvarte den revidert klagen på følgende måte i brev av 5. februar 2009: "Vi kan se at det er uheldig at poengsettingen er vurdert ulikt i de forskjellige underpostene, og vi har på bakgrunn av dette vurdert saken på nytt og har funnet at det er korrekt å gi den samme poengsummen i alle de aktuelle underpostene i post 5. Poeng for bildekvalitet er satt til 8 poeng og poeng for betjening er satt til 10 poeng. Den nye poenggivningen gir imidlertid ikke noe utslag i det endelige resultatet for LVI. Nye resultater for postene blir da: 5 G 6,59 51 7,04 5 J 7,04 5 K 7,04 5 L 7,04 5 M 7,04 5 N 7,04 50 6,97 5 P 6,56 Vedrørende punktet om visning skriver De at "Der den enkelte i referansegruppen ikke umiddelbart forsto eller fikk til å anvende produktet, ville produktets score bli lav. Det ble gitt for kort tid til presentasjon av det enkelte produktet, hvilket medførte at vurderingen av det enkelte produkt fikk preg av vilkårlighet". Slik tidligere meddelt er medlemmene av referansegruppen valgt ut ifra at de besitter stor kompetanse på de områdene hvor hjelpemidler anskaffes. Medlemmene i denne referansegruppen er personer som til daglig arbeider med formidling av synstekniske hjelpemidler. Alle produktene er grundig gjennomgått ut fra de tildelingskriterier som er nevnt ovenfor. Vår oppfatning er at det ble satt av tilstrekkelig tid for leverandørene til å presentere sine produkter. Når det gjelder post 4 B hvor man mener at tilbudt produkt ikke har fått uttelling for sine unike egenskaper i forhold til vinnende produkt, opprettholder vi vårt syn gitt i brev av 06.01.2009. Vi kan ikke se at det er fremkommet slike innvendinger til vårt beslutning om å tildele kontrakt at det vil føre til at vi vil endre på de beslutninger som er gjort i tidligere tildelingsbrev i desember 2008."

(12) Saken ble brakt inn for klagenemnda for offentlige anskaffelser i brev av 23. februar 2009.

(13) Kontrakt med de ulike tilbydeme ble inngått den 1. mars 2009.

(14) I forbindelse med saksforberedelsen for klagenemnda, ble innklagede i e-post av 6. oktober 2009 fra klagenemndas sekretariat, bedt om å dokumentere hvordan post 5 var vurdert etter klagers reviderte klage på denne i brev av 23. januar 2009, jf. innklagedes brev av 5. februar 2009. Fra innklagedes svar til klagenemnda i e-post av 7. oktober 2009 hitsettes følgende: "Vi har ikke dokumentert de "nye vurderingene" i tilknytning til post 5. Som jeg skrev i mitt tilsvar av 29.04. 2009 bedømte vi "bildekvalitet" og "betjening" selvstendig for hvert produkt i post 5, selv om referansegruppen "trodde at lesekameraene kunne være identiske for alle produktene til LIVI i denne posten". Dette er bakgrunnen for den ulike poenguttellingen. I ettertid, da det ble brakt på det rene at lesekameraene var identiske, fant vi at det kunne oppfattes som noe uheldig at det ikke ble gitt lik poengsum for alle LIVIs produkter under underkriteriene "bildekvalitet" og "betjening"i post 5 - noe vi også gav uttrykk for i vårt brev av 05.02. 2009. Da vi i sistnevnte brev isteden gav LIVIs produkter hhv. 8 og 10 poeng for de aktuelle underkriteriene, var dette ikke som en følge av en annullering etter FOA § 22-3 (2) (som hadde forutsett nye vurderinger som måtte vært etterprøvbare). Tvert imot var det kun en "prøve"f or å vise at LIVI ikke ville nådd opp selv om de fikk sine beste poeng under for alle produktene i post 5. At det var dette vi mente fremkommer for øvrig av vårt tilsvar av 29.04. 2009, hvor vi gav uttrykk for at dette bare var ment som et bevis for at ulikhetene ikke ville få noen praktiske konsekvenser. "Selv om man hadde gitt 8 poeng for bildekvaliteten på alle de aktuelle produktene i post 5, samt gitt 10 poeng for betjeningen hos de aktuelle produktene i post 5, ville ikke klager nådd opp i noen av de underpostene klageren har klaget over". Dessuten ville det være påfallende om leverandøren ved en ny evaluering fikk 8 for "bildekvalitet" og 10 for "betjening",d a de opprinnelige poengene varierte mellom hhv. 5 til 8 poeng og 8 til 10 poeng. Bakgrunnen for de nye poengene var bare at man ville vise at selv om klager fikk sine beste poeng for "bildekvalitet"o g "betjening",v ille dette ikke gitt uttelling i konkurransen."

(15) Sekretariatet etterspurte også innklagedes e-post av 16. mai 2008, som innklagede har henvist til i sitt tilsvar til klagenemnda under punktet om vilkårlig tildelingsprosess. Innldagede har imidlertid ikke vært i stand til å gjenfmne denne e-posten.

Anførsler: Klagers anførsler: Mangelfull dokumentasjon av tildelingsevalueringen

(16) Klager anfører at innklagede har brutt kravet til etterprøvbarhet i loven § 5, 3. ledd og forskriften § 3-1 (7) ved kun i liten grad å ha dokumentert den tildelingsevaluering som er foretatt og grunnlaget for de poeng som er gitt innen kvalitetskriteriet for de enkelte produkt.

(17) Som eksempel vises til at innklagede ikke har gitt noen forklaring på hvorfor produktet til klager under punkt 4A har fått vurderingen 5 på billedkvalitet, mens produktet LDEA Solo har blitt gitt vurderingen 8 på billedkvalitet. Det pekes videre på at i kategori 2C, der klager har med MagniLink X19 Widescreen, fmnes det ikke dokumentasjon som viser vurderingen av kvalitet. Vilkårlig tildelingsevaluering

(18) Klager anfører at innklagede har brutt kravene til likebehandling, forutberegnelighet, proporsjonalitet og god forretningsskikk i loven §§ 1 og 5 og i forskriften § 3-1 (5) og

(6) ved at innklagedes vurdering av de enkelte produktene i konkurransen ikke har vært tilstrekkelig grundig og betryggende. Det skjønn som er utvist bærer preg av vilkårlighet. Dette er nærmere konkretisert i klagen på følgende måte:

(19) InnIdagede har ikke i evalueringen av underkriteriene "Grad av tilpasning til flere brukeres behov" og "Grad av mulighet for gjenbruk" i post 4A lagt vekt på hvorvidt de tilbudte produktene har videoinnspillingsfunksjon eller er kompatible med de vanligst forekommende hjelpemiddelprogrammene Zoomtext, Lunar, LunarPlus og SuperNova og fungerer like bra om man anvender Windows XP eller Windows Vista. I følge klager vil produkter som er kompatible ha større anvendelsesområde og økt mulighet for gjenbruk.

(20) Klager viser også til at innklagede ved evalueringen av klagers tilbudte produkter i underpostene 5C til 5P har gitt ulike karakterer ved bedømmelsen av underkriteriene "Hvor god billedkvaliteten er" og "Hvor enkel betjeningen er", selv om de tilbudte kameraene i følge klager er identiske i alle underpostene. Dette gjelder også for underkriteriet "Hvor enkel betjeningen er", da alle de tilbudte kameraene betjenes med samme "kontrollboks". Selv om innldagede eventuelt har rettet opp i disse forholdene ved brevet av 5. februar 2009, mener klager at evalueringen fremdeles bærer preg av vilkårlighet. Vilkårlig tildelingsprosess

(21) Klager anfører at måten tilbyderne har fått fremvist sine produkter på har vært vilkårlig. Dette underbygges nærmere på følgende måte:

(22) For det første vises det til at tilbyderne, i forbindelse med at ulike produkter skulle leveres uten skjerm, ikke fikk informasjon om at de skulle stille med skjerm ved fremvisningen eller hvilken type monkor som skulle benyttes. Når produktets billedkvalitet vurderes, har det etter klagers mening betydning hvilken type skjerm som blir benyttet. Det hevdes at klagers produkter har fått dårlig score på billedkvalitet som følge av at man måtte benytte en ekstern skjerm ved fremvisningen.

(23) For det andre vises det til at klager kun fikk 32 minutter til å fremvise sine 37 tilbudte produkter, noe som etter klagers mening var alt for kort tid.

(24) For det tredje vises det til at tilbyderne ikke fikk anledning til å veilede referansegruppen når denne gikk rundt og kikket på produktene. Produktets score ble dermed lav der den enkelte i referansegruppen ikke umiddelbart forsto eller fikk til å anvende produktet. Innklagedes anfØrsler: Mangelfull dokumentasjon av tildelingsevalueringen

(25) Innklagede erkjenner at regelverkets bestemmelser om etterprøvbarhet er brutt, idet evalueringen ikke er tilstrekkelig dokumentert. Dokumentasjonen som ble nedtegnet i form av notater hos det enkelte medlem av referansegruppen i forbindelse med evalueringen, er ikke lenger tilgjengelig. Vilkårlig tildelingsevaluering

(26) InnIdagede bestrider at det foreligger brudd på de grunnleggende kravene som anført av klager. Tilsvaret til innklagede baserer seg på opplysninger fra et medlem av referansegruppen vedrørende de vurderingene gruppen foretok under evalueringen.

(27) Når det gjelder underkriteriet "Grad av mulighet for tilpasning til flere brukeres behov" i post 4A, vises det til at poengsummen 10 skulle reserveres for spesielt gode produkter. Klagers produkt fikk 9 poeng. I evalueringen ble muligheten for kompatibilitet med operativsystemer og programvare vektlagt, men også andre forhold som tilkoblingsmuligheter og produktets fysiske utforming. Klagers produkt fikk uttelling for egenskapen kompatibilitet med Windows XP og Vista på lik linje med andre produkter med den samme egenskapen, samt uttelling for kompatibiliteten med ulike skjermforstørringsprogrammer som Zoomtekst, Lunar, LunarPlus og SuperNova. For så vidt gjelder videoinnspillingsfunksjon, vises det til at produktet brukes til å avhjelpe en funksjonshemning i forbindelse med undervisningsformål i ungdomskolen og i høyere undervisningstrinn. Siden videoinnspillingsfunksjon vil kunne anvendes uten at lærere og medelever gjøres oppmerksom på det, var referansegruppen enige i at en slik funksjon ikke burde honoreres siden den kunne misbrukes. Innklagede viser til at klagers produkt ikke fikk toppscore på dette underkriteriet ut i fra en totalvurdering av produktet.

(28) Når det gjelder poenguttellingen for underkriteriet "Grad av mulighet for gjenbruk" i post 4A, vises det til at gjenbruk er defmert i kravspesifikasjonen under punkt 8.0 som "med gjenbruk menes at produktet settes i stand slik at det fremstår som nytt." Om produktet hadde videoinnspillingsfunksjon, eller var kompatibelt med operativsystemer eller programvare, hadde ikke betydning for dette underkriteriet. Dette fordi disse funksjonene ikke fortalte noe om muligheten for å gjenskape produktet som "nytt". InnIdagede viser for øvrig til at klagers produkt fikk 8 poeng.

(29) Når det gjelder evalueringen av post 5, var oppfatningen til referansegruppen at lesekameraene kunne være identisk for alle produktene til klager i denne posten. Gruppen fant det imidlertid mest riktig å bedømme billedkvaliteten selvstendig for hvert produkt, siden den opplevdes som såpass forskjellig hos klagers ulike modeller. Innklagede viser til at det ble foretatt en individuell vurdering av hvert enkelt produkt for underkriteriet "Hvor enkel betjeningen er", hvor klager har fått mellom 8 og 10 poeng på de enkelte underpostene. Dette selv om disse produktene betjenes av samme "kontrollboks". Vilkårlig tildelingsprosess

(30) Når det gjelder hvorvidt innklagede har opplyst om at tilbyderne måtte stille med egen skjerm ved fremvisningen, vises det til e-post fra innIdagede til klager den 16. mai 2008, hvor det fremgår følgende: "Alle produktene må merkes med produktnavn, artikkelnr., produktpost(er) de er tilbudt i og tilbyders navn. Produktene må monteres slik at de er ferdige til bruk ved levering". Etter innIdagedes mening forutsetter dette at produktene skulle være ferdig montert til bruk da de skulle demonstreres. For de produktene hvor billedkvalitet var et tildelingskriterium, var det dermed forutberegnlig for leverandørene at de selv måtte vurdere om det var hensiktsmessig å skaffe til veie en ekstern skjerm for at presentasjonen skulle bli best mulig. Dersom leverandørene var usikre på dette, ville man enkelt ha kunnet kontakte oppdragsgiver og fått en avklaring.

(31) For så vidt gjelder tiden som innklagede avsatte til presentasjon av produktene, vises det til at klager fikk 40 minutter til sin presentasjon. I følge innldagede er en tilmålt tid på 30-40 minutter til å presentere produkter rikelig, og det er leverandørenes ansvar å disponere denne tiden riktig.

(32) I følge innldagede var det frivillig om leverandørene benyttet seg av muligheten til å presentere sine produkter, da kravet var at produktene fysisk ble stilt til presentasjon. Referansegruppen vurderte produktene etter at presentasjonsgjennomgangen var avsluttet, og benyttet i den forbindelse vedlagt bruksanvisning, monteringsanvisning og vedlikeholdsbeskrivelse. InnIdagede viser til at referansegruppen har høy kompetanse innen synstekniske hjelpemidler, og at den evner å foreta en fullt forsvarlig evaluering av alle produktene selv om leverandørene ikke skulle rekke å presentere alle sine produkter i løpet av den tilmålte tiden eller velger ikke å delta i produktgjennomgangen. Referansegruppen hadde en hel uke til å evaluere og prøve ut produktene.

Klagenemndas vurdering:

(33) Klager har deltatt i konkurransen og har saklig klageinteresse, jf. forskrift om Klagenemnd for offentlige anskaffelser § 6. Klagen er rettidig. Anskaffelsen følger etter sin opplyste verdi lov om offentlige anskaffelser av 16. juli 1999 nr 41 og forskrift om offentlige anskaffelser av 7. april 2006 nr 402 del I og III, jf. forskriften §§ 2-1 og 2-2. Mangelfull dokumentasjon av tildelingsevalueringen

(34) Klager har anført at innklagede har brutt kravet til etterprøvbarhet i loven § 5, 3. ledd og forskriften § 3-1 (7) ved kun i liten grad å ha dokumentert den tildelingsevaluering som er foretatt og grunnlaget for de poeng som er gitt innen kvalitetskriteriet for de enkelte produkt.

(35) Grunnleggende krav til alle anskaffelser fremgår av loven § 5 og forskriften § 3-1. Etter forskriften § 3-1 (7), om krav til etterprøvbarhet og gjennomsiktighet, skal oppdragsgiver "fortløpende sikre at de vurderinger og den dokumentasjon som har betydningf or gjennomføringen av konkurransene r sknftlig, slik at en tredjeperson eller et klageorgan i ettertid kan få en god forståelse av oppdragsgivers vurderinger og upartiskhet".

(36) Referansegruppens notater fra de vurderinger som ble foretatt i forbindelse med tildelingsevalueringen er ikke lenger tilgjengelige. Innklagede har erkjent at dette innebærer at regelverkets krav til etterprøvbarhet er brutt.

(37) Klagenemnda legger til grunn at innIdagede har brutt kravene til etterprøvbarhet og gjennomsiktighet i loven § 5 og forskriften § 3-1 (7) ved ikke å sikre at de vurderinger og den dokumentasjon som har hatt betydning for gjennomføring av konkurransen er skriftlig og mulig å fremlegge i ettertid. Vilkårlig tildelingsevaluering

(38) Klager har under dette punkt først anført at innklagedes evaluering av underpostene "Grad av tilpasning til flere brukeres behov" og "Grad av mulighet for gjenbruk" til produktpost 4A, ikke er tilstrekkelig grundig og betryggende, samt preget av vilkårlighet, da det i evalueringen ikke er hensyntatt hvorvidt de tilbudte produkt har videoinnspillingsfunksjon, eller om disse er kompatible med ulike hjelpemiddelprogrammer eller ulike operativsystemer. Etter klagers oppfatning utgjør dette et brudd på kravene til likebehandling, forutberegnelighet, proporsjonalitet og god forretningsskikk i loven §§ 1 og 5 og forskriften § 3-1 (5) og (6).

(39) Ved evalueringen av tilbudene basert på tildelingskriteriene skal oppdragsgiver ut fra kravet til forutberegnlighet i loven § 5 kun ta hensyn til de forhold som naturlig faller inn under de fastsatte tildelingskriteriene. Dersom det er fastsatt underkriterier, eller på annen måte presisert hvilke forhold som skal ha betydning ved evalueringen av det enkelte kriterium, vil oppdragsgiver være bundet av dette, jf. blant annet klagenemndas sak 2008/16. For øvrig har oppdragsgiver ved tildelingsevalueringen et relativt vidt

innkjøpsfaglig skjønn som kun i begrenset grad kan overprøves rettslig. Klagenemnda kan imidlertid prøve om skjønnutøvelsen har vært saklig og forsvarlig, i samsvar med regelverkets grunnleggende krav, samt bygd på riktig faktum, jf. for eksempel klagenemndas saker 2008/170, 2007/140 premiss 28 og 2008/193 premiss 24.

(40) I innldagedes brev av 6. januar 2009 fremgår det at innklagede fant at noen egenskaper klager mente måtte vurderes, ikke hadde vært "kriterier som er stilt fra vår side og har detfor ikke gitt ekstra uttelling i forhold til de andre produktene i konkurransen". I innIdagedes brev av 5. februar 2009 ble standpunktet opprettholdt. I innklagedes tilsvar til klagenemnda uttales det imidlertid at de tilbudte produkters kompatibilitet er vektlagt ved evalueringen av underkriteriet "Grad av mulighet for tilpasning til flere brukeres behov", men ikke ved vurderingen av underkriteriet "Grad av mulighet for gjenbruk". Når det gjelder videoinnspillingsfunksjonen, er det uttalt at dette ikke ble vektlagt i vurderingen av noen av underkriteriene. Det synes derfor ikke å være samsvar mellom innklagedes uttalelser om hvilke forhold som faktisk er blitt vektlagt.

(41) Klagenemndas saksbehandling er skriftlig. Siden referansegruppens notater fra evalueringen ikke lenger er tilgjengelige, er det vanskelig for klagenemnda å ta stilling til hvilke vurderinger som faktisk er foretatt ved tildelingsevalueringen. Anførselen avvises derfor som uhensiktmessig for behandling i klagenemnda, jf. klagenemndsforskriften § 9. Nemnda viser til at det ovenfor er konkludert med at manglende dokumentasjon av tildelingsevalueringen utgjør et brudd på kravene til etterprøvbarhet og gjennomsiktighet i loven § 5 og forskriften § 3-1 (7).

(42) Klager har også anført at innldagedes evaluering av klagers tilbudte produkter i underpostene 5C til 5P er vilkårlig ved at innklagede har gitt ulike karakterer ved bedømmelsen av underkriteriene "Hvor god billedkvaliteten er" og "Hvor enkel betjeningen er", selv om de tilbudte kameraene i følge klager er identiske i alle underpostene og kameraene betjenes av samme "kontrollboks". Etter klagers oppfatning utgjør dette et brudd på kravene til likebehandling, forutberegnelighet, proporsjonalitet og god forretningsskikk i loven §§ 1 og 5 og forskriften § 3-1 (5) og (6).

(43) I innIdagedes tilsvar har innIdagede forklart at selv om referansegruppen trodde at Idagers tilbudte lesekameraer var identiske, fant gruppen det mest riktig å bedømme billedkvaliteten til det enkelte produkt individuelt idet kvaliteten ble opplevd som forskjellig på klagers ulike produkter. Videre er det også uttalt at det også ble foretatt en individuell vurdering av "Hvor enkel betjeningen var", selv om de tilbudte produktene var betjent av den samme "kontrollboks".

(44) Som svar på klagers reviderte klage av 23. januar 2009 uttalte imidlertid innIdagede følgende vedrørende dette i brev av 5. februar 2009: "Vi kan se at det er uheldig at poengsettingen er vurdert ulikt i de forskjellige underpostene, og vi har på bakgrunn av dette vurdert saken på nytt og har funnet at det er korrekt å gi den samme poengsummen i alle de aktuelle underpostene i post 5".

(45) Etter at klagenemndas sekretariat ba om en nærmere redegjørelse for hvordan innklagede hadde vurdert dette forhold på nytt uttalte innklagede i e-post av 7. oktober 2009 at det ikke var foretatt en reell ny vurdering, men at bakgrunnen for å gi de nye poengene bare var at: "man ville vise at selv om klager fikk sine beste poeng for "bildekvalitet"o g "betjening", ville dette ikke gitt uttelling i konkurransen."

(46) På den bakgrunn er klagenemnda kommet til at innklagedes evaluering av de aktue1le underpostene til produktpost 5 må anses vilkårlig. InnIdagede har heller ikke forsøkt å rette dette opp, til tross for at klager har gjort innklagede oppmerksom på forholdet i den reviderte klagen, og innIdagede ut i fra uttalelsene i brevet av 5. februar 2009 må anses for å ha vært enig i at den opprinnelige poengsettingen var feil. Innklagedes ulike poengsetting av underkriteriene utgjør et brudd på kravet til forutberegnlighet i loven § 5. Vilkårlig tildelingsprosess

(47) Klager har under dette punktet først anført at innklagede skulle opplyst om at tilbydeme måtte medbringe egen skjerm ved fremvisningen av de tilbudte produktene, fordi dette etter klagers oppfatning hadde betydning for den billedkvalitet det tilbudte produkt kunne vise. Videre er det også anført at innIdagede skulle opplyst hvilken monitor som ville bli brukt. Innldagede har vist til at dette ble opplyst i en e-post av 16. mai 2008, hvor det ifølge innklagede ble uttalt følgende: "Alle produktene må merkes med produktnavn, artikkelnr., produktpost(er) de er tilbudt i og tilbyders navn. Produktene må monteres slik at de er ferdige til bruk ved levering".

(48) Til tross for at klagenemndas sekretariat ekspIisitt har etterspurt denne e-posten, har innklagede ikke vært i stand til å fremlegge den for nemnda. InnIdagedes uttalelse i e-posten kan dermed ikke anses dokumentert, og kan da heller ikke vektlegges i klagenemndas vurdering. Produktene skulle leveres uten skjerm. Dersom klager mente at billedkvalitet ved visningen ville innvirke på produktets vurdering, og ikke ønsket å benytte en lånt skjerm ved visningen, burde klager forstå at egen skjerm måtte medbringes. Klagers anførsel på dette punkt kan derfor ikke føre frem.

(49) K1ager anfører videre at det skulle vært opplyst hvilken monitor som skulle brukes, men har ikke presisert hvilke konsekvenser unnlatelsen hadde for klager. Klager har også anført at selskapet fikk for kort tid ti1 fremvisning av sine produkter. Det er uttalt at det kun ble gitt 32 minutter (mens innidagede har hevdet at det ble gitt 40 minutter). Klager har imidlertid ikke sagt noe om hva som etter klagers oppfatning ville vært tilstrekkelig tid. Disse anførsler er for vage til at klagenemnda kan ta stilling til dem.

(50) Klager har tilslutt anført at tilbyderne burde fått anledning til å veilede referansegruppen når denne gikk rundt og kikket på produktene. I konkurransegrunnlagets punkt 4.6 fremgikk det at "Tilbudte produkter må på anmodning kunne stilles vederlagsfritt til disposisjon for nænnere vurdering av oppdragsgiver." Det var dermed forutberegnlig for tilbyderne at referansegruppen ville foreta en selvstendig vurdering av produktene, uten at tilbyderne ble gitt anledning til å veilede gruppen. Klagerens anførsel fører derfor ikke frem. Konklusjon: NAV Drift og utvilding har brutt kravene til etterprøvbarhet og gjennomsiktighet i loven § 5 og forskriften § 3-1 (7) ved ikke å sikre at de vurderinger og den dokumentasjon som har hatt betydning for gjennomføring av konkurransen er skriftlig og mulig å fremlegge i ettertid. NAV Drift og utvilding har brutt kravet til forutberegnelighet i loven § 5 ved å foreta en vilkårlig poengsetting av produktpost 5. Klagers øvrige anførsler har ikke ført fram eller ikke blitt tatt stilling til. For klagenemnda, 12. oktober 2009 Per Christiansen