KOFA 2022/487: Feil faktum ved tilbudsevaluering – Stord kommune

Saken gjelder: Avvisning av tilbud. Evalueringsmodell. Tilbudsevaluering. Innklagede gjennomførte en åpen tilbudskonkurranse for anskaffelse av nytt skoleadministrativt system. Klager anførte at innklagede hadde evaluert tilbudene på en annen måte enn det som fremgikk av konkurransedokumentene, i strid med de grunnleggende prinsippene i loven § 4. I tillegg anførte klager en rekke feil ved evalueringen av tilbudene, samt at valgte leverandørs tilbud skulle vært avvist. Innklagede erkjente å ha brutt regelverket ved evalueringen av tildelingskriteriet «Implementering, service og kompetanse». Klagers øvrige anførsler førte ikke frem. Klagenemndas avgjørelse 23. august 2022 i sak 2022/487 Klager: Transponder AS Innklaget: Stord kommune Klagenemndas medlemmer: Finn Arnesen, Marianne Dragsten og Karin Fløistad Bakgrunn:

(1) Stord kommune (heretter innklagede) kunngjorde 11. januar 2022 en åpen tilbudskonkurranse for anskaffelse av nytt skoleadministrativt system. Tilbudsfrist var 31. januar 2022.

(2) I avtalens punkt 1.1 var det gitt følgende beskrivelse av systemet: «SK søker ei moderne skyteneste for skuleadministrasjon som skal digitalisere ei rekke prosessar knytt til lærarane og elevane sin skulekvardag, og som skal bidra til å betra kommunikasjon og samarbeid mellom skule og heim. I løysinga må det vera mogleg for sikker tverrfagleg samhandling og sakshandsaming t.d. mellom skule og hjelpetenesta (PPT) m.m. Løysinga skal vera med å effektivisere arbeidskvardagen for tilsette i skulen og tilhøyrande instansar. Det er eit behov at skuleadministrasjon skal gjennomførast på ein rasjonell og ressurssparande måte. Det er avgjerande at programmet har velfungerande integrasjon(ar) mot kommunen sitt HRsystem, økonomisystem, arkivsystem, FEIDE, LMS, offentlegrapportering til PAS, VIGO, GSI og andre aktuelle fagsystem.»

(3) Kontrakt skulle tildeles tilbudet med det beste forholdet mellom pris og kvalitet, basert på tildelingskriteriene «Løsningsforslag, funksjonalitet og brukervennlighet» (vektet 55 prosent), «Implementering, service og kompetanse» (vektet 20 prosent) og «Priser og kostnader» (vektet 25 prosent). Postadresse Besøksadresse

Sentrum 5015 Bergen www.klagenemndssekretariatet.no

(4) Det fremgikk av konkurransegrunnlaget at tilbudene ville bli evaluert på følgende måte: «Evaluering av pris: Det benyttes en skala fra 0-100 hvor laveste pris gis 100 poeng. Poengene for priser og kostnader er satt ut fra en forholdsmessig prisforskjell omregnet i poeng i forhold til laveste pris, etter følgende formel: (laveste pris / tilbudspris) x makspoeng (100 poeng). Evaluering av øvrige tildelingskriterier: Evalueringen av kriteriene der poeng ikke allerede er angitt i konkurransegrunnlaget baseres på en helhetsvurdering hvor de momenter som er spesifisert i konkurransegrunnlaget legges til grunn. Det gis poeng på en skala fra 0 til 100, der 100 er best. Det tilbud som vurderes som best for hvert kriterium oppnår 100 poeng. De øvrige tilbud får poeng ut i fra et skjønn som er basert på hvordan det enkelte tilbud fremstår i forhold til det beste tilbudet.»

(5) Om evalueringen av tildelingskriteriet «Løsningsforslag, funksjonalitet og brukervennlighet» var det opplyst følgende: «Her vil Oppdragsgiver vektlegge:  besvarelse av bilag 2, Leverandørens beskrivelse av tjenesten  besvarelse av bilag 7, Endringer i den generelle avtaleteksten.  besvarelse av bilag 9, Vilkår for Oppdragsgivers tilgang og bruk av tredjepartleveranser  presentasjon av løsningen og test av demoversjon»

(6) For tildelingskriteriet «Implementering, service og kompetanse» var det opplyst følgende: «Her vil Oppdragsgiver vektlegge  besvarelsen av bilag 3, Plan for etableringsfasen.  besvarelsen av bilag 4, Tjenestenivå med standardiserte kompensasjoner.  besvarelsen av bilag 5, Administrative bestemmelser.»

(7) I tillegg skulle leverandørene fylle ut bilag 1, som var konkurransens behovsbeskrivelse. Det var gitt følgende informasjon om hvordan denne skulle fylles ut og evalueres: «Det er sett opp ein behovsbeskrivelse der det kjem fram ulike eigenskapar og funksjonar den tilbodne programvara skal ha som eit minimum. Opplistede behov er ikkje absolutte. Eventuelle avvik frå behova vil bli evaluert under tildelingskriteriet "Løsningsforslag, funksjonalitet og brukervennlighet". Vedlegget blir lasta inn utfylt som vedlegg til tilbodet i KGV. Vedlegget lister opp kundens behov for tilbodt løysing og skal fylles ut av leverandør iht. følgjande instruks: 1. Feltet "Dekkes":

Leverandør skal angi ein kode for korleis kravd funksjonalitet møtest av leverandøren: S = Funksjonaliteten blir dekt gjennom standardløysinga som er tilboden. T = Funksjonaliteten kan dekkast gjennom utvikling/tilpasning av standardløysinga. Det skal oppgivast forpliktande dato. N = Funksjonaliteten kan ikkje dekkast av standardløysinga eller tilpasning/videreutvikling av denne. Det skal grunngivast. Leverandøren skal primært dekka behovet med standardløysinga si. Leverandøren skal synleggjera dei tilfella der spesialtilpasninger må finna stad. Kostnader forbunde med utvikling skal i utgangspunktet dekkast av leverandøren. Dersom leverandøren likevel vel at kunden skal ta kostnaden skal pris for dette blir oppgitt og kan bli tatt med i prisevalueringa. 2. Feltet "Kommentarer": Leverandøren skal i utgangspunktet berre skriva i kommentarfeltet dersom han ikkje oppfyller behova. Leverandøren skal då gjera greie for avviket og oppgi tidspunkt for når funksjonalitet for behovet skal vera på plass.»

(8) Om utfylling av bilag 2 fremgikk følgende instruksjon: «Kunden vil vurdere funksjonalitet, brukervennlighet og integrasjon av løysninga mot kundens aktuelle løsninger. Det er viktig at tilbudt system har meget god funksjonalitet og brukervennlighet. Løysninga skal være lett tilgjengelig for ulike kategorier brukere. Det legges således stor vekt på at løsningen har et oversiktlig og intuitivt brukergrensesnitt og en lav brukerterskel for alle roller/tilganger. Dette er ikke en uttømmende liste for hva kunden vil vektlegge ved vurdering av og eventuell presentasjon/demonstrasjon/test/utprøving av tilbudt løsning. Viktige behov for kunden er beskrevet i Vedlegg 1 Behovsbeskrivelse. Ingen av behovene som er beskrevet i vedlegget må ansees som absolutte. Avvik fra behovene vil bli vurdert her. Forbehold/avvik: Det er ikke anledning til å ha vesentlige avvik til anskaffelsesdokumentene. Tilbud som eventuelt etter avklaringer, inneholder slike vesentlige avvik vil bli avvist. Andre forbehold skal være presise og entydige, slik at kunden kan vurdere og prise disse. Avvik skal klart fremgå av tilbudet med henvisning til hvor i tilbudet avviket er inntatt (sidetall og punktnummer). Avvisning kan skje på et hvert tidspunkt av konkurransen. (…)»

(9) Innen fristen mottok innklagede tilbud fra Visma Enterprise AS og Transponder AS (heretter klager).

(10) Av Visma Enterprise AS’ tilbud fremgikk følgende i «Bilag 4: Tjenestenivå med standardiserte kompensasjoner»:

«Dette dokumetet definerer Leverandøren sitt servicenivå overfor Kunden og utgjør SLA for [sladdet tekst] forbeholder seg retten til å gjøre endringer i tjenestenivå. Slike endringer vil bli varslet i Visma Community i rimelig tid før endringene trer i kraft».

(11) Av klagers tilbud fremgikk følgende i «Bilag 2: Leverandørens beskrivelse av tjenesten»: «Tilbudte løsning er en komplett skoleadministrativ løsning iht. kundens behovsbeskrivelse. Alle krav kan leveres med god margin og det kreves kun små tilpassinger som er beskrevet i behovsbeskrivelsen. Løsningen leveres i et konsortium mellom Transponder AS og Barman Hanssen AS. Det stilles ingen krav til båndbredde mm. Løsningen er tilgjengelig i alle moderne nettlesere og app for ansatte og elever. Videre er det vedlagt en god del dokumentasjon. For å begrense kostnadene er dette standard dokumentasjon. Det innebærer at ikke alt i behovsbeskrivelsen nødvendigvis er dokumentert utover svarene i behovsbeskrivelsen, men vi har merket oss at dette ikke var noe krav da man ikke ber om kommentarer på kravene der det er svart bekreftende.»

(12) Innklagede sendte klager 5. februar 2022 en forespørsel om tilgang til demoversjon. Klager besvarte forespørselen slik: «For å få tilgang til løsningen kan vi sette opp et testmiljø. Dette vil imidlertid gi et begrenset inntrykk av Transponder og iSkole den tid f. eks. timeplanlegging er en kompleks prosess. For å sette opp tilganger antar vi at dere ønsker en organisasjon (Test Skole) med administrator, en lærer, en elev og to foresatte. Vi vil trenge Navn, personnummer, mobilnummer, epost og rolle på alle disse brukerne. iSkole kan man få tilgang til med brukernavn og passord. Transponder vil man logge seg på med ID porten første gang, så det er nødvendig at de som skal teste dette er reelle personer med reelle personnummer mm. Det er i tillegg nødvendig å meddele at uten at det etableres reelle kunder og synkronisering mellom løsningene (iSkole og Transponder) vil ikke demoversjon gi et fullstendig bilde av løsningene. Så vi antar at ønske om et testmiljø er mer for å verifisere at løsningene fungerer og ikke for å foreta noen evaluering, all en tid dere har mottatt dokumentasjon som skal danne grunnlag for evaluering».

(13) Innklagede tildelte 16. mars 2022 Visma Enterprise AS (heretter valgte leverandør) kontrakten.

(14) Resultatet av evalueringen ble gitt i en evalueringsrapport. Klager fikk totalt 67 vektede poeng og valgte leverandør fikk totalt 98 vektede poeng. Nedenfor følger krav og begrunnelse hvor leverandørene er gitt trekk: 1 Transponder AS 2 Visma Enterprise AS Vekt Score Begrunnelse Score Begrunnelse

Priser og kostnader (vekt 25%) 25 % 100 kr 1 360 000 94 kr 1 450 000 Løsningsforslag, funksjonalitet 55 % 57,5 100 og brukervennlighet (vekt 55%) (..) b. Avtalens punkt 2.1 Tjenesten: Tilbyder redegjør kun Tilbyder redegjør på en god måte -30 Leverandøren skal, basert på overordnet og kort for for funksjonalitet og bilag 1 (kundens funksjonalitet og brukervennlighet. Løsningen behovsbeskrivelse), beskrive brukervennlighet for tilbudt fremstår som komplett, intuitiv, tjenesten her og eventuelle krav løsning, men det er ingen krav moderne og forståelig i sin til kundens plattform, til kundens plattform som oppbygging, og er meget godt båndbredde, kapasitet og skiller seg negativt ut. tilpasset de forskjellige eventuelle nødvendige funksjonene. Det er ingen krav til oppgraderinger osv. Tilbudt løsning er satt sammen kundens plattform som skiller seg av flere apper med forskjellige negativt ut. formål, og fremstår separert i sin funksjon og mindre Det er grundig og forpliktende brukervennlig enn beste redegjort for tilbudt tjeneste, og besvarelse. Oppdragsgivers løsningen fremstår videre som vurdering av deres brukervennlig og oversiktlig med demonstrasjon er at løsningen tanke på brukeropplevelse hos fremstår som lite moderne og både saksbehandlere og brukerne vanskelig å finne fram i, av løsningen. Løsningen har et løsningen ser ut til å mangle godt design og har et ryddig integrasjoner til øvrige arbeidsbord. Saksbehandlingen fagsystemer, og det ser ikke ut oppleves som enklere og mer til å være mulig å tilpasse og sammenhengende i saksgangen legge inn maler, samt at blant annet med tanke på maler, løsningen ser ut til å mangle tildeling av roller og helhetlige elektronisk signatur. rutiner for gjennomføring av Utfyllingen av Vedlegg 1 elevsaker. Tilbudt løsning er godt Behovsbeskrivelse viser at det utprøvd og har mange mangler funksjonalitet, blant kommunekunder, og nynorsk vil annet vil ikke nynorsk være på være på plass til skolestart. plass for 01.01.2023, og selv om mye er lovet utviklet over tid, fremstår løsningen som uferdig ift oppdragsgivers behov og etablering (-20p). Oppdragsgiver har forventninger til at systemet skal være hyllevare og at det tilbys en godt utprøvd løsning slik at oppdragsgiver slipper å være en dedikert utviklingspartner for kommunesektoren. Tilbyder bekrefter i revidert tilbud at systemet ikke brukes hos kommuner, noe som oppdragsgiver oppfatter som svært negativt siden oppdragsgiver ikke har ressurser til å bidra i et utviklingsløp, uansett omfang (-10p) c. Avtalens punkt 2.1 Tjenesten: Tilbyder beskriver sitt opplegg Det tilbys et god opplegg for -7,5 Leverandøren bes beskrive sitt for release av nye versjoner. kvalitetssikring før release av nye opplegg for release av nye Beste besvarelse har redegjort versjoner. Tilbudt løsning har et versjoner med tydelig varsling av forpliktende for hvor ofte nye hyppig og forpliktende opplegg hva som kommer, herunder versjoner slippes (-2,5p) for oppgraderinger som sikrer testing av kundens integrasjoner, Beste besvarelse har redegjort god stabilitet. Ny funksjonalitet og oppdatering av opplæring/e- for oppdatering av opplæring/e- varsles god tid i forveien. læring før release. læring (-2,5p) Leverandøren oppdaterer dokumentasjon fortløpende.

Beste besvarelse har redegjort for varslingsopplegg knyttet til nye versjoner (-2,5p) d. Avtalens punkt 2.1 Tjenesten: Tilbyder redegjør svært kort for Det tilbys et god opplegg for -5 Integrasjon - leverandøren skal hvordan integrasjoner er lagt kvalitetssikring før release av nye beskrive hvordan integrasjon mot opp, samt hvilke integrasjoner versjoner. Tilbudt løsning har et 3. partsmoduler som er inkludert i løsningen. hyppig og forpliktende opplegg (fagsystemer, offentlige registre, Tilbyder skaper usikkerhet med for oppgraderinger som sikrer fellesplattformer) er lagt opp med sitt svar på pkt 1.15.16 ift god stabilitet. Ny funksjonalitet hovedtyper (API). manglende integrasjon og varsles god tid i forveien. Leverandøren skal redegjøre for hvordan dette skal Leverandøren oppdaterer hvilke integrasjoner som er gjennomføres. dokumentasjon fortløpende. inkludert i tilbudet, og beskrive Beste besvarelse er mer konkret tjenestens skalerbarhet, samt på hvordan integrasjonene er muligheter for inkludere nye lagt opp og har tilbudt flere moduler/integrasjoner i løsninger. integrasjoner, blant annet mot arkiv (-5p). (…) Implementering, service og 20 % 52,5 100 kompetanse (vekt 20%) a. Avtalens punkt 3.1 Plan for Tilbyder beskriver kun kort Tilbyder redegjør godt for sin -15 etableringsfasen: plan for etableringsfasen og lite etableringsplan og de ulike Leverandøren skal redegjøre for konkret. milepælene i etableringsfasen, og sin plan for etableringsfasen. har leveringsdag iht Planen skal omfatte beskrivelse Tilbudt leveringsplan er sen i oppdragsgiver behov. av roller fra oppdragsgiver og forhold til oppdragsgivers leverandørens side og ansvar behov beskrevet i bilag 1, samt fremdriftsplan. punkt 1.1.4. Eventuelle installasjoner, Beste besvarelse har levering konfigureringer, tilpasninger tidligere og iht oppdragsgivers og/eller integrasjoner skal også behov (-15p) beskrives i planen. Leverandør skal også sammen med oppdragsgiver utarbeide ei risiko og sårbarhetsanalyse (ROS) med fokus på informasjonssikkerhet og personvern. Leverandøren skal også beskrive hvordan årshjul/planer kan implementeres dersom løsningen settes i drift først fra høsten 2022. (…) c. Avtalens punkt 3.3 Tilbyder har levert en veldig -5 Tilbyder har levert en god Godkjenningsprøve og enkel sjekkliste. Beste sjekkliste med relevante punkter. leveringsdag: besvarelse har levert er mer omfattende sjekkliste med gode Leverandøren skal legge ved forslag til sjekkpunkter (-5p) forslag til sjekkliste for godkjenningsprøven. d. Avtalens punkt 3.4 Tilbyder redegjør for sin Tilbyder redegjør godt for -5 Dokumentasjon og opplæring: opplæringspakke og er dokumentasjon og opplæring av Leverandøren skal redegjøre for forpliktende. Beste bevarelse de ulike IT-brukere og roller samt dokumentasjon og opplæring for har likevel en mer omfattende bruk og oppsett av testdatabaser. kundens ulike IT-brukere oppplæringpakke med fokus på e-læring, og redegjør for bruk og roller. Det skal redegjøres for og oppsett av testdatabaser (oppsett og bruk av testdatabaser. 5p) (…)

b. Her skal leverandøren Tilbyder har redegjort for -15 Tilbudt SLA har gode garanterte vedlegge sin SLA med garanterte garanterte bestemmelser for bestemmelser for både oppetid og oppetider og oppetid med kompensasjon. feilretting med kompensasjoner. feilrettingsfrister,med Tilbyder har redegjort for kompensasjoner. feilrettingsfrister, men har ikke oppgitt bindende kompensasjon ved brudd på disse. Beste besvarelse har noe bedre kompensasjonsordning ved brutt oppetid (-5p) Beste besvarelse har raskere responstid på feilretting og har kompensasjon for brudd på feilrettingsfrister (-10p) (…) b. Leverandøren skal oppgi hvem Det tilbys en prosjektleder med Det tilbys en prosjektleder med -2,5 som skal være prosjektleder for relevant utdanning og god relevant utdanning og god implementeringsprosjektet erfaring fra tilsvarende oppdrag erfaring fra tilsvarende oppdrag og beskrive både utdanning og og navngitte og navngitte kunder. relevant erfaring for kunder. vedkommende. Prosjektlederens Beste besvarelse redegjør for erfaring/kunnskap fra tilsvarende erfaring fra flere og mer oppdrag og navngitte kunder skal relevante oppdrag hos navngitte beskrives. kunder (-2,5p) c. Leverandøren skal oppgi hvem Det redegjøres for et navngitt Det redegjøres for et navngitt -5 som utgjør fast tilbudt team av tilbudt team med relevant tilbudt team med relevant personell som skal gjennomføre utdanning og erfaring. Det utdanning og erfaring. Det vises leveransene. Teamets vises til tilsvarende oppdrag for til tilsvarende oppdrag for erfaring/kunnskap fra tilsvarende navngitte kunder. navngitte kunder. oppdrag og navngitte kunder skal beskrives, særlig med hensyn til Beste besvarelse redegjør for effektivitet og måloppnåelse. flere navngitte teammedlemmer Leverandøren skal beskrive både og redegjør for flere og mer utdanning og relevant erfaring for relevante oppdrag for navngitte de som skal benyttes til å løse kunder (-5p) oppdraget.

(15) Klager begjærte midlertidig forføyning 18. mars for å stanse kontraktsinngåelse til klagenemnda hadde vurdert klagen. I kjennelse 21. mars 2022 ble begjæringen tatt til følge.

(16) Klagen ble brakt inn for Klagenemnda for offentlige anskaffelser 21. mars 2022.

(17) Samme dag som kjennelsen ble forkynt krevde innklagede muntlig forhandling. Den etterfølgende muntlige forhandlingen ble gjennomført 20. april 2022 og i kjennelse 2. mai 2022 ble begjæringen ikke tatt til følge.

(18) Nemndsmøte i saken ble avholdt 22. august 2022. Anførsler: Klager har i det vesentlige anført:

(19) Innklagede har brutt regelverket ved å benytte en annen metode for evaluering av tilbudene enn den som var beskrevet i konkurransegrunnlaget, i strid med de grunnleggende prinsippene i loven § 4. Underpunktene i bilagene som skulle inngå i en helhetsvurdering er isteden gjort til vektede underkriterier. Underkriteriene er også gitt en vekt som ikke var påregnelig. Klagers demoversjon er heller ikke testet, i strid med opplysningene i konkurransegrunnlaget.

(20) Valgte leverandørs tilbud skulle vært avvist. Valgte leverandør har ikke fulgt instruksene for utfylling av behovsbeskrivelsen, og har gitt utfyllende beskrivelser for krav som dekkes i standardløsning. Dette kan ha gitt en urimelig konkurransefordel, i strid med loven § 4. I tillegg har valgte leverandør forbeholdt seg en rett til ensidig å endre tjenestenivået i sin løsning. Dette er forhold som alene eller til sammen utgjør vesentlige avvik fra konkurransegrunnlaget. Subsidiært anføres det at konkurransegrunnlaget var uklart og at konkurransen må avlyses.

(21) Innklagede har brutt regelverket ved evalueringen av tilbudene under tildelingskriteriet «Løsningsforslag, funksjonalitet og brukervennlighet». Innklagede har for det første ikke vektlagt negative forhold ved valgte leverandørs løsning. Innklagede har også feilaktig lagt til grunn at klagers løsning mangler integrasjoner, mulighet for å legge inn maler og elektronisk signatur. I tillegg er det foretatt vilkårlige trekk for at klagers løsning ikke støtter nynorsk, fremstår som uferdig og mangler utprøving. Klager er videre trukket to ganger for manglende integrasjoner, i strid med regelverket.

(22) Innklagede har også brutt regelverket ved evalueringen av tildelingskriteriet «Implementering, service og kompetanse». Innklagede har feilaktig lagt til grunn at klager ikke har oppgitt bindende kompensasjon ved brudd på feilrettingsfrister. Videre fremstår det som vilkårlig at valgte leverandør ble gitt bedre uttelling for tentative fremdriftsplaner enn det klager har fått for sin fremdriftsplan. Det er videre i strid med prinsippet om forutberegnelighet å legge mye vekt på valgte leverandørs erfaring og teamsammensetning når anskaffelsen gjelder en hyllevare. Innklagede har i det vesentlige anført:

(23) Saken bør avvises fra behandling i Klagenemnda fordi den er ubegrunnet og kan klart ikke føre frem, jf. forskrift om klagenemnd for offentlige anskaffelser § 9.

(24) Innklagede har ikke benyttet en annen metode for evaluering av tilbudene enn den som var beskrevet i konkurransegrunnlaget. Evalueringen av tilbudene er foretatt slik konkurransegrunnlaget beskriver. Når det gjelder testingen av klagers demoversjon logget innklagede seg inn i deler av klagers demoversjon, men fant at demoversjonen i ga lite inntrykk av hva som kunne forventes av administrasjonssystemet Innklagede bestrider at manglende testing av klagers demoversjon er i strid med det grunnleggende prinsippet om forutberegnelighet. Subsidiært anføres det at det ikke er noen grunn til å tro at en testing ville hatt betydning for tildelingen.

(25) Det bestrides at valgte leverandørs tilbud skulle vært avvist eller at konkurransen skulle vært avlyst. Konkurransegrunnlaget inneholdt ikke et forbud mot å gi utfyllende beskrivelser av funksjonene i standardløsningen, og konkurransegrunnlaget var heller ikke uklart på dette punktet. Konkurransegrunnlaget oppstilte heller ikke minstekrav til innholdet i leverandørenes tjenestenivå, og valgte leverandørs tilbud har dermed ikke avvik fra konkurransedokumentene.

(26) Innklagede har ikke brutt regelverket ved evalueringen av tilbudene under tildelingskriteriet «Løsningsforslag, funksjonalitet og brukervennlighet». Valgte leverandør har fått full uttelling fordi deres løsning var vesentlig bedre enn klagers. Det fremgikk av konkurransegrunnlaget at beste tilbyder ville få 100 poeng. Når det gjelder evalueringen av klagers tilbud har innklagede verken lagt uriktig faktum til grunn eller foretatt vilkårlige trekk. Det er heller ikke foretatt dobbelttrekk.

(27) Når det gjelder evalueringen av klagers tilbud under kriteriet «Implementering, service og kompetanse» har innklagede lagt feil faktum til grunn ved vurderingen av klagers kompensasjon for feilrettingsfrister, der klager fikk et trekk på 15 poeng. Klagers kompensasjon var likevel vesentlig dårligere enn valgte leverandør og klager skulle dermed uansett hatt et trekk på ti poeng. Foruten denne feilen bestrider innklagede at de har brutt regelverket ved evalueringen av tildelingskriteriet «Implementering, service og kompetanse». Klagenemndas vurdering:

(28) Klager har deltatt i konkurransen, og har saklig klageinteresse, jf. forskrift om klagenemnd for offentlige anskaffelser § 6. Klagen er rettidig. Konkurransen gjelder anskaffelse av skoleadministrativt system som er en tjenesteanskaffelse. Anskaffelsens verdi er ikke estimert. Anskaffelsen er kunngjort etter lov om offentlige anskaffelser 17. juni 2016 nr. 73 og forskrift om offentlige anskaffelser 12. august 2016 nr. 974 del I og II, jf. forskriften §§ 5-1 og 5-3. Evalueringsmetode

(29) Klagenemnda tar først stilling til om innklagede har benyttet en ulovlig poengberegningsmetode ved evalueringen av tilbudene.

(30) Klager bestrider ikke at evalueringsmodellen slik den er beskrevet i konkurransedokumentene er lovlig. Klager anfører imidlertid at innklagede istedenfor å foreta en skjønnsmessig helhetsvurdering som beskrevet i konkurransegrunnlaget, har evaluert tilbudene basert på en rekke separate underkriterier med innbyrdes vekting. For å underbygge anførselen har klager vist til at det i evalueringsrapporten er oppgitt konkrete poengtrekk knyttet til de ulike underpunktene, som ifølge klager må anses som underpunktenes vekt. Klager hevder også at vektingen av underpunktene er vilkårlig, og at det uten angivelse av maksimal poengsum for hvert underpunkt ikke er mulig å identifisere de relative forskjellene mellom tilbudene.

(31) Klagenemnda er ikke enig i klagers forståelse av evalueringsrapporten. Det fremgikk av konkurransegrunnlaget at det ved evalueringen av kvalitetskriteriene skulle foretas en helhetsvurdering av de relevante bilagene. Det beste tilbudet ville få 100 poeng mens de øvrige tilbudene ville få poeng skjønnsmessig fastsatt i forhold til det beste tilbudet. Poengtrekkene i evalueringsrapporten er angitt som trekk fra maksimal poengsum på 100, og synliggjør på hvilke underpunkter i tilbydernes besvarelser innklagede har vurdert at det er relative forskjeller mellom tilbudene. Poengtrekkene med tilhørende begrunnelse gir dermed uttrykk for bedømmelsen av tilbudt kvalitet under de angitte underpunktene, og er ikke et uttrykk for underpunktenes vekt slik klager hevder. Klagers anførsel fører ikke frem.

(32) Når det gjelder klagers anførsel om at evalueringsmetoden er i strid med prinsippet om forutberegnelighet fordi klagers demoversjon ikke er testet, har innklagede forklart at man logget seg inn i deler av klagers demoversjon, men fant at denne ga lite inntrykk av hva som kunne forventes av administrasjonssystemet. Dette var også i tråd med tilbakemeldingen fra klager på dette punktet. Klagenemnda kan ikke se at innklagede ved dette har endret evalueringsmetoden sammenlignet med det som er skissert i konkurransegrunnlaget, eller for øvrig opptrådt i strid med kravet til forutberegnelighet. Det er for øvrig ikke underbygget at en eventuell testing av demoversjonen ville gitt noen ytterligere informasjon sammenlignet med klagers skriftlige tilbud.

Avvisning av valgte leverandørs tilbud

(33) Klagenemnda tar i det følgende stilling til om innklagede har brutt regelverket ved ikke å avvise valgte leverandørs tilbud.

(34) Det følger av forskriften § 9-6 (1) bokstav b oppdragsgiver «skal» avvise tilbud som inneholder «vesentlige avvik fra anskaffelsesdokumentene».

(35) Et avvik foreligger dersom oppdragsgiver, ved å akseptere tilbudet, ikke kan kreve oppfyllelse i henhold til anskaffelsesdokumentene, jf. blant annet lagmannsrettens kjennelse i sak LB 2019-85112. Om et tilbud inneholder avvik, må avgjøres ut fra en sammenligning av det som er tilbudt og krav fastsatt i anskaffelsesdokumentene.

(36) Klager har anført at valgte leverandørs inneholder avvik fordi det er tatt forbehold å gjøre endringer i tilbudt tjenestenivå og fordi leverandøren har besvart behovsspesifikasjonen feil.

(37) Det fremgikk innledningsvis i valgte leverandørs bilag 4 at leverandøren «forbeholder seg retten til å gjøre endringer i tjenestenivå». Bilag 4 skulle inneholde leverandørens tilbudte tjenestenivå, og var inngitt som dokumentasjon under tildelingskriteriet «Implementering, service og kompetanse». Slik konkurransen er lagt opp, er tjenestenivået dermed gjenstand for evaluering, slik at mangelfull oppfyllelse var noe som skulle gi utslag i evalueringen, men ikke medføre avvisning. På denne bakgrunn utgjør ikke formuleringen i valgte leverandørs tilbud et avvik mot kravene i konkurransedokumentene.

(38) Når det gjelder klagers anførsel om at det utgjør et vesentlig avvik at valgte leverandør har besvart behovsbeskrivelsen med utfyllende kommentarer, er heller ikke dette noe som påvirker oppdragsgivers mulighet for å kreve oppfyllelse i henhold til anskaffelsesdokumentene. Klager har imidlertid anført at valgte leverandør ved dette kan ha fått en konkurransefordel, slik at det foreligger plikt til å avvise etter anskaffelsesloven § 4.

(39) Konkurransegrunnlaget stenger ikke for å gi utfyllende kommentarer i behovsbeskrivelsen, selv om dette i utgangspunktet bare skulle gjøres dersom behovet ikke kunne dekkes gjennom standardløsningen. All den tid tilbyderne uansett skulle levere en beskrivelse av innholdet i løsningen basert på kravene i behovsbeskrivelsen, kan klagenemnda ikke se at dette kan ha gitt valgte leverandør en konkurransefordel. Klagenemnda er heller ikke enig med klager i at konkurransegrunnlaget var uklart på dette punktet. Klagers anførsel fører dermed ikke frem. Evaluering av tildelingskriteriet - «Løsningsforslag, funksjonalitet og brukervennlighet»

(40) Klagenemnda tar i det følgende stilling til om innklagede har brutt regelverket ved evalueringen av tilbudene under tildelingskriteriet «Løsningsforslag, funksjonalitet og brukervennlighet».

(41) Ved evalueringen av tilbudene har oppdragsgiver et innkjøpsfaglig skjønn, som bare i begrenset grad kan overprøves rettslig. Det som kan prøves er om innklagede har forholdt seg til tildelingskriteriene slik de er angitt i konkurransegrunnlaget, om tilbudenes innhold er korrekt fastlagt, og om evalueringen er vilkårlig, sterkt urimelig eller for øvrig

i strid med de grunnleggende prinsippene i loven § 4, se Høyesteretts avgjørelse i Rt. 2007 side 1783 avsnitt 42-44.

(42) Klager har flere innvendinger mot tilbudsevalueringen. Det er for det første anført at innklagede ikke har vektlagt negative forhold ved valgte leverandørs løsning. Klager har i den forbindelse vist til at det ikke fremgår noe om dette i evalueringsrapporten.

(43) Det fremgikk av konkurransegrunnlaget at beste tilbyder ville få 100 poeng på kriteriet, slik at maks poengscore ikke var synonymt med perfekt kvalitet. Innklagede har forklart at selv om valgte leverandørs løsning krevde enkelte tilpasninger, ble tilbudet vurdert som klart bedre enn klagers og oppnådde dermed 100 poeng. Når det gjelder klagers innvending om at negative forhold ved valgte leverandørs løsning ikke var nevnt i evalueringsrapporten, bemerker klagenemnda at det ikke stilles krav om at enhver forskjell mellom tilbudene fremheves i begrunnelsen. Slik klagenemnda ser det, har innklagede i begrunnelsen fremhevet de utslagsgivende forskjellene mellom tilbudene. Klagers anførsel gir ikke holdepunkter for at evalueringen av valgte leverandørs tilbud er i strid med regelverket.

(44) Spørsmålet videre er om innklagede har brutt regelverket ved å legge feil faktum til grunn ved evalueringen av klagers tilbud.

(45) Klager har for det første anført at det er feil at klagers løsning mangler integrasjoner mot fagsystemer. Klager har i den forbindelse vist til at deres at standardløsning oppfyller elleve av totalt tretten krav, mens de to gjenværende kravene ville kunne oppfylles gjennom tilpasninger. Innklagede har forklart at man la vekt på at klagers standardløsning mangler to etterspurte integrasjoner og at valgte leverandørs tilbud fremstår som klart bedre enn klagers på dette punktet. Klagenemnda har ingen rettslige innvendinger mot innklagedes vurdering på dette punktet.

(46) Klager har for det andre anført at innklagede feilaktig har lagt til grunn at klagers løsning mangler elektronisk signatur og mulighet til å legge inn og tilpasse maler.

(47) Det er ikke bestridt at klagers skriftlige tilbud ikke inneholdt informasjon om muligheten til å legge inn og tilpasse maler eller om bruk av elektronisk signatur. Klager anfører imidlertid at dette skyldes at informasjonen om disse funksjonene ikke er etterspurt, og at klagers løsning rent faktisk har disse funksjonene.

(48) Det fremgikk av konkurransegrunnlaget at leverandørene med utgangspunkt i behovsbeskrivelsen skulle beskrive sin tilbudte løsning. Klagenemnda viser til at en stor del av kravene gjelder muligheten for å produsere dokumenter og håndtere data på en enkel og brukervennlig måte, i tråd med de til enhver tid gjeldende lover og regler. Det var også stilt krav knyttet til muligheten for å gjøre endringer i produserte dokumenter, samt dokumentenes oppsett og utseende. Nemnda finner i lys av dette at muligheten til å benytte og tilpasse maler var funksjonalitet som det var lagt opp til å beskrive i tilbudet. Når det gjelder bruk av elektronisk signatur, inneholdt behovsspesifikasjonen eksplisitt krav om at løsningen skulle kunne håndtere samtykke, og at foresatte skulle kunne svare på dette elektronisk. Klager kan dermed ikke høres med at konkurransedokumentene ikke la opp til at man skulle beskrive løsningens funksjonalitet knyttet til bruk av maler og elektronisk signatur.

(49) Når det gjelder klagers anførsel om at innklagede feilaktig har lagt til grunn at klagers tilbudte løsning overhodet ikke støtter nynorsk, er det ikke holdepunkter for at innklagede har lagt dette til grunn. Det er i evalueringsrapporten trukket frem at nynorsk ikke vil være på plass før 1. januar 2023, noe som har gitt trekk. Klagenemnda kan ikke se at evalueringen er vilkårlig eller basert på feil faktum på dette punktet. Klagenemnda kan heller ikke se at klagers anførsler gir holdepunkt for at det var vilkårlig å vektlegge at klagers løsning fremsto som uferdig i forhold til innklagedes behov.

(50) Klagenemnda tar videre stilling til om klager er trukket to ganger for samme forhold, i strid med regelverket.

(51) Det fremgikk av evalueringsrapporten at klager fikk trekk for sin besvarelse av bilag 2 underpunkt b, fordi løsningen ser ut til å mangle integrasjoner til fagsystemer. Slik nemnda forstår det, knytter dette trekket seg til de to kravene i behovsspesifikasjonen som klagers standardløsning ikke oppfyller, og som krevde tilpasninger, jf. gjennomgangen i avsnitt 45 over.

(52) I tillegg fremgår det av evalueringsrapporten at klagers løsning er vurdert som svakere enn valgte leverandørs under underpunkt d, som gjaldt løsningens integrasjoner. Her er trekket begrunnet med at klager har gitt en svært kort redegjørelse for hvordan integrasjonene i deres løsning var lagt opp, samt hvilke integrasjoner som var inkludert i løsningen. Det var også vektlagt at tilbudet skapte usikkerhet rundt oppfyllelse av behovet for integrasjon mot andre instanser. Usikkerheten knyttet seg til et konkret krav, der klager hadde fylt ut både S og T i behovsbeskrivelsen. Kravet gjaldt ikke integrasjoner mot fagsystemer. Klagenemnda kan på denne bakgrunn ikke se at klagers tilbud er trukket flere ganger for samme forhold. Klagers anførsel fører ikke frem.

(53) Klager har i tillegg beskrevet flere av de trekkene som innklagede har gjort og vist til at innklagede ved evalueringen har blandet sammen ulike underpunkter under tildelingskriteriet «Løsningsforslag, funksjonalitet og likebehandling». I den grad dette er ment som en egne anførsler avvises disse som ubegrunnet, jf. klagenemndforskriften § 9. Evaluering av tildelingskriteriet «Implementering, service og kompetanse»

(54) Klagenemnda tar videre stilling til om innklagede har brutt regelverket ved evalueringen av tilbudene under tildelingskriteriet «Implementering, service og kompetanse».

(55) Når det gjelder klagers anførsel om at innklagede uriktig har lagt til grunn at klager ikke har oppgitt bindende kompensasjon ved brudd på feilrettingsfrister, har innklagede erkjent at dette utgjør et brudd på regelverket og redegjort for at klager på grunn av feilen ble trukket fem poeng for mye. Klagers poengscore for tildelingskriteriet «Implementering, service og kompetanse» skulle dermed vært 57,5 istedenfor 52,5.

(56) Klager har videre anført at det var i strid med regelverket å gi valgte leverandør uttelling for deres tilbudte fremdriftsplan når denne i vedleggstittelen var benevnt som tentativ.

(57) Innklagede har ikke gitt klagenemnda innsyn i fremdriftsplanen, under henvisning til at denne inneholder taushetsbelagt informasjon. Klagenemnda har derfor ingen mulighet til å vurdere innholdet i planen. Innklagede har imidlertid overfor tingretten gitt forklaringer om hvordan valgte leverandørs fremdriftsplan skulle forstås, herunder at den var bindende. Klagenemnda forutsetter derfor at innholdet i planen viser at den er bindende.

(58) Klagenemnda tar videre stilling til om innklagede har brutt regelverket ved å legge for stor vekt på valgte leverandørs erfaring og teamsammensetning når anskaffelsen gjaldt en hyllevare.

(59) Selv om anskaffelsen gjelder et utprøvd og ferdigutviklet system, har anskaffelsen også et fremtredende tjenesteelement. Det var derfor lagt opp til at leverandørenes kompetanse skulle inngå i evalueringen av tildelingskriteriet til implementering, service og kompetanse. Det fremgår av evalueringsrapporten at erfaring og teamsammensetning i tråd med dette har inngått som et av flere momenter i en helhetsvurderingen av tilbudt kompetanse, og at betydningen av dette punktet har vært begrenset. Klagers anførsel fører ikke frem.

(60) Klagenemnda tar videre stilling til om innklagede har brutt likebehandlingsprinsippet ved å gi klager trekk for kompensasjonsordninger ved brutt oppetid og feilrettingsfrister, når valgte leverandør har forbeholdt seg retten til å gjøre endringer i sitt tilbudte tjenestenivå.

(61) Det fremgikk av evalueringsrapporten at innklagede vurderte at valgte leverandørs tilbudte tjenestenivå hadde «gode garanterte bestemmelser for både oppetid og feilretting med kompensasjoner». Videre fremgikk det at valgte leverandør hadde «noe bedre kompensasjonsordning ved brutt oppetid» og «raskere responstid på feilretting og har kompensasjon for brudd på feilrettingsfrister». Klager ble for dette trukket til sammen 15 poeng sammenlignet med valgte leverandør.

(62) Som det fremgår av avsnitt 37 over, hadde valgte leverandør i sitt bilag 4 inntatt et generelt forbehold om å gjøre endringer i tilbudt tjenestenivå. Innklagede har overfor klagenemnda forklart at man ikke anså dette som et forbehold, og har i den forbindelse vist til at valgte leverandør hadde opplyst i tilbudet at man ikke tok noen forbehold.

(63) Klagenemnda bemerker at hvorvidt det er tatt et forbehold må avgjøres konkret, og at det ikke er avgjørende om leverandøren har opplyst at det er tatt et forbehold. Ettersom tjenestenivået var gjenstand for evaluering, og ikke et minstekrav, er spørsmålet her om valgte leverandør urettmessig har fått uttelling for et tjenestenivå som oppdragsgiver ikke har noen garanti for at vil bli levert i kontraktsperioden.

(64) Selv om formuleringen i bilag 4 isolert sett fremstår som svært vidtrekkende, har ikke klagenemnda tilgang til dokumentet i sin helhet, og kan derfor ikke gjøre en vurdering av forbeholdets nærmere omfang og betydning for evalueringen. Klagenemnda finner likevel grunn til å bemerke at innklagedes forklaringer overfor nemnda ikke har synliggjort at det er foretatt en reell vurdering av forbeholdets betydning ved evalueringen av valgte leverandørs tjenestenivå. Det er heller ikke godgjort at det ikke kan gis forklaringer rundt dette uten å bryte lovbestemt taushetsplikt. Slik denne saken ligger an, er imidlertid tjenestenivået og tilhørende kompensasjoner bare ett av flere momenter som inngår i evalueringen av det aktuelle tildelingskriteriet. Kriteriets vekt er også begrenset (20 prosent). Slik klagenemnda ser det, er det derfor ikke holdepunkter for at et eventuelt brudd på dette punktet kan ha påvirket utfallet av konkurransen. Det vises i den forbindelse til at klagers løsning var vurdert som vesentlig dårligere under kriteriet «Løsningsforslag, funksjonalitet og brukervennlighet» (55 prosent), hvor klager oppnådde 57,5 poeng mot valgte leverandørs 100.

(65) Bruddet klagenemnda har konstatert, kan ikke ha påvirket resultatet av konkurransen jf. klagenemndsforskriften § 13. Klagegebyret skal derfor ikke tilbakebetales.

Konklusjon: Stord kommune har brutt regelverket ved evalueringen tildelingskriteriet «Implementering, service og kompetanse». Klagers øvrige anførsler har ikke ført frem. For Klagenemnda for offentlige anskaffelser, Marianne Dragsten