KOFA 2024/0854 – Avlysning, A2-krav og prissetting av kvalitet

Saken gjelder:

Avlysning, uklart konkurransegrunnlag, evalueringsmodell.

Innklagede gjennomførte en konkurransepreget dialog for anskaffelse av en digital løsning for administrasjon, produksjon, gjennomføring og analyse av tester og eksamener. Klagers anførsler om at konkurransen skulle vært avlyst som følge av uklart konkurransegrunnlag og ulovlig anvendelse av evalueringsmodell, førte ikke frem. Klagenemndas avgjørelse 17. desember 2024 i sak 2024/0854 Klager:

Enovate AS

Innklaget:

Direktoratet for høyere utdanning og kompetanse

Klagenemndas medlemmer:

Sverre Nyhus, Wenche Sædal og Christina Paludan Melson

Bakgrunn

Direktoratet for høyere utdanning og kompetanse (heretter innklagede) kunngjorde 16. desember 2022 en konkurranse om anskaffelse av en digital løsning for administrasjon, produksjon, gjennomføring og analyse av tester og eksamener. Konkurransen ble gjennomført som konkurransepreget dialog. Avtalen hadde en varighet på seks år, med en opsjon på å forlenge avtalen i ytterligere seks år, med to år av gangen. Anskaffelsens verdi var ikke angitt i konkurransegrunnlaget. Tilbudsfrist var 31. oktober 2023.

Formålet med anskaffelsen var å anskaffe en løsning som sørget for at den norske statsborgerprøven, og kunnskapsprøvene i norsk og samfunnskunnskap, kunne gjennomføres sikkert, effektivt og med høy kvalitet.

I kravspesifikasjonen var kravene til løsningen delt inn i tre kategorier med følgende beskrivelse: «A1 = Minimum requirement. Must be answered with “Y” for “Yes” or “N” for “No”, in addition to answering any specified documentation requirements. A2 = Minimum requirement and evaluation requirement. Must be answered with “Y” for “Yes” or “N” for “No”, in addition to answering any specified documentation requirements. In addition, degree of fulfillment will be included in the evaluation of the award criterium Quality. B = Evaluation requirement. Must be answered with “Y” for “Yes” or “N” for “No”, and any specified documentation requirements, and will be included in the evaluation of the award criterium Quality.»

Det var angitt at tilbud som ikke dekket minstekravene i kategori A1 og A2, kunne avvises fra konkurransen:

«Note: If requirements with classification A1 and A2 are not satisfied, the bid can be rejected.»

Kontrakten skulle tildeles tilbudet med det beste forholdet mellom pris og kvalitet, basert på tildelingskriteriene «Quality» (vektet 75-85 prosent) og «Price» (vektet 15-25 prosent). Tildelingskriteriene med tilhørende «Sub criteria» og «Assessment group» var i konkurransegrunnlaget illustrert ved følgende tabell: Award criteria

Sub criteria

Assessment group

Functionality

User-friendliness

Technical, information security and personal data protection

Project and progress plan (development and risk assessment)

Training

Service and Security management (invigilation, support)

Contractor-Customer relations (innovation, development, collaboration)

Service delivery

Development, configuration and adaption of the solutions

A. Fixed price for development B. Hourly rates

Delivery of operations, maintenance, support and further development of the solution

A. Price per year, current volume B. Price per year, increased volume C. Price per year, decreased volume D. Hourly rates

Solution Quality (75-85%) Understanding the assignment Development, configuration and adaption of the solution Ability to deliver Delivery of operations, maintenance, support and further development of the solution

Price (1525%)

I konkurransegrunnlaget var det også opplyst om at det ved tilbudsevalueringen skulle benyttes en evalueringsmodell som prissatte tilbudenes kvalitet: «All of the Bidder’s responses to A2 and B requirements in Attachment 3 «Customer requirements» are evaluated under award criteria «Quality». All the requirements are marked with a code in the column «Group», which refers to the assessment group the requirement will be awarded under. All the A2 and B requirements marked with S1 will be evaluated under «Functionality» (S1), all requirements marked with S2 will be evaluated under «User-friendliness» (S2), etc.

The Customer uses quality pricing as an evaluation model. A model that prices quality, will award points to qualitative aspects in the bids and convert those points to a price value. The price value is used to adjust the factual bid price, to a so-called «evaluated bid price». The bid with the lowest «evaluated bid price» will be awarded the contract. The sole purpose of the «evaluated bid price» is to compare and rank the bids. The Customer has chosen a version of the evaluation model where the money value for the lack of quality is added to the bid price. A bid that is awarded 10 points on Quality, will have 0 NOK added in this model. The calculation of value per quality point is estimated from an average bid price.»

I konkurransegrunnlaget stod det således at evalueringen av tildelingskriteriet «Quality» skulle baseres på graden av oppfyllelse av A2- og B-kravene. Det beste tilbudet i hver vurderingsgruppe kunne få inntil 10 poeng, og de øvrige tilbudene ville få poeng etter den relative forskjellen fra det beste tilbudet.

Hver vurderingsgruppe tilhørte ett av tre underkriterier. Det var angitt at underkriteriet «Solution» ville veie tyngre enn underkriteriene «Understanding the assignment» og «Ability to deliver», ved evalueringen. Det var også angitt at vurderingsgruppene S1 og S3, som hørte til under «Solution», veide tyngre enn S2.

Det var oppstilt en rekke A2-krav til løsningen, hvor kun noen er relevante for saken her.

(10)Krav nr. 0085 var klassifisert som et A2-krav. Kravet tilhørte vurderingsgruppen «U1 = Project and progress plan (development and risk assessment)», og var formulert på følgende måte: «The Contractor shall describe the methods and tools that will be used to implement the deliverables, as well as the environment in which they shall be implemented.»

(11)Krav nr. 0105 var også et A2-krav som tilhørte vurderingsgruppen U1, og var formulert på følgende måte: «The Contractor must describe and document their test strategy».

(12)I kravspesifikasjonen var det henvist til SSA-T vedlegg 5, hvor det var gitt følgende informasjon relatert til krav nr. 0105: «The Contractor should describe and document their test strategy. The test strategy shall describe how the Contractor intends to carry out testing of the solution throughout the project. The Customer and the Contractor will prepare a common test strategy and detailed test plans after contract signing. The documents must be approved by the Customer. The test strategy must as minimum contain: •

Roles and responsibilities of the Contractor and the Customer

Test approach

Test environment setup

Test tools, monitoring and reporting

Test data approach»

(13)Krav nr. 0110 var også et A2-krav under vurderingsgruppe U1, og stilte følgende krav: «The Contractor must have routines and processes for handling future change requests. The Contractor shall describe the processes to develop, test and implement future changes. Environments (e.g. test) used to support this should also be described.»

(14)Krav nr. 0130 var et A2-krav som tilhørte vurderingsgruppen «Ab2 = ContractorCustomer relations (innovation, development, collaboration)», og stilte følgende krav: «The Contractor has frameworks, tools, platforms, and activities for innovation and development in a long term partnership.»

(15)Krav nr. 2055 var et A2-krav som tilhørte vurderingsgruppen «S1 = Functionality», og var formulert på følgende måte: «For common closed task formats such as multiple choice, all parts of the task can include video, i.e., instructions, main task section, questions, and answer alternatives.»

(16)I vedlegget til kravspesifikasjonen var det gitt følgende veiledning til dokumentasjon av kravet: «For candidates who are sign language users, being able to test sign language skills without the interference of written language is important. Please document how a standard multiple-choice task will look, when videos are used to convey the task instructions, question, main task section/content, and four answer alternatives, omitting any written text. Expected documentation: Sceenshot(s) of how a single task will look from the candidate’s point of view will suffice. In cases where screenshots are not possible, illustrations can be used. Written explanations can be added if needed, but must be kept short. The response will be documented in a separate file. Name the corresponding file «ET22» and update section B in Attachment 6 – Contractor Solution Specification.»

(17)Krav nr. 3281 tilhørte gruppe «S2 = User friendliness», og var også angitt som et A2krav. Kravet var formulert på følgende måte: «The Solution makes it easy for the candidates to understand how the tests are carried out, for example starting the test, answering tasks, navigation, and submitting the test.»

(18)Det var gitt følgende veiledning til dokumentasjon av kravet: «Make a short video presentation (maximum 2 minutes) where the candidate journey from starting a test (after log-in) to test submission is shown. The test content presented must include at least one task for each language skill (listening, reading, writing, speaking). Maximum number of tasks is 5. In the evaluation, user-friendliness for the candidates will be given particular emphasis.»

(19)Ved tilbudsfristen mottok innklagede tilbud fra tre leverandører, herunder Open Assessment Technologies og Enovate AS (heretter klager).

(20)Ved tildelingsbrev 21. desember 2023 meddelte innklagede at kontrakten var tildelt Open Assessment Technologies (heretter valgte leverandør). Det fremgikk av tildelingsbrevet at det tredje tilbudet var avvist fra konkurransen. Klager hadde inngitt tilbudet med lavest pris, men etter tilbudsevalueringen var det valgte leverandørs tilbud som hadde lavest evaluert pris.

(21)I tildelingsbrevet var det gitt følgende begrunnelse for evalueringen av krav nr. 2055: «For requirement 2055, both suppliers confirm that this functionality is already existing and will be supported in their solution. However, none of the suppliers has provided documentation that makes it possible to evaluate the degree of fulfilment and both suppliers are assessed equally for this requirement.»

(22)Det var også informert om at gjennomsnittlig tilbudspris i konkurransen var 6 602 495 kroner. Vektingen av underkriteriene og vurderingsgruppene, samt pris per kvalitetspoeng, var illustrert i følgende tabell: Sub Criteria

Weighting

Assessment groups

Price per point overall quality

Solution

Understanding the assignment Ability to deliver

25 % 25 %

Weighting

Price per point 2 640 998

(23)Klager påklaget tildelingsbeslutningen 10. januar 2024. Innklagede opprettholdt tildelingen 11. januar 2024.

(24)Klagen ble brakt inn for klagenemnda for offentlige anskaffelser 30. mai 2024.

(25)Nemndsmøte i saken ble avholdt 16. desember 2024.

Anførsler

Klager har i det vesentlige anført

Avlysningsplikt

(26)Innklagede hadde plikt til å avlyse konkurransen som følge konkurransegrunnlag og ulovlig anvendelse av evalueringsmodellen.

Uklart konkurransegrunnlag

(27)Flere av A2-kravene er formulert slik at det er uklart hva som utgjør minstekrav, og hva som er evalueringskrav. Dette utgjør brudd på de grunnleggende prinsippene om forutberegnelighet og likebehandling i anskaffelsesloven § 4.

(28)Krav nr. 2055 om «video in tasks» inneholder ikke noe minstekrav om funksjonalitet til løsningen. At en oppgave «can» inkludere video, tilsier at det dreier seg om et evalueringskrav. Fordi kravet er kategorisert som et A2-krav, blir det følgelig uforutsigbart for leverandørene å identifisere hva som skal til for å oppfylle minstekravet, og hva som eventuelt vil gi meruttelling. Evalueringen av kravet illustrerer denne uklarheten Dersom det legges til grunn et minstekrav om at alle deler av en oppgave skal inkludere video, er det uansett uklart hva som vil gi meruttelling ved evalueringen. Kravet gir innklagede svært vid skjønnsfrihet med hensyn hva som utgjør en god og dårlig løsning, i strid med klarhetskravet og det grunnleggende hensynet til forutberegnelighet.

(29)Krav nr. 0085 om «methods and tools» angir ikke noe minstekrav til ytelsen, kun et evalueringskrav. Av formuleringen «shall describe the methods and tools that will be used to implement the deliverables» kan det ikke utledes et minstekrav om at leverandørene som et minimum måtte ha noen form for «methods and tools». Dersom en slik forståelse likevel legges til grunn, er det uansett ikke klart angitt hva som ville gi meruttelling i evalueringen. Det er blant annet ikke sagt noe om hva oppdragsgiver anser som god og dårlig kvalitet.

(30)Krav nr. 0105, 0110 og 0130 oppstiller heller ingen minstekrav til ytelsen, men gir kun anvisning på evalueringskrav. Forutsatt at det kan utledes minstekrav, foreligger det uansett brudd på klarhetskravet ved at det ikke er klart angitt hva som vil gi meruttelling ved evalueringen.

(31)Krav nr. 3281 går ut på at den tilbudte løsningen «makes it easy» for kandidatene å gjennomføre testene. At det skal være enkelt å forstå hvordan oppgavene skal gjennomføres, er et skjønnsmessig krav og er etter sin art et evalueringskrav.

(32)Den uklare utformingen av A2-kravene har påvirket konkurranseutfallet. Kravenes utforming har påvirket tilbudsutformingen, og har ledet til feil i evalueringen. Siden feilen knytter seg til formuleringen av minstekrav og evalueringskrav, må terskelen for å stadfeste avlysningsplikt være lav.

(33)Det er uten betydning for vurderingen, at deltakerne har hatt mulighet til å ta opp eventuelle svakheter ved anskaffelsesdokumentene før tilbudsfristen. Leverandørene har ingen aktivitetsplikt til å påpeke feil i konkurransegrunnlaget før tilbudsfrist.

(34)Siden sentrale krav ikke kan endres etter kunngjøring, kunne ikke feilen rettes på annen måte enn gjennom avlysning. Hvorvidt evalueringsmodellen er ulovlig anvendt

(35)Evalueringsmodellen som prissetter kvalitet, er anvendt på en ulovlig måte. For det første angir ikke konkurransegrunnlaget noen ramme for maksimalt fratrekk eller økning for hvert kriterium. At oppdragsgivers betalingsvillighet ikke er synliggjort, skaper uforutsigbarhet for tilbyderne i konkurransen. Manglende synliggjøring gjør også at evalueringen fremstår som vilkårlig, og dermed ikke egnet til å identifisere de relevante forskjellene mellom tilbudene. For det andre har innklagede benyttet en relativ evalueringsmetode. Prissetting av kvalitet forutsetter imidlertid at tilbudene evalueres etter en absolutt metode, hvor hvert tilbud vurderes opp mot en fastsatt størrelse eller standard. For det tredje har innklagede benyttet det billigste tilbudet som sammenligningsgrunnlag. Dette gir en risiko for at innklagede ikke blir bevisst egen betalingsvillighet ved tilbudsevalueringen, og siden den laveste prisen ikke er kjent på forhånd, blir evalueringen vilkårlig og uforutberegnelig for leverandørene.

(36)Den ulovlige anvendelsen av evalueringsmodellen har påvirket konkurranseutfallet. Påslagene som er gitt på tilbudsprisen som følge av feilene ved evalueringen, har hatt klar betydning for poengsettingen. Klager hadde det opprinnelig laveste tilbudet, men ble gitt om lag 44 % påslag i pris. Det er nærliggende å legge til grunn at kvalitetsforskjellene har gitt større utslag for påslaget enn hva innklagede hadde sett for seg. Påslaget fremstår dermed som vilkårlig og lite forutsigbart.

(37)Endring av evalueringsmodellen etter dialogfasen var avsluttet, ville ha utgjort en ulovlig vesentlig endring. Feilen kan derfor ikke rettes på andre måter enn ved avlysning av konkurransen.

Innklagede har i det vesentlige anført

(38)Innklagede hadde ikke plikt til å avlyse konkurransen. Hvorvidt konkurransegrunnlaget var uklart

(39)Kravene av type A2 var ikke ulovlig uklare. Det fremgår tydelig av anskaffelsesdokumentene at det var leverandørenes «degree of fulfillment» som skulle være gjenstand for evaluering under tildelingskriteriet «Quality».

(40)Krav nr. 2055 er ikke uklart formulert med hensyn til hva som utgjør minstekrav og evalueringskrav. Det er tydelig spesifisert at alle deler av en oppgave må kunne inkludere video, som er et klart minimumskrav for å sikre tilgjengelighet for tegnspråkbrukere. Formuleringen «can include» åpner ikke for valgfrihet med tanke på om det skulle være mulig å inkludere video. Forklaringen i Attachement 3b gjør det klart at det måtte være mulig å bygge inn videoer i oppgavene, av hensyn til kandidater som bruker tegnspråk. Evalueringskravet handler om hvordan oppgaven ser ut med videoer som formidler alle deler av oppgaven. I tillegg til å sikre at videofunksjonen er til stede, gir dokumentasjonen innklagede mulighet til å evaluere på graden av brukervennlighet. Kravet ligger i evalueringsgruppen S2 («User friendliness»), noe som også understreker at brukervennlige løsninger premieres mer enn mindre brukervennlige løsninger. Evalueringen av krav nr. 2055 kan ikke tas til inntekt for at kravet er uklart. Evalueringen viser kun at både klager og valgte leverandør besvarte kravet mangelfullt.

(41)Krav nr. 0085 er ikke uklart formulert med hensyn til hva som utgjør minstekrav og evalueringskrav. Selv om det ikke fremgår uttrykkelig av ordlyden, må det være tilstrekkelig klart for en rimelig opplyst og normalt påpasselig leverandør at man som minimum må ha noen «methods and tools» for å «implement the deliverables». Det er kvaliteten på metodene og verktøyene, som er gjenstand for evaluering.

(42)Krav nr. 0105 har et tilstrekkelig klart skille mellom minstekrav og evalueringskrav. Ved tolkningen av kravet må det ses hen til SSA-T Appendix 5, som det er henvist til ved angivelsen av kravet i kravspesifikasjonen. I førstnevnte fremgår det at leverandørene skal beskrive hvordan testing av løsningen skal foregå, og det er spesifisert hva teststrategien skal inneholde. Det er blant annet nevnt «Test approach» og «Test tools, monitoring and reporting». Dette er forhold som vil variere under hvert tilbud, og som følgelig vil kunne påvirke kvaliteten. Når alle relevante dokumenter leses i sammenheng, må det være tilstrekkelig klart hvilke forhold det ville bli evaluert på.

(43)Krav nr. 0110 har også et tilstrekkelig klart skille mellom minstekrav og evalueringskrav. Kravet hører hjemme i gruppe U1 («Project and progress plan»), og ber blant annet om beskrivelse av prosedyren for «develop, test and implement future changes». Som i krav nr. 0105, er dette forhold som kan variere under hvert tilbud, og som det må være klart at derfor vil evalueres.

(44)Krav nr. 0130 er ikke uklart formulert med hensyn til hva som utgjør minstekrav og evalueringskrav. Utfra kravets ordlyd er det ikke tvilsomt at hvilke «tools» mv. leverandøren har, kan påvirke forholdet til oppdragsgiver i et langtidsperspektiv. Variasjoner i hva som tilbys fra leverandørene, kan dermed trekke kvaliteten på tilbudet opp eller ned, og er følgelig gjenstand for evaluering.

(45)Krav nr. 3281 inneholder både et minstekrav og et evalueringskrav, og disse fremgår tilstrekkelig klart for den rimelig opplyste og normalt påpasselige leverandør. Minimumskravet går ut på at det må være mulig å forstå «how the tests are carried out». Evalueringskravet dreier seg om «user friendliness for the candidates», hvor innklagede forsikres om at den tilbudte løsningen gjør det mulig å forstå hvordan tester blir utført, og kan skille mellom hvor brukervennlige de tilbudte løsningene er.

(46)Forutsatt at konkurransegrunnlaget var uklart, har ikke uklarhetene hatt betydning for konkurranseutfallet. Eventuelle uklarheter var synlige for klager allerede da anskaffelsesdokumentene ble gjort tilgjengelig. At innklagede ikke mottok noen henvendelser som indikerte at konkurransegrunnlaget ble oppfattet som uklart, tyder på at det uansett ikke har foreligget tvil om hvordan tilbudene skulle utformes. Det er dessuten vanskelig å se hvordan en eventuell misforståelse om at et krav kun er et evalueringskrav, har påvirket utformingen av tilbudene. Tilbudsutformingen må jo nettopp antas å ta utgangspunkt i det som vil være gjenstand for evaluering. I tillegg utgjør de påberopte uklarhetene en så liten del av det totale antall krav som ble stilt til ytelsen, at det er vanskelig å se at eventuelle uklarheter har påvirket konkurranseutfallet. Hvorvidt evalueringsmodellen er ulovlig anvendt

(47)Evalueringsmodellen, og bruken av denne, er i samsvar med anskaffelsesregelverkets krav. Det avgjørende for tilbudsevalueringens lovlighet, er at evalueringsmodellen er egnet til å identifisere de relevante forskjellene mellom tilbudene, og at evalueringen foregår slik konkurransegrunnlaget beskriver. Det gjelder ikke noe krav om at prissetting

av kvalitet skal gjøres etter en absolutt evalueringsmetode, slik klager anfører. Det er heller ikke noe krav at oppdragsgiver skal synliggjøre betalingsevnen i anskaffelsesdokumentene, ved bruk av en evalueringsmetode som prissetter kvalitet. Hensynet til leverandørenes forutberegnelighet er dessuten ivaretatt gjennom den inngående beskrivelsen av evalueringsmetoden som er gitt i anskaffelsesdokumentene.

(48)Innklagede har ikke brukt det billigste tilbudet som sammenligningsgrunnlag, men gjennomsnittlig tilbudspris. Denne verdien reflekterer prisnivået i markedet og viser en betalingsvillighet som ikke forstyrres av veldig høye eller veldig lave tilbud. Fordi leverandørenes priser aldri er kjent for oppdragsgiver på forhånd, kan det heller ikke ha betydning for lovligheten av tilbudsevalueringen, at sammenligningsgrunnlaget ikke var gjort kjent i konkurransegrunnlaget.

(49)Innklagede har vært bevisst sin egen betalingsvillighet. Denne synliggjøres gjennom fastsettelsen av 80 prosent vekt på kvalitetskriteriet mot 20 prosent vekt på pris, samt beskrivelsen av hvilke underkriterier og «assessment groups» som vil tillegges størst vekt.

(50)Konkurransegrunnlaget gir en inngående beskrivelse av hvilke underkriterier, «assessment groups» og krav i hver «assessment group» som skal tillegges størst og minst vekt. Klager har ikke sannsynliggjort at det har påvirket tilbudsutformingen at innklagede ikke har angitt disse forholdene i form av maksimalt påslag i pris.

(51)Valg av evalueringsmetode har ikke påvirket konkurranseutfallet. Påslaget på klagers pris er et utslag av at valgte leverandørs tilbud har en kvalitet som mer enn oppveide den noe høyere prisen. Kvalitet var vektet 80 prosent og pris var vektet 20 prosent. Resultatet ville dermed vært det samme om det for eksempel ble benyttet en lineær metode for beregning av poeng på priskriteriet.

Klagenemndas vurdering

(52)Klager har deltatt i konkurransen, og har saklig klageinteresse, jf. forskrift om klagenemnd for offentlige anskaffelser § 6. Klagen er rettidig. Konkurransen gjelder anskaffelse av en digital løsning for administrasjon, produksjon, gjennomføring og analyse av tester og eksamener, som er en tjenesteanskaffelse. Anskaffelsens verdi er ikke angitt i konkurransegrunnlaget, men er i anskaffelsesprotokollen estimert til 90-192 millioner kroner. I tillegg til lov om offentlige anskaffelser 17. juni 2026 nr. 73 følger anskaffelsen forskrift om offentlige anskaffelser 12. august 2016 nr. 974 del I og III, jf. forskriften §§ 5-1 og 5-3.

(53)Klagenemnda skal ta stilling til hvorvidt innklagede hadde plikt til å avlyse konkurransen.

(54)En oppdragsgiver har plikt til å avlyse en konkurranse dersom det er begått feil som kan ha påvirket konkurranseutfallet eller deltakerinteressen, og denne feilen ikke kan rettes på annen måte enn ved avlysning, jf. blant annet HR-2019-1801-A avsnitt 85 og EFTAdomstolens uttalelse i sak E-16/16 avsnitt 106.

(55)Klager har anført at innklagede hadde avlysningsplikt som følge av uklart konkurransegrunnlag, og fordi evalueringsmodellen ble anvendt på ulovlig måte. Hvorvidt konkurransegrunnlaget er uklart

(56)Klagenemnda tar først stilling til om konkurransen skulle vært avlyst som følge av uklart konkurransegrunnlag. Klager anfører at flere av A2-kravene er uklare ved at det ikke fremgår hvilke minstekrav som stilles til ytelsen og hvilken meroppfyllelse som skal evalueres. Dette anføres å utgjøre brudd på kravene til likebehandling og forutberegnelighet, slik at konkurransen skulle vært avlyst.

(57)Det rettslige utgangspunktet er at oppdragsgiver selv bestemmer hva som skal anskaffes, og hvilke krav og spesifikasjoner som skal stilles til anskaffelsen, se for eksempel klagenemndas avgjørelse i sak 2021/649.

(58)De grunnleggende prinsippene om likebehandling og forutberegnelighet i anskaffelsesloven § 4, oppstiller likevel visse rammer for hvordan slike krav skal utformes. Anskaffelsesdokumentene må utformes slik at enhver rimelig opplyst og normalt påpasselig leverandør kan forstå dem på samme måte, slik at leverandørene har like forutsetninger ved utformingen av tilbud, jf. EU-domstolens uttalelser i C-19/00 (SIAC) avsnitt 43 og C-368/10 (Max Havelaar) avsnitt 109. Det samme er lagt til grunn av Høyesterett i HR-2022-1964-A (Flage Maskin) avsnitt 48-50. Det er oppdragsgiver som bærer risikoen for eventuelle uklarheter i anskaffelsesdokumentene, jf. anskaffelsesforskriften § 14-1 (5).

(59)Anskaffelsesregelverket er ikke til hinder for at oppdragsgiver angir minstekrav og evalueringskrav under ett, se for eksempel klagenemndas sak 2021/2131 avsnitt 40. I slike tilfeller kreves imidlertid at det fremgår tilstrekkelig klart hva som utgjør det absolutte kravet til ytelsen, og hvilken merkvalitet som vil bli premiert ved evalueringen, se sak 2019/364 avsnitt 25.

(60)På denne bakgrunn vil klagenemnda vurdere hvorvidt de konkrete kravene tilfredsstiller det klarhetskravet som følger av prinsippene om forutberegnelighet og likebehandling. Dette må avgjøres ved tolking. Tolkningen tar utgangspunkt i kravets ordlyd, men også øvrige deler av anskaffelsesdokumentene kan trekkes inn, se LB-2016-39404.

(61)Klagenemnda tar først stilling hvorvidt krav nr. 2055 er tilstrekkelig klart formulert.

(62)Krav nr. 2055 er i kravspesifikasjonen angitt slik: «For common closed task formats such as multiple choice, all parts of the task can include video, i.e., instructions, main task section, questions, and answer alternatives.»

(63)Klagenemnda tar først stilling til om minstekravet til ytelsen er tilstrekkelig klart angitt.

(64)Kravets ordlyd «can include video» kan forstås slik at leverandørene har valgfrihet med hensyn til om løsningen har videoillustrasjoner for de ulike delene av oppgaven. Som klager har påpekt, innebærer en slik forståelse at det ikke oppstilles noe tydelig minstekrav til ytelsen. Formuleringen kan imidlertid også leses som en konstatering av at alle aspekter ved oppgavene må kunne inkludere video, noe som innebærer et minstekrav om at videoillustrasjoner må være mulig. Ordlyden i kravet er isolert sett tvetydig med hensyn til om det oppstilles et minstekrav til ytelsen.

(65)Kravet må imidlertid leses i sammenheng med veiledningen til dokumentasjonskravet, der det heter at det er viktig å kunne teste språkferdighetene til kandidater som bruker tegnspråk, uten at skriftspråk forstyrrer testingen. Videoillustrasjonene synes altså å ha til formål å legge til rette for å teste tegnspråkferdigheter, uten at kandidatene kan få hjelp

av skriftlige forklaringer, og kravet er stilt for å sikre tilgjengelighet for tegnspråkbrukere. Veiledningen ber leverandørene dokumentere hvordan en standard flervalgsoppgave vil se ut når videoer brukes til å formidle «task instructions, question, main task section/content, and four answer alternatives, omitting any written text». Etter klagenemndas syn er det naturlig å forstå formuleringen «can include» slik at det det må være mulig å inkludere eller tilrettelegge for video i den tilbudte løsningen. Både formålet med videoillustrasjonene og omfanget av dokumentasjonskravet, tilsier dermed at mulighet for videoillustrasjoner må forstås som et minstekrav.

(66)På denne bakgrunn finner klagenemnda at det fremgår tilstrekkelig klart av anskaffelsesdokumentene samlet, at krav nr. 2055 oppstiller et minstekrav om at videoer må kunne tilbys for å illustrere alle aspekter ved nærmere bestemte oppgaver.

(67)Spørsmålet videre er om evalueringskravet i krav nr. 2055 fremgår tilstrekkelig klart, slik at det er forutberegnelig for leverandørene hvilken meroppfyllelse som vil gi uttelling ved evalueringen.

(68)Klager har blant anført at evalueringskravet ikke oppfyller klarhetskravet, fordi det i anskaffelsesdokumentene ikke er sagt noe om hva oppdragsgiver vil anse som gode og dårlige løsninger.

(69)I kravet etterspørres mulighet for videoillustrasjoner av «instructions, main task section, questions, and answer alternatives». I kravspesifikasjonen er det angitt at krav nr. 2055 skal evalueres under vurderingsgruppe S2 «User friendliness». Etter klagenemndas syn fremgår det klart at det skal evalueres på hvor brukervennlige løsninger som tilbys. Opplisting av relevante aspekter ved oppgavene, gir leverandørene tilstrekkelig veiledning om hvordan tilbudene skal utformes med hensyn til evalueringen.

(70)Klagenemnda kan ikke se at anskaffelsesregelverket oppstiller en plikt for oppdragsgiver til å spesifisere hvilke egenskaper som vil telle positivt og negativt i evalueringen, der oppdragsgiver allerede har angitt hva som er gjenstand for evaluering. Lagmannsrettens avgjørelse i LB-2016-39404, er illustrerende. Spørsmålet var om underkriteriet «estetisk utforming» var i strid med klarhetskravet eller kravet til forutberegnelighet. Lagmannsretten besvarte spørsmålet benektende, og viste til at anskaffelsesdokumentene samlet sett viste at «byggets arkitektoniske utforming vil bli vektlagt ved evalueringen». Opplysninger om oppdragsgivers arkitektoniske preferanser, var altså ikke påkrevd.

(71)Klagers anførsel om at krav nr. 2055 er uklart, fører dermed ikke frem.

(72)Klagenemnda skal så ta stilling til hvorvidt krav nr. 0085 er tilstrekkelig klart formulert.

(73)Krav nr. 0085 er i kravspesifikasjonen angitt på følgende måte: «The Contractor shall describe the methods and tools that will be used to implement the deliverables, as well as the environment in which they shall be implemented.»

(74)Klagenemnda vurderer først om minstekravet til ytelsen fremgår tilstrekkelig klart.

(75)Kravets ordlyd «shall» tilsier at leverandørene plikter å gi en beskrivelse av hvilke «methods and tools» de skal bruke for å implementere de ulike kravene til løsningen. At leverandørene har et minimum av metoder og verktøy for å sørge for at kravene imøtekommes, fremstår som en grunnleggende forutsetning.

(76)Innklagede har gjort gjeldende at det for en rimelig opplyst og normalt påpasselig leverandør, må være klart at det oppstilles et minstekrav om at man må kunne vise til noen metoder og verktøy. Klagenemnda deler denne oppfatningen. Etter nemndas syn er det tilstrekkelig klart at det i krav nr. 0085, oppstilles et minstekrav om at leverandørene må ha noen metoder og verktøy for implementering av krav til løsningen.

(77)Spørsmålet videre er om evalueringskravet er tilstrekkelig klart angitt.

(78)Kravet etterspør en beskrivelse av hvilke «methods and tools» leverandørene skal bruke for å sørge for at løsningen tilfredsstiller kravene som er stilt. I kravspesifikasjonen er kravet angitt i gruppe U1, som betyr at det skal vurderes under «Project and progress plan (development and risk assessment)». Etter klagenemndas syn fremgår det dermed tilstrekkelig klart at det er kvaliteten på de metodene, verktøyene og planene som beskrives under tilbudet, som skal evalueres.

(79)Heller ikke for dette kravet fører klagers anførsel frem om at evalueringskravet ikke oppfyller klarhetskravet, fordi det i anskaffelsesdokumentene ikke er sagt noe om hva oppdragsgiver anser som god og dårlig kvalitet, jf. Klagenemndas begrunnelse i avsnitt 70.

(80)På denne bakgrunn finner klagenemnda at både minstekravet og evalueringskravet i krav nr. 0085 er tilstrekkelig klart angitt. Klagers anførsler om at kravet er uklart, fører dermed ikke frem.

(81)Klagenemnda skal så ta stilling hvorvidt krav nr. 0105 er tilstrekkelig klart formulert.

(82)Krav nr. 0105 er i kravspesifikasjonen angitt på følgende måte: «The Contractor must describe and document their test strategy».

(83)Kravspesifikasjonen henviser til SSA-T vedlegg 5 for ytterligere informasjon om kravet. Her fremgår det at formålet med testingen er å forsikre oppdragsgiver om at løsningene som tilbys, tilfredsstiller kravene som er stilt og fungerer som de skal. Det står videre at oppdragsgiver skal foreta en endelig test av løsningen etter at alle krav er oppfylt, men at valgte leverandør før dette skal teste løsningens moduler og funksjoner så langt som mulig. Det henvises så tilbake til krav nr. 0105, med informasjon om at leverandørenes teststrategi «shall describe how the Contractor intends to carry out testing of the solution throughout the project». Deretter angis det at teststrategien «as minimum must contain: •

Roles and responsibilities of the Contractor and the Customer

Test approach

Test environment setup

Test tools, monitoring and reporting

Test data approach»

(84)Det må forventes at en rimelig opplyst og normalt påpasselig leverandør leser kravet i sammenheng med de dokumentene som angis i kravspesifikasjonen. Klagenemnda mener at det fremgår tilstrekkelig klart av kravets ordlyd «must describe» og vedleggets

informasjon om hva teststrategien «as minimum must contain», at det gjelder et minstekrav om at leverandørene må ha en teststrategi som redegjør for «Test approach» mv. og hva denne som minimum må inneholde.

(85)Om evaluering angir kravspesifikasjonen at kravet vurderes under «Project and progress plan (development and risk assessment)». Leverandørenes teststrategi får betydning for prosjekt- og fremdriftsplanen, og det er da naturlig å forstå evalueringskravet slik at det er kvaliteten på disse metoder og verktøy som vil bli evaluert opp mot denne planen. Som redegjort for i avsnitt 70, er det ingen krav om at oppdragsgiver spesifiserer ytterligere hvilke kvaliteter som vil slå positivt og negativt ut i evalueringen. Etter klagenemndas syn er også evalueringskravet i krav nr. 0105, tilstrekkelig klart angitt.

(86)Klagers anførsel om at krav nr. 0105 er uklart formulert, fører ikke frem.

(87)Klagenemnda skal så ta stilling hvorvidt krav nr. 0110 er tilstrekkelig klart formulert.

(88)Krav nr. 0110 er angitt på følgende måte i kravspesifikasjonen: «The Contractor must have routines and processes for handling future change requests. The Contractor shall describe the processes to develop, test and implement future changes. Environments (e.g. test) used to support this should also be described.»

(89)Det fremgår av ordlyden «must have» at leverandørene skal ha rutiner og prosesser for å behandle fremtidige forespørsler om endringer. Minstekravet til ytelsen er tilstrekkelig klart angitt.

(90)Kravets andre avsnitt utdyper at med kravet til behandling av fremtidige forespørsler, så menes at leverandørene skal kunne «develop, test and implement» endringer. I kravspesifikasjonen angis at kravet skal vurderes under «Project and progress plan (development and risk assessment)», slik at det er naturlig å forstå også dette evalueringskravet slik at det er kvaliteten på disse rutiner og metoder verktøy som vil bli evaluert opp mot denne planen. Etter klagenemndas syn gir dette tilstrekkelig klar veiledning om innholdet i evalueringskravet og hvordan leverandørene skal utforme sine tilbud.

(91)Klagers anførsel om at krav nr. 0110 er uklart formulert, fører ikke frem.

(92)Klagenemnda skal så ta stilling til hvorvidt krav nr. 0130 er tilstrekkelig klart formulert.

(93)Krav nr. 0130 er i kravspesifikasjonen angitt på følgende måte: «The Contractor has frameworks, tools, platforms, and activities for innovation and development in a long term partnership.»

(94)Det er naturlig å forstå formuleringen «has» som å oppstille et krav om at leverandørene har «tools, platforms and activities» for innovasjon og utvikling. Minstekravet til ytelsen fremgår dermed tilstrekkelig klart.

(95)Kravspesifikasjonen angir at kravet skal vurderes under gruppe Ab2 «ContractorCustomer relations (innovation, development, collaboration)». Når ordlyden i kravet leses i sammenheng med vurderingsgruppen, fremgår det etter klagenemndas syn

tilstrekkelig klart at det skal evalueres på hvor godt leverandørenes verktøy og plattformer legger til rette for innovasjon, utvikling og godt samarbeid.

(96)Klagers anførsel om at krav nr. 0130 er uklart formulert, fører ikke frem.

(97)Klagenemnda skal så ta stilling til hvorvidt minstekravet i krav nr. 3281 er tilstrekkelig klart angitt.

(98)Krav nr. 3281 er formulert på følgende måte: «The Solution makes it easy for the candidates to understand how the tests are carried out, for example starting the test, answering tasks, navigation, and submitting the test.»

(99)Kravets ordlyd «makes it easy» tilsier at det er et minstekrav til løsningen som tilbys, at det er enkelt å forstå hvordan testene gjennomføres. Det fremgår videre at gjennomføring blant annet innebærer å starte og levere prøver, samt å navigere mellom- og svare på oppgavene. Det er altså dette som skal være «easy» for «the candidates». Dokumentasjonskravet ber om en kort videopresentasjon av hele prøvetakingen fra oppstart til innlevering. Anskaffelsesdokumentene angir flere steder at brukergruppen er innvandrere som søker statsborgerskap i Norge. Følgelig må en rimelig opplyst og normalt påpasselig leverandør forstå at minstekravet er at løsningen fremstår tilpasset og enkel for disse.

(100)Klager har gjort gjeldende at krav nr. 3281 ikke kan utgjøre et minstekrav fordi det er skjønnsmessig utformet. Klagenemnda finner imidlertid at det er gitt tilstrekkelig informasjon om hva testene skal brukes til, brukergruppen, og hvilke operasjoner som skal dokumenteres, til at minstekravet er tilstrekkelig klart angitt. Klagers anførsel fører ikke frem.

(101)Klagenemnda bemerker at innklagede ikke har valgt noen optimal utforming av de ovennevnte A2-kravene, med hensyn til grensen mellom minstekrav og evalueringskrav. Nemnda har under tvil likevel kommet til at både minstekravene og evalueringskravene samlet sett kommer tilstrekkelig klart frem, til at leverandørenes forutberegnelighet er ivaretatt. Ingen av klagers anførsler om at konkurransegrunnlaget er uklart, har dermed ført frem. Hvorvidt evalueringsmodellen er ulovlig anvendt

(102)Klagenemnda skal i det følgende ta stilling til klagers anførsel om at konkurransen skulle vært avlyst som følge av ulovlig anvendelse av evalueringsmodellen om prissetting av kvalitet.

(103)Ved valg av evalueringsmodell, har oppdragsgiver et innkjøpsfaglig skjønn som bare i begrenset grad kan overprøves rettslig. Temaet for den rettslige overprøvingen er ikke om evalueringsmodellen er optimal, men om den er lovlig, se for eksempel klagenemndas avgjørelse i sak 2023/1101. Sentralt for om evalueringsmodellen er lovlig, er om den er egnet til å gjenspeile relevante forskjeller mellom tilbudene, se lagmannsrettens avgjørelse i LB-2017-100799. Oppdragsgiver er i utgangspunktet ikke forpliktet til å informere om evalueringsmodellen i konkurransegrunnlaget, se EU-domstolens avgjørelse i sak C-6/15 (Dimarso) avsnitt 27. Dersom evalueringsmodellen er gjort kjent i konkurransegrunnlaget, må leverandørene kunne innrette seg i tillit til den beskrevne

fremgangsmåten. Dette er tilfelle i saken her, og terskelen for å sette til side evalueringsmetoden som uegnet, er derfor høy.

(104)Klager har ingen innvendinger mot lovligheten av evalueringsmodellen som sådan. Klager anfører at anvendelsen av evalueringsmodellen er ulovlig fordi det ikke er angitt noen ramme for maksimal økning i pris, det er benyttet en relativ evalueringsmetode, og det laveste tilbudet er brukt som sammenligningsgrunnlag uten å være kjent for leverandørene på forhånd.

(105)Klagenemnda tar først stilling til anførselen om at det i konkurransegrunnlaget skulle vært opplyst om den maksimale rammen for økning i pris. Klager har gjort gjeldende at mangelen på opplysninger om maksimal prisøkning, skaper usikkerhet om innklagedes betalingsvillighet. Dette anføres å gjøre evalueringen vilkårlig og uforutberegnelig for leverandørene.

(106)I konkurransegrunnlaget er det angitt at tilbud som oppnådde 10 poeng på vurderingsgruppene under «Quality», ville få 0 kroner tillegg i pris. De øvrige poengene fra 0 til 9 skulle verdsettes ut fra den gjennomsnittlige tilbudsprisen i konkurransen. Siden gjennomsnittsprisen må beregnes etter at tilbud er inngitt, innebærer denne metoden at innklagedes betalingsvillighet ikke er synliggjort i kroner. At verdsettelsen skal ta utgangspunkt i gjennomsnittlig tilbudspris, er imidlertid naturlig å forstå som at innklagedes betalingsvillighet berodde på hva det var rimelig å forvente fra markedet. Vektingen av tildelingskriteriene viser også at løsningens kvalitet var viktigere enn pris, noe som også kaster lys over innklagedes betalingsvillighet. Vektingen viser at innklagede ikke ønsket tilbud med lav pris på bekostning av løsningens kvalitet. Selv om betalingsvilligheten ikke spesifiseres i kroner, gir konkurransegrunnlaget altså flere opplysninger om hvordan leverandørene skulle innrette tilbudene sine. Det er også gitt informasjon om hvilke underkriterier og vurderingsgrupper som ville bli tillagt mest vekt i evalueringen, noe som også gir veiledning om tilbudsutformingen.

(107)Det faktiske prispåslag på 2 640 998 kroner per kvalitetspoeng, med utgangspunkt i en gjennomsnittlig tilbudspris på 6 602 495 kroner, svarer også til en vekting av kvalitet på 80 prosent.

(108)For å oppsummere mener klagenemnda at konkurransegrunnlaget gir tilstrekkelig informasjon om hvordan leverandørene skulle forholde seg til priskriteriet ved tilbudsutformingen, til at leverandørenes forutberegnelighet er ivaretatt. Klagenemnda kan heller ikke se at evalueringen har gitt vilkårlige eller sterkt urimelige utslag. Anførselen om at maksimal ramme for økning i pris skulle vært inntatt i konkurransegrunnlaget, fører ikke frem.

(109)Klagenemnda tar så stilling til anførselen om at innklagede pliktet å benytte en absolutt evalueringsmetode. Klager har gjort gjeldende at dette er en forutsetning for at innklagedes betalingsvillighet skal være utslagsgivende for prissettingen av tilbudenes kvalitet. Nemnda forstår klagers anførsel som at evalueringsmodellen, ved bruk av en relativ metode, ikke er egnet til å gjenspeile de relative forskjellene mellom tilbudene.

(110)I konkurransegrunnlaget er det beskrevet at det beste tilbudet under hver vurderingsgruppe vil bli tildelt 10 poeng, og at de øvrige tilbudene får poeng etter den relative forskjellen fra det beste tilbudet. Evalueringsmodellen legger opp til at tilbudet med best kvalitet under den enkelte vurderingsgruppen, unngår at tilbudsprisen

oppjusteres. I prinsippet tillater den relative evalueringsmetoden dermed at 10 poeng kan gis til et tilbud med lav kvalitet sett hen til hva markedet ellers tilbyr, så lenge kvaliteten er den høyeste som er tilbudt i konkurransen. Dette skiller seg ikke fra andre relative poengmodeller der pris omregnes til poeng.

(111)Som redegjort for i avsnitt 105-106, legger konkurransegrunnlaget opp til at løsningens kvalitet skal være styrende for tilbudsevalueringen. Det er i konkurransegrunnlaget gitt en illustrasjon av tildelingskriteriene med tilhørende underkriterier og vurderingsgrupper. I tillegg til at vektintervallene for tildelingskriteriene er angitt, er det også informert om hvilke underkriterier og vurderingsgrupper som vil tillegges størst vekt i evalueringen. Blant annet er det opplyst om at underkriteriet «Solution» ville få større betydning enn «Understanding the assignment» og «Ability to deliver».

(112)Tildelingsbrevet illustrerer at tilbud med høy kvalitet på de underkriteriene og vurderingsgruppene som innklagede har tillagt stor vekt, har fått større uttelling enn tilbud med høy kvalitet på andre underkriterier og vurderingsgrupper. Slik klagenemnda ser det, legger evalueringsmodellen dermed opp til en evaluering som gjenspeiler de relative forskjellene mellom tilbudene. Dette medfører at evalueringsmetoden er anvendt på lovlig vis. I lys av partenes anførsler finner nemnda grunn til å fremheve at evalueringsmodeller som prissetter tilbudenes kvalitet, kan utformes på flere måter ut fra oppdragsgivers behov. I den forbindelse kan DFØs veileder gi nyttige bidrag. Nemnda understreker imidlertid at modellene som beskrives i veilederen må forstås som eksempler, og at også andre modeller enn de som er beskrevet i veilederen kan være lovlige. Klagers anførsel fører ikke frem.

(113)Klager har også anført at det er ulovlig å anvende tilbudet med lavest pris som sammenligningsgrunnlag, når tilbudssummen ikke er gjort tilgjengelig for leverandørene i forkant av konkurransen. Det fremgår imidlertid tydelig av konkurransegrunnlaget at det er gjennomsnittlig tilbudspris som skulle anvendes for beregningen av verdi per kvalitetspoeng. Tildelingsbrevet viser at innklagede har forholdt seg til dette. Klagenemnda tar derfor ikke stilling til hvorvidt det hadde vært lovlig å anvende lavest pris som sammenligningsgrunnlag.

(114)Klagers anførsler om avlysningsplikt har etter dette ikke ført frem.

Konklusjon

Innklagede hadde ikke plikt til å avlyse konkurransen.

For Klagenemnda for offentlige anskaffelser, Christina Paludan Melson

────────────────────────────────────────────────────────────