Høringsvar vedr. Metode for fastsættelse af det individuelle effektiviseringskrav

DANVA vil gerne takke for muligheden for at give høringssvar på årets benchmarking, samt for igen i år at være inviteret til et høringsmøde. DANVA sætter pris på, at Vandsektortilsynet fortsat prioriterer at involvere branchen i udviklingen af benchmarkingmodellen.

Det store problem i årets benchmarking er, at der igen er store udsving i de målte effektiviseringspotentialer på selskabsniveau. Dette har været et grundlæggende problem i benchmarkingen alle årene og udstiller de store usikkerheder, der er forbundet med metoden. Problemet er svært at afhjælpe, men det kan dog mindskes ved en mere forsigtig anvendelse og flere forsigtighedshensyn. Konkret foreslår DANVA, at grænsen for superefficiens sænkes.

Herudover bemærker vi, at man på spildevandsområdet har anvendt flere af de metodeændringer, som blev indført i benchmarkingen af drikkevandsselskaberne sidste år. Vi er glade for, at tilsynet har imødekommet nogle af de bekymringer, vi har haft ved valget af parameteren M, samt de forbedringer, der er lavet i outlierkontrollen og costdriver-analysen.

På trods af de nævnte forbedringer er vi ærgerlige over, at man har fjernet det forsigtighedshensyn, der var forbundet med best-of-two. De store årlige udsving vidner om, at der stadig er behov for at tolke resultaterne med større forsigtighed.

Store ændringer i selskabernes efficiensscore

Der er fortsat store udsving i effektivitetsvurderingen af det enkelte selskab fra benchmarking til benchmarking. Det er et centralt problem i modellen og illustrerer, at der fortsat er stor usikkerhed forbundet med vurderingerne. Den gennemsnitlige afvigelse fra sidste benchmarking har siden indførelsen af totex-benchmarkingen ligget på omkring 6-7 procentpoint, hvilket fremgår af figur 1 nedenfor. I år har selskabernes efficiensscore i gennemsnit ændret sig med 6 procentpoint. Dette er en stor ændring, da den gennemsnitlige målte ineffektivitet i det udsendte materiale er opgjort til 8 %. Mest ekstremt er, at et selskab denne gang er gået fra at have en ineffektivitet på 44 % til at være fuldt effektiv.

Klik på grafikken for at forstørre.  

Figur 1: Historisk overblik over den gennemsnitlige afvigelse fra sidste benchmarking opgjort i procentpoint

I figuren sammenlignes spildevandsselskabernes efficiensscore med deres score fra forrige benchmarking. For hvert selskab findes forskellen i efficiensscore, hvorefter der tages et gennemsnit af afvigelserne. Afvigelsen er opgjort i procentpoint.

De vedvarende store årlige udsving vidner om, at benchmarkingresultaterne er forbundet med stor usikkerhed. De store udsving skal ses i lyset af, at selskaberne bliver benchmarket hvert andet år. Det burde derfor være begrænset, hvor store ændringer i effektiviteten selskaberne reelt oplever på bare to år – især i anlægstunge selskaber, hvor 2/3 af omkostningerne i gennemsnit er anlægsomkostninger.

De vedvarende store usikkerheder i effektivitetsvurderingerne rejser spørgsmål om relevansen og troværdigheden af en resultatorienteret benchmarking. DANVA vil dog opfordre Vandsektortilsynet til at fortsætte arbejdet med at forbedre modellen. Tilsynet kan eksempelvis være mere forsigtigt i anvendelsen og indlægge flere forsigtighedshensyn i modellen.

På den korte bane vil det i denne benchmarkingrunde være oplagt at gøre modellen mindre afhængig af enkeltobservationer.

Test for superefficiens

Vandsektortilsynet fjerner selskaber med en superefficiens på over 1,10. Det betyder, at hvis et selskab er mere end 10 % mere effektivt end fronten (uden det pågældende selskab på fronten), bliver det fjernet som outlier. Omvendt betyder det også, at tilsynet tillader ét selskab at være op til 10 % mere effektivt end det næstbedste selskab. Ét selskab kan dermed få stor indflydelse på fronten. Øvrige forsigtighedshensyn reducerer denne indflydelse lidt, men grundlæggende tillader tilsynet med den høje grænse en betydelig påvirkning fra enkeltselskaber.

Givet de store og vedvarende usikkerheder på selskabsniveau – som beskrevet ovenfor – finder DANVA det centralt, at grænsen for superefficiens sænkes.

Ved seneste benchmarking udtrykte vi ligeledes bekymring over den høje grænse for superefficiens. Dette skal ses i lyset af, at man har fjernet SFA, som er en statistisk model, der alt andet lige vil tillægge mindre vægt til enkelte observationer.  I den forbindelse henviste tilsynet til, at implementeringen af Order-M og Mahalanobis var tilstrækkelig håndtering af outliers. Derfor har vi i år undersøgt betydning af grænsen for superefficiens, hvor der er taget højde for, at man bruger Order-M og Mahalanobis. 

Til undersøgelsen har vi anvendt den udsendte R-kode og varieret grænsen for superefficiens. For hver grænse mellem 1,00 og 1,10 har vi beregnet den gennemsnitlige efficiensscore efter kompensation fra costdriver-analysen. Resultaterne fremgår af figur 2 nedenfor.

Klik på figuren for at forstørre.  Figur 2:  Selskabernes gennemsnitlige efficiensscore ved forskellige grænser for superefficiens.

Figuren viser spildevandsselskabernes gennemsnitlige efficiensscore ved forskellige grænser for superefficiens. Resultaterne er beregnet ved hjælp af de udsendte R-koder. Når grænsen for superefficiens hæves, tillægger man større vægt til enkeltobservationer, da færre selskaber fjernes som outliers. Store spring i figuren illustrerer derfor betydningen af enkelte observationer.

Resultaterne viser, at fastsættelsen af grænsen for superefficiens har stor betydning for de endelige resultater. Problemet ved at vælge en høj grænse er, at det får stor betydning for resultaterne, om en potentiel outlier lige præcis lander på den ene eller anden side af grænsen. Ved at sænke grænsen reduceres betydningen af enkeltobservationer markant. Det ses, at resultaterne stabiliseres ved en grænse på 1,02, og at en grænse på 1,04 – som DANVA tidligere har foreslået – afhjælper hovedparten af problemet.

Af figur 2 fremgår det, at den gennemsnitlige efficiensscore falder med 3 procentpoint, når grænsen ændres fra 1,00 til 1,10. Den største ændring sker ved at hæve grænsen fra 1,07 til 1,08, hvor efficiensscoren falder med næsten 2 procentpoint. Det er et markant fald, særligt i lyset af at det gennemsnitlige effektiviseringspotentiale i FATO er opgjort til 1 - 0,92 = 8 % i de udmeldte resultater. 

Når vi bruger den gennemsnitlige efficiensscore til at vurdere betydningen af enkelte selskaber, undervurderer vi dog den reelle påvirkning. Hvis vi i stedet ser på specifikke selskaber, er effekten større. Ved at ændre grænsen fra 1,07 til 1,08 falder Ishøj Spildevand og HOFOR Spildevand Brøndbys efficiensscore med omkring 5 procentpoint, mens Aarhus Vand og Novafos Furesø falder med cirka 4 procentpoint. For Aarhus Vand og Novafos Furesø svarer det næsten til en fordobling af deres identificerede effektiviseringspotentiale.

Tabel 1: Forskel i efficiensscore ved grænse for superefficens på 1,07 og 1,08

Tabellen viser de fem selskabers efficiensscore, hvis grænsen for superefficiens (SE) fastsættes til henholdsvis 1,07 og 1,08.

Det gennemsnitlige effektiviseringspotentiale i sektoren bliver cirka 20% højere pga. ét selskab. Påvirkningen af enkelte selskaber er på op mod 5% mere i effektiviseringspotentiale målt på FATO svarende til en fordobling for nogle. DANVA vurderer på denne baggrund, at tilsynet med fordel kan have en mere forsigtig tilgang. Et godt bud er, at det pågældende selskaber, der trækker fronten meget op grundet udsving, ikke er frontselskab i næste benchmarking, hvor et nyt selskab måske svinger op på fronten og giver stor påvirkning til en ny gruppe selskaber. Det er ikke hensigtsmæssigt.

I lyset af ovenstående resultater foreslår vi, at grænsen for superefficiens sættes ned til 1,04. Det vil både reducere betydningen af enkeltobservationer og fungere som et værktøj til at mindske de store udsving fra år til år. Figur 2 viser, at jo lavere grænsen er, desto mindre bliver betydningen af, at enkelte selskaber udgår som outliers.

Der har desværre indsneget sig en fejl i årets benchmarkingresultater: I metodepapiret fremgår det, at grænsen for superefficiens skal være 1,10, mens den i R-koden er sat til 1,00. Vi håber, at Vandsektortilsynet i forbindelse med udbedring af den manglende konsistens i valg af grænse for superefficiens mellem metodepapir og kode, vælger at sætte grænsen for superefficiens til 1,04, da dette er meget relevant.

Kvalitetstjek af Outliers

En af bekymringerne ved at afskaffe DEA var, at det kunne gå ud over kvalitetskontrollen af frontselskaberne. Det er vigtigt, at de selskaber, som har stor indflydelse på andre selskabers efficiensscore, rent faktisk er sammenlignelige med de selskaber, de påvirker.

Vi vil derfor gerne bifalde, at man har udvidet kvalitetstjekket til også at omfatte de mest effektive selskaber. Samtidig finder vi det positivt, at tilsynet i år har imødekommet nogle af de bekymringer, vi tidligere har haft vedrørende frontselskaber med mange færdigt afskrevne aktiver, og ubalance mellem opdateret anlægsmasse og indberettede omkostninger.

Ved spørgsmål til høringssvaret kontakt Oliver Pedersen på 87933508 og/eller op@danva.dk.