Publicerad 21 oktober 2021

Validering och pilottest, regionalt och nationellt

Innan Primärvårdskvalitet sprids i stor skala i organisationen rekommenderas att göra pilottest och validering. SKR stödjer gärna processen och samlar in synpunkter om systemet för att hela tiden göra det bättre.

Validering behöver även utföras innan data visas nationellt på Vården i siffror. Kompetens kring det finns samlad i den Nationella valideringsgruppen, där alla regioner finns representerade.

Regional validering - förslag

Nedan följer ett förslag på hur man kan validera indikatorerna, i samband med införandet i regionen och vid tillägg av nya indikatorer. Se även Valideringshandboken nedan, som beskriver hur man hittar olika felkällor, vad man ska tänka på och tips kring validering.

1. Läs specifikationen för indikatorn

Gå till Kvalitetsindikatorkatalogen, sök upp den aktuella indikatorn och läs specifikationen.

Kvalitetsindikatorkatalogen (KIK)

2. Validera grunddata

Jämför data utdata för Primärvårdskvalitet mot grunddata från annat utdata-system om möjligt. Man kan även undersöka enskilda variabler som är inkluderade i indikatorerna. Detta steg visar om det finns stora differenser.

  1. Jämför regionssnitten för till exempel Dem3A, Inf24 och Äld2. Inkludera:
    • alla ålderskategorier
    • alla vårdenheter
    • båda könen
  2. Välj ut en väletablerad vårdcentral med genomsnittlig befolkning och resultat, och studera eventuella avvikelser mellan de olika datakällorna för till exempel:
    • Män, alla åldrar i Inf24
    • Kvinnor, alla åldrar i Dem3A
    • Båda könen, åldersgruppen 75-79 år i Äld2

3. Stämmer uthämtad data med specifikationen?

Detta steg kräver lokalkännedom och tillgång till journaldata.

  • Välj ut 5-10 patienter från täljaren i en indikator för en åldersgrupp för vidare analys.
  • Jämför med journaldata att patienten uppfyller specifikationen för täljaren
  • Titta på ca 5 patienter i nämnaren som inte återfinns i täljaren. Stämmer det att de ej uppfyller kraven för täljaren enligt specifikationen?

4. Kontroll av att patienter med känd variabel återfinns i data

Gör stickprov på några patienter vars diagnos/annan variabel som är känd sedan tidigare och kontrollera att de återfinns i täljaren. ( Ta exempelvis hjälp av kallelselistor/tidbok/lablista)

Om något är avvikande vid testningen

  • Anteckna vilken indikator och individ det gäller.
  • Vad är det som inte stämmer? Försök skriva ned detaljerna.
  • Återfinns individen i täljaren, men borde inte vara där?
  • Återfinns individen i nämnaren, men borde inte vara där?
  • Saknas individen i nämnare/täljare där den borde återfinnas?

Återkoppla till utdata-leverantör alternativt nationella arbetsgruppen för Primärvårdskvalitet.

Kända eventuella felkällor

  • Kontroll av att uppdatering av listning på VC sker regelbundet, behöver ibland göras manuellt
  • Kolla vilken version av Primärvårds-ICD-koden är formulerad, t.ex .-, .-P, - ibland kan detta leda till fel beroende på hur den är inmatad när indikatorn programmerades.

Processen pilottest och validering i Region Stockholm

Rekommendation - indikatorer att validera efter indikatorrevision 2021

Rekommendation indikatorer att validera

Kortnamn

Indikator

Fokus vid valideringen

Lm12alla

Andel patienter med stor förskrivning av opioider

Ny läkemedelsgrupp

Lm12ejCa

Andel patienter med stor förskrivning av opioider, exklusive patienter med cancerdiagnoser

Ny diagnoslista tillsammans med ny läkemedelsgrupp

Pr1Dig+Fys

Andel patienter som har varit på fysiskt eller digitalt återbesök vid kronisk sjukdom (tillsammans med den gamla Pr1, numera Pr1Fys)

Nya kontakttyper

Stressrelaterad Ohälsa St1

Förekomst av stressrelaterad psykisk ohälsa på vårdcentral

Ny diagnoslista på VC

Stressrelaterad Ohälsa St11

Förekomst av stressrelaterad psykisk ohälsa på rehabenhet

Ny (och delvis annorlunda) diagnoslista på rehabenhet

Pr6Läk

Andel "mångbesökare" hos läkare på vårdcentral

Stickprov att antal ”fångade” motsvarar 3 %

Pr6FT

Andel "mångbesökare" hos fysioterapeut på vårdcentral

Stickprov att antal ”fångade” motsvarar 3 %

Pr14FT

Andel "mångbesökare" hos fysioterapeut på rehabenhet

Stickprov att antal ”fångade” motsvarar 3 %

Validering av data från Primärvårdskvalitet till Vården i siffror

Validering av indikatorvärden från aggregeringstjänsten görs som sista instans, en förhandsvisning, innan publik presentation via Vården i siffror och andra konsumentsystem. Värden från regionens egna system har:

  1. Hämtats till aggregeringstjänsten
  2. Aggregerats till regions-nivå
  3. Transformerats enligt definition i Kvalitetsindikatorkatalogen
  4. Behandlats för att minska ev. röjanderisk

Efter godkänd validering så kommer följande genomföras innan publik presentation:

  1. Tröskelvärdesbehandling genom att ta bort värden där populationen är < 100 individer (per region).

Mindre skillnader mellan data från Medrave/aktuellt utdata-system och data som hämtas av Aggregeringstjänsten kan förekomma. Exempelvis uppdateras sista perioden under två månader innan den låses i Medrave, varför det kan skilja ett par individer där beroende på när filerna är hämtade.

Regionen avgör själv vad som är godtagbart.

Protokoll för validering

1. Kontrollera HSA-ID

Är listan med HSA-ID på enheter för regionen uppdaterad på Projectplace?

2. Säkerställ datauttag

Boka tid för datauttag med HiQ. Validering rekommenderas samma dag som nya filer har genererats.

3. Stämmer grunddata (se Regional validering ovan)?

Gå till steg 4 om detta redan är utfört.

4. Är alla vårdcentraler/rehabenheter inkluderade?

Kontrollera i Excelfilen från aggregeringstjänsten att alla enheter i regionen finns med.

5. Hämtas rätt data från Medrave/aktuellt utdata-system till aggregeringstjänsten?

  1. Jämför regionssnittet för respektive indikator i Medrave/aktuellt utdata-system med data i Excelfilen från Aggregeringstjänsten. Inkludera:
    • alla ålderskategorier
    • alla vårdenheter
    • alla kön
    • Om siffrorna stämmer på regionsnivå: Gör enstaka stickprov på enhetsnivå avseende valfri ålderskategori och kön. Om siffrorna på regionnivå ej stämmer - gå ner på vårdenhetsnivå.
  2. Om siffrorna på regionnivå ej stämmer: Gå ner på vårdenhetsnivå för att försöka lokalisera var det felar. Meddela HiQ och vid behov PVQ.

6. Rimlighetsbedömning av data som har skickats till Aggregeringstjänsten

Titta på regionssnitt för respektive indikator 0,-6,-12 och -18 månader bakåt, dvs fyra mätpunkter i Excelfilen från aggregeringstjänsten jämfört med motsvarande period från Medrave/aktuellt utdata-system. Inkludera:

  • alla ålderskategorier
  • alla vårdenheter
  • alla kön

Material för nedladdning

Du behöver ett program som kan öppna Excel-filer.

Valideringsprotokoll (Excel) Excel, 13 kB.

Kontakt

Kontakta SKR

Har du en fråga med anledning av det pågående virusutbrottet?

Titta först på våra frågor och svar som finns här på webbplatsen.

Covid-19 och det nya coronaviruset