Validering och pilottest - regionalt och nationellt

Innan Primärvårdskvalitet sprids i stor skala i organisationen rekommenderas att göra pilottest och validering. SKR stödjer gärna processen och samlar in synpunkter om systemet för att hela tiden göra det bättre.

Validering behöver även utföras innan data visas nationellt på Vården i siffror. Kompetens kring det finns samlad i den Nationella valideringsgruppen, där alla regioner finns representerade.

Regional validering - förslag

Nedan följer ett förslag på hur man kan validera indikatorerna, i samband med införandet i regionen och vid tillägg av nya indikatorer. Se även Valideringshandboken nedan, som beskriver hur man hittar olika felkällor, vad man ska tänka på och tips kring validering.

1. Läs specifikationen för indikatorn

Gå till Kvalitetsindikatorkatalogen, sök upp den aktuella indikatorn och läs specifikationen.

Kvalitetsindikatorkatalogen (KIK)

2. Validera grunddata

Jämför data utdata för Primärvårdskvalitet mot grunddata från annat utdata-system om möjligt. Man kan även undersöka enskilda variabler som är inkluderade i indikatorerna. Detta steg visar om det finns stora differenser.

1. Jämför regionssnitten för till exempel Dem3A, Inf24 och Äld2. Inkludera:
   • alla ålderskategorier
   • alla vårdenheter
   • båda könen
2. Välj ut en väletablerad vårdcentral med genomsnittlig befolkning och resultat, och studera eventuella avvikelser mellan de olika datakällorna för till exempel:
   • Män, alla åldrar i Inf24
   • Kvinnor, alla åldrar i Dem3A
   • Båda könen, åldersgruppen 75-79 år i Äld2

3. Stämmer uthämtad data med specifikationen?

Detta steg kräver lokalkännedom och tillgång till journaldata.

• Välj ut 5-10 patienter från täljaren i en indikator för en åldersgrupp för vidare analys.
• Jämför med journaldata att patienten uppfyller specifikationen för täljaren
• Titta på ca 5 patienter i nämnaren som inte återfinns i täljaren. Stämmer det att de ej uppfyller kraven för täljaren enligt specifikationen?

4. Kontroll av att patienter med känd variabel återfinns i data

Gör stickprov på några patienter vars diagnos/annan variabel som är känd sedan tidigare och kontrollera att de återfinns i täljaren. ( Ta exempelvis hjälp av kallelselistor/tidbok/lablista)

Om något är avvikande vid testningen

• Anteckna vilken indikator och individ det gäller.
• Vad är det som inte stämmer? Försök skriva ned detaljerna.
• Återfinns individen i täljaren, men borde inte vara där?
• Återfinns individen i nämnaren, men borde inte vara där?
• Saknas individen i nämnare/täljare där den borde återfinnas?

Återkoppla till utdata-leverantör alternativt nationella arbetsgruppen för Primärvårdskvalitet.

Kända eventuella felkällor

• Kontroll av att uppdatering av listning på VC sker regelbundet, behöver ibland göras manuellt
• Kolla vilken version av Primärvårds-ICD-koden är formulerad, t.ex .-, .-P, - ibland kan detta leda till fel beroende på hur den är inmatad när indikatorn programmerades.

Processen pilottest och validering i Region Stockholm

Nationell validering - data från Primärvårdskvalitet till Vården i siffror

Validering av indikatorvärden från aggregeringstjänsten görs innan publik presentation via Vården i siffror och andra konsumentsystem. Uppdatering av text om valideringsprocessen publiceras inom kort.