> ## Documentation Index
> Fetch the complete documentation index at: https://docs.creditbenchmark.com/llms.txt
> Use this file to discover all available pages before exploring further.
# Nøyaktighet og dekning
> Ytelsesreferanser for Credit Benchmark-enhetsoppløsning: presisjon, gjenfinning og dekningsmetrikker målt på et holdt-utenfor-evalueringssett.
## Datasett
Ytelsen måles på et holdt-utenfor-sett med entitetsnavn — navn som bevisst er ekskludert fra opplæringen, slik at modellen aldri har sett dem. Dette sikrer at evalueringen gjenspeiler generalisering, ikke memorering.
For hvert navn returnerer hentingsfasen \~25 kandidater fra CB-databasen. Ytelsen måles på **kandidatpar-nivå** — hver kombinasjon av navn og kandidat er ett merket eksempel.
| | Verdi |
| ------------------------------------------- | ---------------------------------- |
| Utelatte enhetsnavn | **1 544** |
| Merkede kandidatpar | **39 051** |
| Gjennomsnittlig antall kandidater per enhet | **25.3** |
| Par med ekte treff | **1 544** |
| Par som ikke samsvarer | **37 507** |
| Klassebalanse | **\~24 ikke-treff per ekte treff** |
Fordi bare én kandidat per navn er riktig, er datasettet svært ubalansert — noe som gjenspeiler den virkelige fordelingen modellen møter i produksjon. Ytelsen evalueres på nytt med hver ukentlige omskolingssyklus.
## Forvirringsmatrise
**Hva det måler:**
[forvirringsmatrise](https://en.wikipedia.org/wiki/Confusion_matrix) en evaluerer modellen som en binær klassifikator ved terskelen $\hat{p} \geq 0.60$. Kandidater over terskelen forutsies som treff; alle andre som ikke-treff.
**Resultat:**
**83.61%** av faktiske treff som er korrekt identifisert
**0.29%** av faktiske ikke-treff som feilaktig er merket
**16.39%** av faktiske treff under terskelen — fremhevet for gjennomgang
**99.71%** av faktiske ikke-treff som er korrekt avvist
To måleparametere er avledet fra disse tallene:
**Gjenkalling: hvilken andel av de sanne treffene identifiserte modellen riktig?**
* Av de 1 544 sanne treffene i testsettet scoret 1 291 over terskelen. $\text{Recall} = \frac{T_p}{T_p + F_n} = \frac{1{,}291}{1{,}291 + 253} = 83.6\%$
* De 253 falske negativene representerer treff som ble vurdert til å ligge under tillitsgrensen 0.6.
* I praksis finner Credit Benchmark at det sanne treffet fremdeles dukker opp i resultatsettet — selv når sikkerheten for det riktige treffet er lavere enn 0,6.
**F1-score: hva er modellens samlede ytelse når det gjelder recall og presisjon?**
* F1 er det harmoniske gjennomsnittet av Recall og Precision — det straffer ubalanse mellom de to og belønner modeller som presterer godt på begge. $F_1 = \frac{2T_p}{2T_p + F_p + F_n} = \frac{2 \times 1{,}291}{2 \times 1{,}291 + 110 + 253} = 87.7\%$
* En F1-verdi på 87.7% gjenspeiler sterk samlet klassifiseringsytelse ved terskelen 0.60 — modellen gjenfinner det store flertallet av sanne treff, samtidig som den produserer få feilaktige prediksjoner.
## ROC-kurve og presisjon–gjenkalling
Fordi datasettet er svært ubalansert (\~24:1), er presisjons–gjenfinningskurven den mest informative diagnosen — [ROC AUC kan være misvisende optimistisk i ubalanserte innstillinger](https://en.wikipedia.org/wiki/Receiver_operating_characteristic#Limitations).
### ROC-kurve
**Hva det måler:** hvor godt modellen skiller treff fra ikke-treff på tvers av alle mulige terskler. Diagrammet «[ROC-kurve](https://en.wikipedia.org/wiki/Receiver_operating_characteristic)» viser sann positiv rate mot falsk positiv rate når terskelen går fra 1 til 0:
* $\text{TPR} = \frac{T_p}{T_p + F_n}, \qquad \text{FPR} = \frac{F_p}{F_p + T_n}$
Arealet under denne kurven (AUC) oppsummerer diskriminativ ytelse — 1.0 er perfekt, 0.5 er ikke bedre enn tilfeldig.
**Resultat:** AUC =**0.989** — nesten perfekt skille mellom ekte treff og ikke-treff.
### Presisjon–gjenfinningskurve
**Hva det måler:** hvor mye presisjon modellen beholder når den gjenfinner flere treff. \[Gjennomsnittlig presisjon (AP)]\([https://en.wikipedia.org/wiki/Evaluation\_measures\_\\(information\_retrieval\\)](https://en.wikipedia.org/wiki/Evaluation_measures_\\\(information_retrieval\\\)) #Average\_precision) oppsummerer dette som det vektede arealet under PR-kurven:
* $\text{Average Precision} = \sum_{n} (R_n - R_{n-1}) \cdot P_n$
hvor:
* $R_n$ — gjenfinning ved terskeltrinn $n$
* $P_n$ — presisjon ved terskeltrinn $n$
AP er mer meningsfullt enn AUC når positive eksempler er sjeldne — AP = 1.0 er perfekt.
**Resultat:** AP =**0.936** — sterk presisjon opprettholdes over det meste av gjenfinningsområdet.
## Avveining mellom presisjon og dekning
**Hva det måler:**
[Presisjon](https://en.wikipedia.org/wiki/Precision_and_recall) er andelen av predikerte treff som faktisk er korrekte. Dekning er andelen av inndata-navnene som får et treff over terskelen $k$:
* $\text{Precision}(k) = \frac{T_p}{T_p + F_p}, \qquad \text{Coverage}(k) = \frac{n_{\geq k}}{N}$
hvor:
* $n_{\geq k}$ — antall navn som scorer på eller over $k$
* $N$ — totalt antall innlagte navn
Som terskel $k$ endringer:
* **Økning** $k$ — færre navn som samsvarer, høyere presisjon, lavere dekning
* **Senking** $k$ — flere navn som samsvarer, lavere presisjon, høyere dekning
Et operasjonspunkt ([driftspunkt](https://scikit-learn.org/stable/auto_examples/model_selection/plot_precision_recall.html)) er det spesifikke (dekning, presisjon) paret ved den valgte terskelen — punktet på kurven der du bestemmer deg for å operere.
**Resultat:**
Ved driftspunktet $\hat{p} = 0.60$: presisjonen er **94.4%** og dekningen er**66.7%**. To tredjedeler av navnene får et treff med høy sikkerhet; den gjenværende tredjedelen faller under terskelen og krever gjennomgang.