> ## Documentation Index
> Fetch the complete documentation index at: https://docs.creditbenchmark.com/llms.txt
> Use this file to discover all available pages before exploring further.
# Precisión y cobertura
> Puntos de referencia de rendimiento para la resolución de entidades de Credit Benchmark: métricas de precisión, recuperación y cobertura medidas en un conjunto de evaluación independiente.
## Conjunto de datos
El rendimiento se mide sobre un conjunto de nombres de entidades retenidos —excluidos deliberadamente del entrenamiento para que el modelo nunca los haya visto—. Esto garantiza que la evaluación refleje la capacidad de generalización, no la memorización.
Para cada nombre, la etapa de recuperación devuelve unos 25 candidatos de la base de datos CB. El rendimiento se mide a **nivel** de **pares de candidatos**: cada combinación de nombre y candidato constituye un ejemplo etiquetado.
| | Valor |
| ---------------------------------- | ----------------------------------------------------------------------- |
| Nombres de entidades excluidos | **1.544** |
| Pares de candidatos etiquetados | **39 051** |
| Promedio de candidatos por entidad | **25.3** |
| Pares de coincidencias verdaderas | **1 544** |
| Pares sin coincidencia | **37 507** |
| Equilibrio de clases | **Se estiman 24 coincidencias falsas por cada coincidencia verdadera.** |
Dado que solo un candidato por nombre es correcto, el conjunto de datos presenta un fuerte desequilibrio, lo que refleja la distribución del mundo real con la que se encuentra el modelo en producción. El rendimiento se reevalúa con cada ciclo de reentrenamiento semanal.
## Matriz de confusión
**Lo que mide:**
El «[Matriz de confusión](https://en.wikipedia.org/wiki/Confusion_matrix)» evalúa el modelo como un clasificador binario en el umbral. $\hat{p} \geq 0.60$Los registros por encima del umbral se clasifican como coincidencias; el resto, como no coincidencias.
**Resultado:**
**83.61%** de coincidencias reales identificadas correctamente
**0.29%** de coincidencias reales marcadas erróneamente como no coincidentes.
**16.39%** Las coincidencias reales por debajo del umbral se marcan para su revisión.
**99.71%** de las coincidencias falsas reales rechazadas correctamente.
A partir de estos recuentos se derivan dos métricas:
**Recuperación: ¿qué fracción de coincidencias verdaderas identificó correctamente el modelo?**
* De las 1544 coincidencias verdaderas del conjunto de prueba, 1291 obtuvieron una puntuación superior al umbral. $\text{Recall} = \frac{T_p}{T_p + F_n} = \frac{1{,}291}{1{,}291 + 253} = 83.6\%$
Los 253 falsos negativos corresponden a coincidencias que obtuvieron una puntuación inferior al umbral de confianza del sistema de gestión de nombres (0.6).
En la práctica, Credit Benchmark observa que la coincidencia verdadera sigue figurando en el conjunto de resultados, incluso cuando la confianza en la coincidencia correcta es inferior a 0,6.
**Puntuación F1: ¿cuál es el rendimiento combinado del modelo en cuanto a recuperación y precisión?**
* F1 es la media armónica de la recuperación y la precisión: penaliza el desequilibrio entre ambas y premia a los modelos que obtienen buenos resultados en ambas. $F_1 = \frac{2T_p}{2T_p + F_p + F_n} = \frac{2 \times 1{,}291}{2 \times 1{,}291 + 110 + 253} = 87.7\%$
* Un F1 de 87.7% refleja un sólido rendimiento general de clasificación en el umbral 0.60: el modelo recupera la gran mayoría de las coincidencias verdaderas, al tiempo que produce pocas predicciones incorrectas.
## Curva ROC y precisión-recuerdo
Dado que el conjunto de datos presenta un desequilibrio considerable (\~24:1), la curva de precisión-recuerdo constituye el diagnóstico más informativo — [El AUC de la curva ROC puede resultar engañosamente optimista en entornos desequilibrados.](https://en.wikipedia.org/wiki/Receiver_operating_characteristic#Limitations).
### Curva ROC
**Lo que mide:** la capacidad del modelo para distinguir las coincidencias de las no coincidencias en todos los umbrales posibles. El gráfico «[Curva ROC](https://en.wikipedia.org/wiki/Receiver_operating_characteristic)» representa la tasa de verdaderos positivos frente a la tasa de falsos positivos a medida que el umbral varía de 1 a 0:
* $\text{TPR} = \frac{T_p}{T_p + F_n}, \qquad \text{FPR} = \frac{F_p}{F_p + T_n}$
El área bajo esta curva (AUC) resume el rendimiento discriminativo: un valor de 1.0 es perfecto, mientras que un valor de 0.5 no es mejor que el azar.
**Resultado:** AUC =**0.989**, lo que indica una separación casi perfecta entre las coincidencias verdaderas y las no coincidencias.
### Curva de precisión-recuerdo
**Lo que mide:** cuánta precisión conserva el modelo a medida que recupera más coincidencias. \[Precisión media (AP)]\([https://en.wikipedia.org/wiki/Evaluation\_measures\_\\(information\_retrieval\\)](https://en.wikipedia.org/wiki/Evaluation_measures_\\\(information_retrieval\\\)) #Average\_precision) resume esto como el área ponderada bajo la curva PR:
* $\text{Average Precision} = \sum_{n} (R_n - R_{n-1}) \cdot P_n$
donde:
* $R_n$ — recuperación en el umbral. $n$
* $P_n$ — precisión en el umbral $n$
El AP resulta más informativo que el AUC cuando los ejemplos positivos son escasos; un valor AP = 1,0 indica un rendimiento perfecto.
**Resultado:** AP =**0.936** — se mantiene una alta precisión en la mayor parte del rango de recuperación.
## Compromiso entre precisión y cobertura
**Lo que mide:**
[Precisión](https://en.wikipedia.org/wiki/Precision_and_recall) La precisión es la proporción de coincidencias previstas que resultan correctas. La cobertura es la proporción de nombres introducidos que reciben una coincidencia por encima del umbral. $k$:
* $\text{Precision}(k) = \frac{T_p}{T_p + F_p}, \qquad \text{Coverage}(k) = \frac{n_{\geq k}}{N}$
donde:
* $n_{\geq k}$ — número de nombres con una puntuación igual o superior a $k$
* $N$ — número total de nombres introducidos
Como umbral $k$ Cambios:
– **Al elevar** $k$ — menos nombres coincidentes, mayor precisión, menor cobertura
* **Reducción** $k$ — a medida que aumentan las coincidencias, la precisión disminuye y la cobertura aumenta.
El punto de operación ([Punto de funcionamiento](https://scikit-learn.org/stable/auto_examples/model_selection/plot_precision_recall.html)) es la pareja específica (cobertura, precisión) en el umbral elegido: el punto de la curva en el que se decide actuar.
**Resultado:**
En el punto de funcionamiento $\hat{p} = 0.60$En el punto de operación estimado ({precision_hat}), la precisión es del {precision_value} y la cobertura del {coverage_value}. Dos tercios de los nombres obtienen una coincidencia de alta confianza; el tercio restante queda por debajo del umbral y requiere revisión.