La base metodológica del VaR facilita que se haga una serie de simplificaciones que dan como resultado implementaciones del cálculo menos caras y menos completas. Lamentablemente, muchas veces, la "cifra" calculada es muy equivocada y todo resulta en un despropósito. Dado que el cálculo del VaR está muy extendido para evaluación regulatoria, clasificación de riesgos, asignación de capital, administración de portafolios y otros usos avanzados, el calibrado del modelo es de suma importancia.

El backtesting es, por tanto, crítico y necesario para lograr calibrar los modelos y asegurar el uso adecuado. Cuando la norma peruana, el Reglamento para la Supervisión de los Riesgos de Mercado, estipula el análisis retrospectivo como un requerimiento en el artículo 12, no hace mayores especificaciones técnicas.

El análisis retrospectivo consiste en comparar reiterativamente, para un período determinado -digamos 1 día o un mes-, las pérdidas estimadas por efectos del riesgo de mercado con los resultados efectivamente logrados. Los resultados "efectivamente logrados" se deben solo a revaluacion sin incluir compras-ventas ni comisiones, ya que el VaR mide lo que puede variar el valor de la cartera, no lo que puede ganar una tesoreria.

El backtesting usualmente debe realizar una comparación entre los resultados reales dados en la institucion en un horizonte de tiempo vs. la predición de pérdida máxima probable ( VaR estimado). En la forma más simple de análisis retrospectivo se calcula el porcentaje de veces que se observan resultados que exceden el estimado negativo de VaR y se compara ese número con el nivel de confianza usado.

Un enfoque así de simple es el postulado por el Comité de Basilea sobre Supervisión Bancaria, que para impulsar a las entidades a que revelen cifras verdaderas de "valor en riesgo" plantea que se castigue la frecuencia de errores. Por medio de diversos estudios se ha demostrado que este sistema es simplista y que ofrece pobre información práctica.

Sin entrar en las metodologías de estadística aplicables a la validación del VaR (ver López 1998), se aprecia que estas pruebas paramétricas requieren de muestras muy amplias, de por lo menos 1,000 observaciones, lo que en la práctica no es usual encontrar en un Banco. Más aún, al realizar el análisis retrospectivo es necesario evaluar la frecuencia y el tamaño de los errores.

Al calibrar un modelo VaR se deben considerar conceptos como la exactitud y la precisión del modelo. En la gráfica 1 se aprecian los resultados de 11 cifras calculadas por dos modelos VaR. Están representadas como un blanco donde las cifras calculadas en el modelo que hemos llamado "Exactitud" muestran un menor error promedio, cierta exactitud alredor del blanco. El segundo modelo muestra mayor "Precisión", resultados más consistentes alrededor de un núcleo.

Ahora debemos considerar el efecto de la exactitud y de la precisión en el tiempo. La gráfica 2 muestra los resultados de los dos modelos en un plazo. La línea punteada muestra el nivel de riesgo aceptado como se puede dar en la unidad operativa de un Banco. El primer modelo genera mucho ruido aleatorio, pero siendo exacto tiene un error promedio más bajo. El segundo modelo genera un resultado consistente, pero con mucha desviación.

Ahora pensemos como gerentes responsables de esa inversión financiera, ¿cual modelo preferiríamos tener en la gestión del día a día?

Si se observa a la extrema derecha en la dimensión "Tiempo" se verá que se ha detectado un aumento en el riesgo. El modelo de Precisión ha mostrado claramente el efecto. El modelo de Exactitud ha mostrado el efecto pero alrededor de un ruidoestadístico.

Esto puede servir, en efecto, para disparar una alerta. El primer modelo no es muy confiable para esta aplicación, pero el segundo sí. En cambio si se trata de establecer asignaciones de capital es posible que el segundo modelo nos lleve a un desproposito, mientras que el primer modelo seguramente permitirá crear reservas adecuadas al riesgo implícito.

¿Como se llegaría a los resultados mostrados por los modelos Exactitud y Precisión?

Para testear cada modelo se podrá tomar una cartera teórica (con productos como los manejados por el Banco) y una serie histórica de precios y de datos de correlaciones y volatilidades para ese periodo histórico. ¡Entonces cabe calcular el VaR y el backtesting, sin tener que esperar 3 años en tener 1000 observaciones!

Desde el ángulo de estrategias, es lógico entonces pensar que el proceso de implementación queda en manos de cada Banco y de lo que conocemos dentro de las mejores prácticas. Para ello ofrecemos un checklist para implementar el cálculo del "valor en riesgo". En nuestro Banco debemos buscar que esa relación de costo-beneficio no se convierta en algo como ahorro-perjuicio.

Solo un proceso formal de análisis retrospectivo demuestra el ajuste de los resultados de un modelo VaR y permite validarlo. Pero se requieren esfuerzos e inversión para esto. Para el analista es también fuente de sustento y demostración de los límites de su interpretación. Para el Banco que desarrolla o adquiere estos sistemas, queda el desafio de obtener un buen modelo …

Lopez, José, "Methods for Evaluating Value-at-Risk Estimates", FRBNY, 1998

________________________