📏 estimate-bench

Modelo:

estimate-bench mide si un LLM puede predecir cuántos tokens usará su propia respuesta antes de responder. Cada modelo ve cada tarea dos veces: primero para estimar su longitud de salida (sin resolverla) y luego para resolverla de verdad. Se compara la predicción con los completion_tokens reales de la API.

• MAPE: error porcentual medio (menor es mejor).
• Sesgo: factor medio estimado/real; 1.0x perfecto, <1x subestima.
• Dentro de 2x: % de tareas con estimación entre 0.5x y 2x de la realidad.
• Spearman: correlación de rangos estimado vs real (ordenar ≠ medir).

Dataset y código (CC-BY-SA-4.0 / GPL-3.0): David-Coronel/estimate-bench