Experimentos

¿Pueden los agentes extraer el fragmento causal exacto?

VERSA: Verbatim Extraction via Rephrasing and Self-Aggregation for Financial Causality

Leer por DOI

La pregunta

¿Reformular preguntas y agregar candidatos mejora la extracción literal de causas y efectos en textos financieros?

Estudiamos fragmentos de texto en inglés y español de FinCausal 2026. La respuesta debe estar literalmente en el contexto. El objetivo es extraer lo que el texto expresa, sin demostrar causalidad económica ni predecir precios.

Método y referencia

El sistema usa cinco etapas secuenciales: análisis causal, reformulación de la pregunta, generación de candidatos, agregación iterativa y validación de literalidad y límites de palabras. Los agentes generativos usan Gemini 3 Flash Preview y se incorporan candidatos de un modelo de comprensión lectora. La referencia extrae en una sola pasada con el mismo modelo de lenguaje (páginas 2–4 del PDF, impresas 140–142).

Resultados de desarrollo

La tabla 2 declara 20 preguntas por idioma, tomadas del entrenamiento publicado. Son muestras de desarrollo, no un test independiente. F1 mide el solapamiento entre el fragmento extraído y la respuesta de referencia. Se muestran solo la referencia y el sistema completo.

Tabla 2 · PDF, página 5; impresa 143
Idioma y sistemaF1 (%)
Inglés · referencia82,0
Inglés · VERSA87,7
Español · referencia75,5
Español · VERSA79,4

Algunas pruebas de componentes del artículo son estimaciones preliminares, en vez de ejecuciones completas. Consulta el artículo para el resto de resultados.

Evaluación oficial

El artículo también describe una evaluación ciega oficial, con una puntuación de adecuación distinta de F1. Las mejoras frente a la referencia que mostramos pertenecen a las muestras de desarrollo y no prueban una mejora equivalente en esa evaluación.

Resultados oficiales: tabla 3, página 5 del PDF, impresa 143.

Tabla 3 · PDF, página 5; impresa 143
IdiomaPuntuación (1–5)Posición
Inglés4,404173
Español4,336152

Coste y límites

El artículo declara para el conjunto de la evaluación, incluidos el desarrollo y las dos entregas oficiales, aproximadamente 39,1 millones de tokens y unas 56.000 llamadas API, con un coste estimado de 27,3 USD (página 6 del PDF, impresa 144). Son cifras declaradas en el artículo, sin medición independiente. Estos costes no son los de operar en mercados.

  • Las muestras de desarrollo son pequeñas y algunas pruebas de componentes son estimaciones preliminares.
  • Las puntuaciones oficiales de adecuación y el F1 de desarrollo miden cosas distintas y no permiten una comparación directa.
  • El sistema depende del modelo de lenguaje y exige numerosas llamadas. La literalidad por sí sola no garantiza exactitud causal.
  • No estudia cripto ni decisiones de cartera. No presentamos una reproducción completa como comprobada.

Artículo y cita

Aldan Jay; Rafael Berlanga; Yoelvis Moreno; Vicent Santamarta. (2026). VERSA: Verbatim Extraction via Rephrasing and Self-Aggregation for Financial Causality. The 7th Financial Narrative Processing Workshop @ LREC 2026 · ELRA · 139–145.

DOI: 10.63317/523w58xpfhbz · CC BY-NC 4.0

BibTeX
@inproceedings{jay2026versa,
  title = {{VERSA}: Verbatim Extraction via Rephrasing and Self-Aggregation for Financial Causality},
  author = {Jay, Aldan and Berlanga, Rafael and Moreno, Yoelvis and Santamarta, Vicent},
  booktitle = {The 7th Financial Narrative Processing Workshop},
  publisher = {European Language Resources Association (ELRA)},
  year = {2026},
  month = may,
  pages = {139--145},
  doi = {10.63317/523w58xpfhbz},
  url = {https://lrec.elra.info/lrec2026-ws-fnp-14},
  note = {CC BY-NC 4.0}
}
Descargar BibTeX

Resumen y cita