Un artículo presenta un verificador de fuentes para agentes de IA con MCP

Un artículo publicado en Hugging Face presenta ProvenanceGuard, una capa de verificación posterior a la generación para agentes de IA basados en el Model Context Protocol (MCP). El sistema busca detectar la “conflación entre fuentes”: casos en los que una afirmación está respaldada por la evidencia combinada, pero se atribuye en la respuesta a la fuente equivocada, un problema que los verificadores convencionales pueden no detectar cuando analizan toda la evidencia en conjunto.

ProvenanceGuard procesa los rastros de MCP, conserva los identificadores de las fuentes, divide la respuesta en afirmaciones, comprueba qué fuente respalda cada una y compara esa fuente con la mencionada o sugerida en la respuesta. Después genera resultados para cada afirmación y una decisión general para permitir o bloquear el texto; las respuestas bloqueadas pueden pasar por una reparación y otra verificación. En los experimentos descritos en el artículo, se usaron modelos locales para encontrar fuentes relevantes, comprobar el respaldo textual y dividir las respuestas, con verificaciones adicionales de números, fechas e identificadores.