Verificación del seguimiento de visibilidad en IA: cómo probar la precisión de un tracker

Qué miden realmente las puntuaciones de visibilidad

Una puntuación de visibilidad es una proporción. El tracker envía un conjunto de prompts a uno o más productos de IA, lee las respuestas y cuenta cuántas veces aparece su marca o su dominio. Ese recuento se divide entre el número de prompts o de respuestas, y el resultado se expresa como porcentaje, índice o posición frente a la competencia. Cada proveedor elige su propio numerador, su propio denominador y su propia ponderación, de modo que un 32 en una herramienta no guarda relación con un 32 en otra.

Todas las herramientas de medición AEO (answer engine optimization) siguen este patrón. Ya se presente el proveedor como tracker AEO, tracker GEO o plataforma de visibilidad en IA, el resultado sigue siendo una proporción construida a partir de respuestas muestreadas, y se aplican las mismas preguntas de verificación.

Lo primero que hay que fijar es el numerador. Algunas herramientas cuentan una mención del nombre de la marca en el texto de la respuesta. Otras cuentan una URL de su dominio en la lista de fuentes. Otras suman ambas cosas, o pesan más una mención en primera posición que una posterior. Una página que se cita pero nunca se nombra, y una marca que se nombra pero nunca se cita, pueden producir la misma puntuación. Y dicen cosas distintas sobre su sitio.

El denominador importa igual. El conjunto de prompts lo elige quien configuró el tracker, y normalmente refleja las búsquedas en las que esa persona esperaba posicionarse. Si cambia diez prompts de cincuenta, la puntuación se mueve sin que haya cambiado nada en su sitio ni en el modelo.

Además, los modelos de lenguaje no devuelven dos veces la misma respuesta. Una puntuación construida con una sola ejecución por prompt es una única muestra de una distribución. Si el tracker informa de una cifra sin rango ni tamaño de muestra, no hay forma de distinguir un cambio real del ruido.

La brecha más importante es el origen. Un modelo puede mencionar su marca porque la aprendió durante el entrenamiento, o porque hizo una búsqueda e incorporó su página a la respuesta. En la respuesta, ambos casos se ven igual. El primero refleja lo que el modelo absorbió hace meses. El segundo depende de su contenido actual, del acceso de los bots a su sitio y de su posición en la capa de búsqueda que use el producto. Una puntuación que mezcla ambos oculta cuál de los dos está viendo, y la solución para cada uno es distinta.

Las puntuaciones tampoco dicen nada sobre la calidad de la respuesta. Una mención puede ser exacta, estar desactualizada o asociarse al producto equivocado, y la mayoría de las puntuaciones cuenta los tres casos por igual.

Por eso, antes de poner una cifra de visibilidad en un informe, necesita respuestas a unas cuantas preguntas:

• ¿Qué cuenta como acierto?
• ¿Cuántos prompts y cuántas repeticiones respaldan la cifra?
• ¿Estaba activado o desactivado el acceso web cuando se generó la respuesta?
• ¿Puede leer el texto almacenado de la respuesta?

Las siguientes secciones desglosan la puntuación en sus señales componentes y ofrecen pruebas que usted mismo puede ejecutar.

Tres señales: datos de entrenamiento, búsqueda en vivo y citas

Una sola puntuación de visibilidad puede agrupar tres señales distintas, y cada una responde a un trabajo diferente en su sitio.

Datos de entrenamiento (memoria paramétrica). El modelo responde con lo que absorbió durante el entrenamiento y no consulta la web. Si nombra su marca, la está recordando. Nada de lo que publique hoy puede cambiar esa respuesta hasta que el proveedor entrene un modelo más nuevo, y usted no decide cuándo ocurrirá. Un tracker que consulta un modelo con la búsqueda desactivada mide esta señal.

Búsqueda en vivo (retrieval). El modelo hace una búsqueda, lee páginas y redacta la respuesta con lo que encontró. Su contenido, el acceso de los bots a sus páginas y su posición en el índice de búsqueda subyacente influyen en el resultado. Solo esta señal puede moverse en días o semanas tras un cambio en el sitio. Un tracker que consulta con la búsqueda activada mide retrieval, pero el resultado sigue llevando memoria dentro.

Citas. Son los enlaces que se muestran junto a una respuesta. Una cita indica qué URL mostró el producto. No demuestra que la afirmación proceda de esa página. Algunos productos añaden las fuentes a una respuesta ya terminada, y el comportamiento varía entre productos y cambia entre versiones. Compruebe qué hace un producto concreto antes de apoyarse en él.

El solapamiento causa la mayor parte de la confusión. Con la búsqueda activada, una mención de marca puede venir de la memoria, del retrieval o de ambos, y la mayoría de los paneles sigue informando una sola cifra.

Puede separar las señales con una rutina manual breve. Elija un prompt y un modelo, y ejecútelo dos veces.

1. Ejecútelo con la búsqueda web desactivada. Si su marca aparece, está viendo memoria.
2. Ejecútelo con la búsqueda web activada. Si la marca aparece solo ahora, la mención la produjo el retrieval.
3. Abra cada URL citada. Localice la frase en la respuesta y luego el texto que la respalda en la página. Anote si la página carga, si es la que esperaba y si sustenta la afirmación.
4. Registre tres valores por ejecución: marca mencionada, marca citada y página citada que respalda la afirmación.

Las combinaciones son informativas. Una mención sin cita apunta a memoria o a un retrieval que el producto no mostró. Una cita sin mención significa que el producto mostró su página mientras la respuesta ignoraba su marca. Una mención, una cita y una página que la respalda juntas son el argumento más sólido que puede presentar a un cliente.

Ejecute cada prompt varias veces antes de fiarse de un resultado. La salida del modelo varía entre ejecuciones, así que una sola muestra puede mostrar una marca que aparece en una minoría de ejecuciones, o esconder una que aparece en la mayoría.

Antes de leer cualquier puntuación, pregunte cuál de las tres señales refleja. Si el proveedor no sabe responder, ejecute esta semana la rutina anterior con cinco de sus propios prompts.

Seis pruebas prácticas para medir la precisión de un tracker

Ejecute estas pruebas en su propio tracker antes de que cualquier cifra llegue a un informe para clientes. Cada una lleva menos de una hora con un conjunto pequeño de prompts, y diez prompts bastan para empezar.

1. Alterne la búsqueda web. Tome un prompt en el que su marca debería aparecer y repita la rutina de activado/desactivado de la sección anterior en el mismo modelo. Si la marca aparece en ambas ejecuciones, el modelo la recuerda de sus datos de entrenamiento. Si aparece solo con la búsqueda activada, está viendo retrieval en vivo. Después pregunte al proveedor en qué modo funciona el tracker. Un proveedor que no puede responder le está vendiendo una puntuación que usted no puede interpretar.

2. Audite las fuentes. Abra cada URL de cita que el tracker reporta para una muestra de prompts. Compruebe que la página carga sin un 404 ni una redirección inesperada, que guarda relación con la pregunta y que la afirmación citada existe en la página. Luego compare la lista de URL con el texto de respuesta que usted mismo recopiló. Una cita añadida después de redactar la respuesta no demuestra que la respuesta proceda de esa página.

3. Repita el prompt. Ejecute un prompt cinco o más veces, en sesiones nuevas y a distintas horas del día, y anote con qué frecuencia aparece la marca. Si aparece en tres de cinco ejecuciones, un tracker de ejecución única informará un 100% o un 0% según cuál le haya tocado muestrear. Pregunte cuántas muestras toma la herramienta por prompt y si informa de un rango o de un valor único.

4. Varíe ubicación e idioma. Ejecute el mismo prompt desde dos países y en dos idiomas, y compare con lo que reporta el tracker. Averigüe si la herramienta consulta una API del modelo o maneja la interfaz de consumo. Ambas pueden devolver respuestas distintas, porque los productos de consumo añaden sus propios prompts de sistema, capas de búsqueda y personalización. Pruebe la versión que realmente usan los clientes de sus clientes.

5. Añada consultas de control. Incluya una marca que aparezca con seguridad en las respuestas, como el líder de mercado de su categoría, y una marca inventada que no pueda existir. El líder debería puntuar alto. La marca inventada debería puntuar cero. Si el nombre falso registra alguna visibilidad, la herramienta está contando ruido, probablemente por coincidencia laxa de cadenas o por una resolución difusa de entidades. Mantenga ambos controles en todas las ejecuciones futuras como comprobación permanente de cordura.

6. Contraste con los logs del servidor. El retrieval en vivo tiene que descargar páginas, y las descargas dejan huella. Ejecute un prompt que debería activar la búsqueda y revise sus logs de acceso en busca de user agents relacionados con IA durante los minutos siguientes. OpenAI documenta user agents distintos para búsqueda, entrenamiento y solicitudes iniciadas por el usuario, así que lea qué significa cada uno antes de interpretar una coincidencia. Google enumera sus propios rastreadores en su documentación de rastreo. Si un tracker afirma que un motor recuperó su página y sus logs no muestran ninguna solicitud correspondiente, vale la pena preguntar directamente al proveedor. Tenga en cuenta que una copia en caché puede servir una respuesta sin una descarga nueva, por lo que la ausencia en los logs es una pista, no un veredicto.

Anote la fecha, el modelo, el modo y el conjunto de prompts de cada prueba. El ejercicio solo rinde si puede repetirlo el próximo trimestre y comprobar si el comportamiento del tracker cambió tras una actualización del modelo.

Si quiere un primer experimento pequeño, tome diez prompts, ejecute con ellos las pruebas 1, 3 y 5 y registre los resultados en una hoja de cálculo. Solo con eso verá si las cifras del tracker son lo bastante estables como para mostrarlas a un cliente.

Preguntas que conviene hacer antes de elegir una herramienta de medición

Las pruebas anteriores le dicen cómo se comporta un tracker. Antes de contratar uno, plantee estas preguntas al proveedor por escrito. Las respuestas vagas o ausentes le indican cuánto peso puede soportar la puntuación en un informe para clientes.

¿Qué modelo y qué versión consulta? “ChatGPT” no es una respuesta. Pida el nombre exacto del modelo y la versión, y pregunte cómo gestiona el proveedor los cambios de versión. Una actualización del modelo puede mover las puntuaciones de un día para otro sin ningún cambio en su sitio. Si el panel no registra la versión de cada ejecución, no puede distinguir un cambio real de un cambio de modelo.

¿La búsqueda web está activada o desactivada? Es la pregunta de la separación entre señal en vivo y señal de entrenamiento. Pregunte si el tracker ejecuta los prompts con la búsqueda activada, desactivada o en ambos modos, y si el ajuste queda registrado en cada resultado. Un tracker que mezcla ambos modos en una sola cifra está combinando dos señales distintas.

¿Cuántas repeticiones por prompt? Pregunte cuántas ejecuciones alimentan cada punto de datos y si recibe un rango o un valor único. Un proveedor que informa de un porcentaje aislado sin tamaño de muestra no le ha dicho cuál es su precisión.

¿Almacena el texto completo de la respuesta? Las respuestas almacenadas le permiten auditar cualquier puntuación por su cuenta. Sin ellas, confía en una cifra cuyo origen no puede rastrear. Pregunte cuánto tiempo se conserva el texto y si puede exportarlo.

¿Cómo extrae las citas? Pregunte si la herramienta lee las fuentes que devuelve el producto o las deduce del texto de la respuesta. Pregunte también si comprueba que las URL citadas se resuelven. Una herramienta que equipara una cita con el origen de la respuesta exagera su alcance.

¿Consulta mediante API o mediante la interfaz de consumo? La salida de ambas puede diferir, y su cliente ve el producto de consumo. Pregunte cuál usa el tracker y qué ajustes de ubicación e idioma aplica.

¿La metodología está documentada? Busque una página pública que cubra los puntos anteriores. Si el proveedor solo puede explicarla en una llamada comercial, usted no puede citarla en su propio informe.

Una lista rápida para llevar a la prueba gratuita:

• Nombre y versión del modelo registrados en cada ejecución
• Modo de búsqueda registrado en cada resultado
• Número de ejecuciones y varianza visibles
• Respuestas originales exportables
• Extracción de citas descrita y URL comprobadas
• Superficie de consulta (API o interfaz), ubicación e idioma indicados
• Metodología publicada

Después ejecute durante la prueba la consulta de control de la sección anterior. Si la marca inventada puntúa alguna visibilidad, la herramienta mide ruido, diga lo que diga la documentación del proveedor.

Cómo reportar datos de visibilidad a los clientes

Una vez elegido y probado un tracker, el siguiente paso es el informe. Reporte la visibilidad en IA como un rango con una dirección, nunca como una cifra única. Un tracker que muestra “42% de visibilidad” ha muestreado un número limitado de veces un sistema no determinista. Escriba “entre 30% y 50% en 10 prompts, 3 ejecuciones cada uno, con tendencia al alza desde marzo”. El rango le dice al cliente cuánto peso soporta la cifra. La dirección es lo que puede accionar.

Indique el método junto a cada cifra. El cliente debería poder leer la nota al pie y saber qué modelo se consultó, si la búsqueda web estaba activada, cuántas repeticiones se hicieron y en qué fecha. Si su tracker no revela esos detalles, dígalo en el informe. Una cifra sin su método no se puede defender en una reunión, y quien tendrá que defenderla será usted.

Mantenga las tres señales en columnas separadas. Las menciones con la búsqueda web desactivada proceden de los datos de entrenamiento, y un cambio en el sitio no las moverá durante meses. Las menciones que aparecen solo con la búsqueda web activada proceden del retrieval en vivo, y esas responden al contenido y al acceso de los rastreadores. Las citas son la tercera columna, y una fuente enlazada no demuestra que la afirmación proceda de esa página. Si las fusiona, el cliente esperará que la actualización de contenido de la semana pasada aparezca en una cifra sobre la que no tiene influencia.

Añada una sección titulada “Lo que no podemos medir”. Incluya al menos estos puntos:

• Respuestas dadas a usuarios reales en sus propias ubicaciones, idiomas y sesiones personalizadas. Los trackers consultan mediante una API o una interfaz automatizada, y lo que ve una persona puede diferir.
• Modelos que funcionan con la búsqueda web activada por el usuario o por el producto, cuando el tracker no indica qué modo usó.
• Tráfico que nunca llega a su sitio. Una respuesta de IA puede mencionar una marca y no generar ningún clic, así que la analítica no lo mostrará.
• Causa y efecto. Un aumento tras un cambio de contenido es una correlación, y un trimestre de datos rara vez la separa de las actualizaciones del modelo.

Ponga en el apéndice los resultados de las consultas de control: la marca segura y la marca inventada, ejecutadas con los mismos prompts. Si la marca inventada puntúa por encima de cero, comunique al cliente que la herramienta produce ruido y explique cómo lo ajustó.

Cierre el informe con decisiones en lugar de puntuaciones. Nombre dos o tres acciones que el cliente puede emprender, como corregir las páginas que los rastreadores no pueden leer, y la señal que revisará después. Los clientes siguen leyendo un informe que les dice qué hacer a continuación. Dejan de confiar en uno que solo les da un gráfico.

Preparación del sitio: lo que los trackers pueden ver y lo que no

Seodisias es un crawler de escritorio con una comprobación AI Ready, y ambos se detienen en el borde de su sitio. El crawler descarga sus páginas como lo haría un bot, renderiza JavaScript e informa de lo que encuentra: códigos de estado, cadenas de redirección, etiquetas canonical, reglas de robots.txt, datos estructurados y si el contenido aparece en el HTML renderizado. La comprobación AI Ready examina el mismo sitio en busca de señales relevantes para los rastreadores de IA, como si robots.txt los bloquea y si el contenido principal se puede leer sin ejecutar un script.

Eso cubre su lado de la conexión. Un tracker mide el otro lado, es decir, lo que dice un modelo cuando alguien le hace una pregunta. Son dos preguntas distintas, y un resultado AI Ready en verde no le dice si ChatGPT, Gemini o Perplexity mencionarán su marca.

Seodisias no rastrea menciones de marca, no ejecuta prompts contra motores de IA ni puntúa citas. No tiene ninguna métrica de visibilidad, y nada en él puede confirmar o refutar una cifra que le dé un tracker. Si un proveedor afirma que un crawler puede validar sus puntuaciones, esa afirmación es falsa.

Lo que el crawler sí le da es una base limpia para las pruebas anteriores. Antes de culpar a un tracker por una puntuación baja, descarte su propio sitio. Una página que devuelve un 403 a los bots, que oculta su texto tras el renderizado en el cliente o que queda detrás de una cadena de redirecciones será ignorada por el retrieval en vivo, por bueno que sea el tracker. Rastree primero. Si el rastreo muestra una página bloqueada o vacía, la cifra baja del tracker probablemente es correcta, y la solución está en su servidor, no en el informe.

También funciona a la inversa. Si el rastreo está limpio y el tracker sigue mostrándole ausente de las respuestas en vivo, el sitio deja de ser el primer sospechoso. Ahora es el método del tracker el que merece escrutinio: qué modelo, si la búsqueda web estaba activada, cuántas repeticiones y si las URL citadas se abren. Puede ejecutar contra esa pregunta la comparación con la búsqueda web activada y desactivada y la revisión de logs de las pruebas anteriores.

Seodisias se ejecuta en local en Windows, macOS y Linux. Es gratuito, no tiene límite de URL y no requiere registro, de modo que los datos del rastreo se quedan en su equipo. Eso importa cuando la auditoría abarca el entorno de staging de un cliente. Ejecute el rastreo, guarde la exportación junto a los datos de su tracker y anote la fecha. Cuando un cliente pregunte por qué la puntuación es baja, podrá mostrarle qué parte del problema era del sitio y qué parte nunca se pudo medir.

Descargue Seodisias, rastree su sitio y ejecute la comprobación AI Ready antes de probar su próximo tracker.