Cómo configurar llms.txt, robots.txt y sitemap para rastreadores de IA

¿Qué aporta llms.txt y cómo configurarlo para tu sitio?

llms.txt es un archivo de texto que ayuda a presentar de forma breve la estructura y los materiales clave del sitio para los sistemas que trabajan con contenido. Lo creamos no como una promesa de aparecer en las respuestas, sino como un documento técnico controlable: en él se destacan las páginas que la organización considera útiles para conocer.

Antes de preparar el archivo lo contrastamos con el sitio real: qué secciones están abiertas, dónde está la información actual y qué páginas no deben aparecer en la navegación breve. Para una organización con productos o servicios es importante que la descripción lleve a las fuentes originales y no las reemplace con fórmulas publicitarias.

Conviene reunir de antemano:

• las páginas principales sobre la empresa, el producto y los servicios;
• los enlaces a la documentación, al centro de ayuda o a los materiales públicos;
• los datos sobre secciones y páginas obsoletas que no conviene incluir;
• un contacto para acordar la redacción editorial.

Así hacemos que el archivo refleje las prioridades del sitio y no sea una lista aleatoria de URL. Para el contexto general sobre la visibilidad en la búsqueda con IA, consulta la página de visibilidad en búsqueda con IA, y sobre la optimización técnica, la de AEO técnica.

¿Cómo revisar robots.txt para rastreadores de IA?

robots.txt establece las reglas de acceso publicadas por el responsable del sitio para los rastreadores que tienen en cuenta este archivo. Como parte del servicio revisamos las directivas existentes y acordamos cambios para los user agents de IA, de modo que las reglas coincidan con la política de acceso elegida y no entren en conflicto con las restricciones ya vigentes.

Primero determina qué debe estar disponible: las páginas públicas del producto, la documentación, el blog o secciones de referencia concretas. Después marca las zonas que requieren restricción, por ejemplo las páginas internas o las rutas técnicas. Comparamos esta política con el archivo actual y no añadimos nuevas directivas sin revisar el contexto.

Al acordar los cambios, presta atención a tres aspectos:

• qué secciones del sitio contienen información pública;
• qué reglas ya se aplican a las rutas necesarias;
• quién, por parte del proyecto, aprueba el cambio de la política de acceso.

Por separado registramos qué líneas cambian y por qué, para que el equipo del sitio pueda comprobar el resultado tras la publicación. Al mismo tiempo, las reglas de robots.txt y el contenido de llms.txt cumplen tareas distintas: el primer archivo describe el acceso y el segundo ayuda a presentar los materiales seleccionados. Si el proyecto requiere trabajar con las respuestas de un sistema concreto, conviene planificarlo aparte, por ejemplo para Perplexity o Google AI Overviews.

¿Cómo ayuda el sitemap a orientarse entre las páginas del sitio?

El sitemap es un mapa de URL publicado por el responsable del sitio; en este proyecto su función es ofrecer una lista ordenada de las páginas seleccionadas y acordarla con la estructura actual. Comprobamos que el mapa coincida con el sitio y señalamos los problemas que pueden impedir mantenerlo actualizado.

La optimización no significa incluir en el sitemap cada página disponible. Primero determina qué URL son importantes y deben seguir formando parte de la estructura pública: por ejemplo, las páginas vigentes del producto, la documentación y los materiales principales. Después compara ese conjunto con lo que realmente está publicado. Si en el sitio hay direcciones obsoletas o varias versiones de una página parecida, conviene acordar antes de editar con el responsable del contenido cuál versión se considera la principal.

Para la revisión por parte del cliente, pide al equipo que muestre:

• qué sitemap se utiliza;
• qué tipos de páginas se incluyen;
• cómo se reflejan las actualizaciones del sitio en el sitemap vigente;
• si la lista publicada coincide con las páginas acordadas.

Este análisis ayuda al equipo a tomar una decisión concreta sobre la composición del sitemap y de los archivos relacionados. No sustituye el desarrollo del contenido: la utilidad y la precisión de las propias páginas son una tarea aparte. Para mejorar los materiales que pueden usarse en respuestas de IA, puede considerarse por separado el contenido para respuestas de IA y los datos estructurados.

¿Qué incluye la configuración de llms.txt y cómo transcurre el trabajo?

Como parte del proyecto revisamos los archivos actuales, preparamos los cambios acordados y entregamos un informe de la configuración realizada. El plazo habitual es de uno o dos días hábiles; se cuenta dentro del contexto laboral del proyecto y depende de lo rápido que el cliente proporcione los accesos y acuerde la política para las secciones del sitio.

El trabajo lo lleva un especialista que reúne el contexto técnico y lo relaciona con los objetivos del proyecto. Antes de empezar necesitamos el dominio, las versiones disponibles de llms.txt, robots.txt y sitemap, la lista de páginas clave y un contacto que pueda aprobar las restricciones y las formulaciones. Si el sitio se actualiza a través de un desarrollador, define de antemano quién publica los cambios.

El resultado incluye:

• el archivo llms.txt preparado y configurado;
• los cambios acordados en robots.txt para user agents de IA;
• la revisión del sitemap y las propuestas para su configuración;
• un informe final con la lista de cambios y su finalidad prevista.

Después de la publicación comprobamos que los archivos modificados estén disponibles y registramos el trabajo realizado en el informe. Si te interesa un análisis más amplio de los factores técnicos y de contenido, compara el alcance con la auditoría GEO o consulta la página de AEO técnica, para no mezclar la configuración de archivos con las tareas de contenido del sitio.

¿Qué no resuelve llms.txt para Perplexity y otros sistemas?

llms.txt, robots.txt y sitemap ayudan a formalizar las intenciones del responsable del sitio y a que la estructura publicada resulte más comprensible, pero no sustituyen el trabajo editorial y técnico sobre las páginas. El archivo por sí solo no convierte un material en una fuente citable ni da base para prometer que aparecerá en respuestas de IA.

La limitación aquí es concreta: algunas plataformas de IA deciden por sí mismas cómo interpretar estos archivos y aplicar sus propias reglas de acceso, indexación y selección de materiales. Podemos aplicar las configuraciones acordadas e informar sobre ellas, pero no controlamos las decisiones de las plataformas sobre qué fuentes mostrar o mencionar.

Planea el servicio como una base técnica, y no como una vía separada para «aparecer en las respuestas de Perplexity». Después de la configuración evalúa el sitio de forma más amplia: comprueba que las páginas clave contengan datos precisos, que la información esté actualizada y que las afirmaciones importantes puedan contrastarse con las fuentes originales. Para el trabajo posterior sobre la presencia en distintos sistemas de IA, revisa el seguimiento de la visibilidad y la línea de optimización para Perplexity.

Para empezar, envía el dominio, los enlaces a llms.txt, robots.txt y sitemap si ya están publicados, y la lista de secciones importantes del sitio. El equipo de MediaHype contrastará el estado de partida, precisará tu política de acceso y propondrá el alcance de la configuración.

Precios

Precios iniciales en USD. Paquetes a medida y descuentos por volumen bajo solicitud. Pago en USDT, USDC, BTC, ETH, SOL, TON o con el token de tu proyecto.

Cómo trabajamos

1. Reunimos los datos de partidaTú envías el dominio, los enlaces a los archivos actuales y la lista de páginas importantes. Precisamos quién aprueba las reglas de acceso.
2. Revisamos la configuración actualContrastamos llms.txt, robots.txt y sitemap con la estructura del sitio y señalamos los puntos que requieren decisión.
3. Acordamos los cambiosFijamos la selección de páginas para llms.txt y las reglas para user agents de IA, y después enviamos los cambios para su aprobación.
4. Publicamos y comprobamosTras la implementación comprobamos la disponibilidad de los archivos y preparamos el informe final con la lista de trabajos realizados.