Esta habilidad usa la API REST /crawl de Cloudflare Browser Rendering para rastrear sitios web, extraer contenido como HTML/Markdown/JSON y construir bases de conocimiento. También cubre cómo hacer que los sitios web sean rastreables con herramientas como robots.txt, sitemaps y Cloudflare AI Crawl Control.
Pesquisa e Web#ai#apipor portdeveloper
