Descarga de archivos usando clase robot en selenio
Como crear manualmente un archivo robots.txt para un sitio web Hay varios servicios de internet que permiten crear un archivo robots.txt. No obstante al ser tan fácil y elemental su creación, podemos hacerlo nosotros mismos manualmente y de esa forma evitar cualquiera equivocación que pueda ser funesta para el posicionamiento de nuestro sitio. Entra al link del repositorio en este caso sera el del kit BT Lo siguiente es hacer click en “Clone or Download” Enseguida en “Download Zip”, comenzara la descarga, una vez terminada la descarga debes descomprimir el archivo: Ahora cuentas con el proyecto en tu computadora y lo puedes modificar a tus necesidades :