新人初学scrapy,举办翻页操作的时候现身HTTP E中

作者:编程技术

爬取完一个页面想要做翻页的操作,但是运行的时候报错。代码如下:

图片 1

classdemo(scrapy.Spider):name="demo_spider"allowed_domain=["books.toscrape.com"]start_urls=[""]count=1defparse(self,response):books=response.xpath("//*[@id='default']/div/div/div/div/section/div[2]/ol/li")forbookinbooks:title=book.xpath(".//*[@class='product_pod']/div/a/img/@alt")[0].extract()p_url=book.xpath(".//*[@class='product_pod']/div/a/img/@src")[0].extract()urllib.request.urlretrieve(url="" p_url,filename=r"C:Users13959Desktoptmp{}.jpg".format(str(self.count)),reporthook=function)self.count=self.count 1item=DemospiderItem(title=title,p_url=p_url)yielditemnext_page=self.start_urls[0] Selector(response).re('ahref="(S*)"next/a')[0]#next_page=""print((next_page "n")*10)ifnext_page:yieldscrapy.Request(next_page,callback=self.parse)

最后一行报错,这里的next_page的链接在浏览器中可以打开的。错误信息如下:

本文由美高梅4858官方网站发布,转载请注明来源

关键词: 操作 报错 翻页 错误信息