在初学python爬虫时第一个自己的爬蟲最难写。你时不时会因为这样那样的原因爬取网站的小说失败这个案例是我写成功的第一个小爬虫,特别开心
刚开始写的时候,一切都很顺利跑一跑,结果却报错大概是连接不上,连接超时
所以我就上网找了许多代理ip池案例,都不是我能懂的最后终于找到一個易懂的案例,改改就连上我的爬取网站的小说代码。没想到还成功了。
需要用到代理ip池的地方主要是爬取网站的小说每一章的内容章节较多,频繁访问就会出错
上图是代理ip池的输出,下面那点就是爬取网站的小说内容提示