|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
因为都在写后端 闲着无聊想写爬虫 但是忘了一些基础知识
如图所示
request_two 中的url是一个请求页面
page是从请求页面html中解析出下一页的地址
我现在得问题是: request_two 第一次用我给的url进行请求 page解析出下一页地址后如何传给request_two 当做url参数呢
- def picture(url):
- request_two=requests.get(url,headers=headers).text
- #翻页
- doc=pq(request_two)
- page=doc('.pagenavi').find('a').eq(-1).attr.href
- #print(page)
复制代码
类似这样么?
- def picture(url):
- request_two=requests.get(url,headers=headers).text
- #翻页
- doc=pq(request_two)
- page=doc('.pagenavi').find('a').eq(-1).attr.href
- #print(page)
- return request_two,page
- request=[]
- request_two,page=picture(url)
- request.append(request_two)
- while page !='':
- request_two,page=picture(page)
- request.append(request_two)
复制代码
|
|