[已解决]想通过xpath来爬取一系列的url，不知道哪里出错来，请指教！

15972156903

1. import requests
   
2. from lxml import etree
   
3. 
   
4. if __name__=="__main__":
   
5.     #Ua伪装
   
6.     headers = {
   
7.             "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
   
8.         }
   
9.     #获取页面地址
   
10.     list_url = []
    
11.     url_1 = "https://sc.chinaz.com/jianli/free.html"
    
12.     list_url.append(url_1)
    
13.     # for i in range(2,4):
    
14.     #     url_n = "https://sc.chinaz.com/jianli/free_{}.html".format(i)
    
15.     #     list_url.append(url_n)
    
16. 
    
17.     page_text = requests.get(url=url_1,headers=headers).text
    
18.     tree = etree.HTML(page_text)%
    
19.     jianli_list = []
    
20.     jianli_div = tree.xpath("//div[@id='main']/div/a")
    
21.     for a in jianli_div:
    
22.         jianli_web = a.xpath("./@href/text()")[0]
    
23.         print(jianli_web)

复制代码

最后返回的结果是Process finished with exit code 0，我的目的就是想把网页里的url给添加到一个列表里去，怎么也成功不了，愁到凌晨4点了，跪请老鸟教育。。不知道是不是xpath写错了 还是什么情况

最佳答案

月排行榜 / 总排行榜

YunGuo

2020-12-17 15:45:27

xpath语法错误，多学学基础。
这一段修改一下

1. page_text = requests.get(url=url, headers=header).text
   
2. tree = etree.HTML(page_text)
   
3. jianli_list = []
   
4. jianli_div = tree.xpath("//div[@id='main']/div/div")
   
5. for a in jianli_div:
   
6.     jianli_web = 'https:' + a.xpath("a/@href")[0]
   
7.     print(jianli_web)

复制代码

跳转到最佳答案楼层

suchocolate

页面里所有用到的url过滤src和href即可，有的数据如果不想用，你可以遍历整个列进行剔除。

1. 
   
2. import requests
   
3. import re
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'https://sc.chinaz.com/jianli/free.html'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     result = re.findall(r'(?:href|src)="(.*?)"', r.text)
    
11.     print(result)
    
12. 
    
13. 
    
14. if __name__ == '__main__':
    
15.     main()

复制代码

YunGuo

xpath语法错误，多学学基础。
这一段修改一下

1. page_text = requests.get(url=url, headers=header).text
   
2. tree = etree.HTML(page_text)
   
3. jianli_list = []
   
4. jianli_div = tree.xpath("//div[@id='main']/div/div")
   
5. for a in jianli_div:
   
6.     jianli_web = 'https:' + a.xpath("a/@href")[0]
   
7.     print(jianli_web)

复制代码

15972156903

suchocolate 发表于 2020-12-17 09:02
页面里所有用到的url过滤src和href即可，有的数据如果不想用，你可以遍历整个列进行剔除。

好像您的方式是用正则，我在学习xpath,因为好像其他编程也可以用xpath。非常感谢您的指点。

15972156903

YunGuo 发表于 2020-12-17 15:45
xpath语法错误，多学学基础。
这一段修改一下

非常感谢您的指点，上个帖子也是您帮忙指点的。因为工作原因和家庭原因，每天只有这个点能有时间学习python，感谢互联网，也感谢有您这样不吝赐教的前辈！！！

15972156903

YunGuo 发表于 2020-12-17 15:45
xpath语法错误，多学学基础。
这一段修改一下

那最后再麻烦您一下，我之前不是想创建一个空的list_url，用来添加首页url_1和后续页url_n，做成一个分页爬取的列表集合，但是发起get请求时，url=list_url，运行后就会报错，但是换成url_1或者url_n就不会报错。请问这个地方该怎么操作呢？不知道我说清楚了没。。

suchocolate

15972156903 发表于 2020-12-18 03:28
那最后再麻烦您一下，我之前不是想创建一个空的list_url，用来添加首页url_1和后续页url_n，做成一个分页 ...

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}
   
8.     result = []
   
9.     url = "https://sc.chinaz.com/jianli/free.html"
   
10.     num = int(input('请输入查询的页数:'))
    
11.     for i in range(num):
    
12.         r = requests.get(url, headers=headers)
    
13.         html = etree.HTML(r.text)
    
14.         temp = html.xpath('//div[@id="main"]/div/div/a/@href')
    
15.         result.extend(temp)
    
16.         nx_url = html.xpath('//a[@class="nextpage"]/@href')[0]
    
17.         url = 'https://sc.chinaz.com/jianli/' + nx_url
    
18.     print(result)
    
19. 
    
20. 
    
21. if __name__ == "__main__":
    
22.     main()

复制代码

YunGuo

15972156903 发表于 2020-12-18 03:28
那最后再麻烦您一下，我之前不是想创建一个空的list_url，用来添加首页url_1和后续页url_n，做成一个分页 ...

程序前面执行了将url添加到列表，你的list_url是一个包含所有url的列表，需要先利用for循环取出，再去请求，不能直接get列表。

1. #获取页面地址
   
2. list_url = []
   
3. url_1 = "https://sc.chinaz.com/jianli/free.html"
   
4. list_url.append(url_1)
   
5. for i in range(2,4):
   
6.      url_n = "https://sc.chinaz.com/jianli/free_{}.html".format(i)
   
7.      list_url.append(url_n)
   
8. # 循环取出url请求
   
9. for url in list_url:
   
10.     page_text = requests.get(url, headers=headers).text
    
11.     tree = etree.HTML(page_text)
    
12.     jianli_list = []
    
13.     jianli_div = tree.xpath("//div[@id='main']/div/div")
    
14.     for a in jianli_div:
    
15.         jianli_web = 'https:' + a.xpath("a/@href")[0]
    
16.         print(jianli_web)

复制代码

15972156903

YunGuo 发表于 2020-12-18 16:11
程序前面执行了将url添加到列表，你的list_url是一个包含所有url的列表，需要先利用for循环取出，再去 ...

非常感谢，就是差那临门一脚，原来如此。。哈哈。憋了我几天了。。

15972156903

suchocolate 发表于 2020-12-18 10:55

您的代码我跑了一下，好像是可以指定页的爬取。收藏了，多看看前辈代码学习经验

15972156903

suchocolate 发表于 2020-12-18 10:55

请问下前辈，为什么在for循环里 假如爬取的是第二页或后面页，可以执行最后用前缀加nx_url拼好的url来发起get请求呢？而不是用最上面resulr下一行定义好的url呢？

YunGuo

15972156903 发表于 2020-12-19 03:27
请问下前辈，为什么在for循环里 假如爬取的是第二页或后面页，可以执行最后用前缀加nx_url拼好的url来发 ...

他那个代码读出来很简单啊，兄弟，python基础建议多学习。python程序是从上往下执行：

result下面那个url是第一页，for循环内那个拼接的url相当于重新赋值了result下面那个url，所以当再次循环的时候url已经不一样了，这样说能明白？

15972156903

YunGuo 发表于 2020-12-19 13:11
他那个代码读出来很简单啊，兄弟，python基础建议多学习。python程序是从上往下执行：

result下面那个 ...

感觉有点是懂非懂。。可能是我代码写少了。。。 最近多看看大佬的代码。。自己去摸索哈。。感谢。