[已解决]下载了网页源代码如何在到所要东西，求助

xiaolongren969

sos，我想爬取这个网站的商品链接，用到BeautifulSoup的时候不知道如何去找到所需要的东西里，怎么办


import requests
import bs4
import re
import time
import openpyxl

def open_url(url):
    headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0'}

    res = requests.get(url, headers=headers,timeout=500)
    return res
   

def main():

    host = "https://www.ebay.com.au/sch/i.html?_from=R40&_nkw=Silicone+Band+%E2%80%93+Garmin+Forerunner&_sacat=0&_ipg=200&_fcid=15&_pgn=1"
    res = open_url(host)
    soup = BeautifulSoup(res.text,"html.parser")
    for info in soup.select(".s-item__info clearfix")
        name = book.select("a")

if __name__=="__main__":
    main()
    print("已完成")

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-8-6 15:56:18

你导入错误了，第一个导入应该 from bs4 import BeautifulSoup 因为你代码中直接用 BeautifulSoup 了

第二个错误你 for 循环忘记加冒号

第三个错误 BeautifulSoup 语法错误

参考代码，已经可以成功爬出网址：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. import time
   
5. import openpyxl
   
6. 
   
7. 
   
8. def open_url(url):
   
9.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0'}
   
10. 
    
11.     res = requests.get(url, headers=headers, timeout=500)
    
12.     return res
    
13. 
    
14. 
    
15. def main():
    
16.     host = "https://www.ebay.com.au/sch/i.html?_from=R40&_nkw=Silicone+Band+%E2%80%93+Garmin+Forerunner&_sacat=0&_ipg=200&_fcid=15&_pgn=1"
    
17.     res = open_url(host)
    
18.     soup = BeautifulSoup(res.text, "html.parser")
    
19.     for info in soup.find_all('a',class_="s-item__link"):
    
20.         url = info['href']
    
21.         print(url)
    
22. 
    
23. if __name__ == "__main__":
    
24.     main()
    
25.     print("已完成")

复制代码

跳转到最佳答案楼层

qiuyouzhi

用XPath它不香吗？

xiaolongren969

qiuyouzhi 发表于 2020-8-6 15:12
用XPath它不香吗？

好像是也，我去学习一下，感谢

Twilight6

你导入错误了，第一个导入应该 from bs4 import BeautifulSoup 因为你代码中直接用 BeautifulSoup 了

第二个错误你 for 循环忘记加冒号

第三个错误 BeautifulSoup 语法错误

参考代码，已经可以成功爬出网址：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. import time
   
5. import openpyxl
   
6. 
   
7. 
   
8. def open_url(url):
   
9.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0'}
   
10. 
    
11.     res = requests.get(url, headers=headers, timeout=500)
    
12.     return res
    
13. 
    
14. 
    
15. def main():
    
16.     host = "https://www.ebay.com.au/sch/i.html?_from=R40&_nkw=Silicone+Band+%E2%80%93+Garmin+Forerunner&_sacat=0&_ipg=200&_fcid=15&_pgn=1"
    
17.     res = open_url(host)
    
18.     soup = BeautifulSoup(res.text, "html.parser")
    
19.     for info in soup.find_all('a',class_="s-item__link"):
    
20.         url = info['href']
    
21.         print(url)
    
22. 
    
23. if __name__ == "__main__":
    
24.     main()
    
25.     print("已完成")

复制代码

xiaolongren969

xiaolongren969 发表于 2020-8-6 15:32
好像是也，我去学习一下，感谢

感谢，感谢，我学习一下

Twilight6

xiaolongren969 发表于 2020-8-6 16:03
感谢，感谢，我学习一下

4L 代码你去运行看看，链接已经全爬出来了

陈尚涵

Twilight6 发表于 2020-8-6 16:15
4L 代码你去运行看看，链接已经全爬出来了

其实这个细心点就能检查出来，用得着来鱼C吗

xiaolongren969

陈尚涵 发表于 2020-8-6 16:20
其实这个细心点就能检查出来，用得着来鱼C吗

主要是find_all用得不熟，