[已解决]下载了网页源代码如何在到所要东西，求助

Twilight6

你导入错误了，第一个导入应该 from bs4 import BeautifulSoup 因为你代码中直接用 BeautifulSoup 了

第二个错误你 for 循环忘记加冒号

第三个错误 BeautifulSoup 语法错误

参考代码，已经可以成功爬出网址：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. import time
   
5. import openpyxl
   
6. 
   
7. 
   
8. def open_url(url):
   
9.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0'}
   
10. 
    
11.     res = requests.get(url, headers=headers, timeout=500)
    
12.     return res
    
13. 
    
14. 
    
15. def main():
    
16.     host = "https://www.ebay.com.au/sch/i.html?_from=R40&_nkw=Silicone+Band+%E2%80%93+Garmin+Forerunner&_sacat=0&_ipg=200&_fcid=15&_pgn=1"
    
17.     res = open_url(host)
    
18.     soup = BeautifulSoup(res.text, "html.parser")
    
19.     for info in soup.find_all('a',class_="s-item__link"):
    
20.         url = info['href']
    
21.         print(url)
    
22. 
    
23. if __name__ == "__main__":
    
24.     main()
    
25.     print("已完成")

复制代码

Twilight6

xiaolongren969 发表于 2020-8-6 16:03
感谢，感谢，我学习一下

4L 代码你去运行看看，链接已经全爬出来了