[已解决]如何在url标签相同的情况下，爬取下一个数据呢？

Banky

如题，网页源代码如下：


我的代码

1. def find_company(res):
   
2.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
   
3. 
   
4.     # 公司名
   
5.     company = []
   
6.     targets = soup.find_all("span", class_="ttspan")
   
7.     for each in targets:
   
8.         company.append(each.text)
   
9. 
   
10.     # 主营产品
    
11.     products = []
    
12.     targets = soup.find_all("span", class_="clr")
    
13.     for each in targets:
    
14.         products.append(each.text)
    
15. 
    
16.     # 经营模式
    
17.     busmdl = []
    
18.     targets = soup.find_all("span", class_="clr")
    
19.     for each in targets:
    
20.         busmdl.append(each.text)
    
21. 
    
22.     # 成立时间
    
23.     estabtime = []
    
24.     targets = soup.find_all("span", class_="clr")
    
25.     for each in targets:
    
26.         estabtime.append(each.text)
    
27. 
    
28.     # 公司地址
    
29.     address = []
    
30.     targets = soup.find_all("span", class_="clr")
    
31.     for each in targets:
    
32.         address.append(each.text)
    
33. 
    
34.     result = []
    
35.     length = len(company)
    
36.     for i in range(length):
    
37.         result.append([company[i], products[i], busmdl[i], estabtime[i], address[i]])
    
38. 
    
39.     return result

复制代码

这样下来每个信息都会被同样的循环4遍导致输出内容一样，如何使用bs4找到特定的数据呢？

最佳答案

月排行榜 / 总排行榜

歌者文明清理员

2023-6-1 14:31:37

爬取一次不就行了吗

1. def find_company(res):
   
2.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
   
3. 
   
4.     company = [each.text for each in soup.find_all("span", class_="ttspan")]
   
5.     ress = [each.text for each in soup.find_all("span", class_="clr")]
   
6.     products = ress[::4]
   
7.     busmdl = ress[1::4]
   
8.     estabtime = ress[2::4]
   
9.     address = ress[3::4]
   
10. 
    
11.     result = [list(i) for i in zip(company, products, busmdl, estabtime, address)]
    
12. 
    
13.     return result

复制代码

跳转到最佳答案楼层

歌者文明清理员

爬取一次不就行了吗

1. def find_company(res):
   
2.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
   
3. 
   
4.     company = [each.text for each in soup.find_all("span", class_="ttspan")]
   
5.     ress = [each.text for each in soup.find_all("span", class_="clr")]
   
6.     products = ress[::4]
   
7.     busmdl = ress[1::4]
   
8.     estabtime = ress[2::4]
   
9.     address = ress[3::4]
   
10. 
    
11.     result = [list(i) for i in zip(company, products, busmdl, estabtime, address)]
    
12. 
    
13.     return result

复制代码

Banky

歌者文明清理员 发表于 2023-6-1 14:31
爬取一次不就行了吗

虽然有bug，但我看懂方法了，感谢老哥带我走出误区

歌者文明清理员

Banky 发表于 2023-6-1 14:46
虽然有bug，但我看懂方法了，感谢老哥带我走出误区

你不给链接我不知道我的代码写的对不对

歌者文明清理员

Banky 发表于 2023-6-1 14:46
虽然有bug，但我看懂方法了，感谢老哥带我走出误区

我知道代码错在哪里了，改了