[已解决]bs4如何爬取第二个子标签里面的内容

wtfitis

1. import requests
   
2. import bs4
   
3. import re
   
4. 
   
5. 
   
6. def open_url(url):
   
7.     # 使用代理
   
8.     # proxies = {"http": "127.0.0.1:1080", "https": "127.0.0.1:1080"}
   
9.     headers = {
   
10.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
    
11. 
    
12.     # res = requests.get(url, headers=headers, proxies=proxies)
    
13.     res = requests.get(url, headers=headers)
    
14. 
    
15.     return res
    
16. 
    
17. 
    
18. 
    
19. 
    
20. 
    
21. 
    
22. def main():
    
23.     ff=open('name.txt','r')
    
24.     allurl=[]
    
25.     for i in ff.readlines():
    
26.         host = "https://trace.ncbi.nlm.nih.gov/Traces/sra/?run="+i
    
27.         res = open_url(host)
    
28.         soup = bs4.BeautifulSoup(res.text, 'html.parser')
    
29.         targets = soup.find_all("table", class_="geo_zebra run-viewer-download")
    
30.         for each in targets:
    
31.             if each.tbody.tr.td[4].a['href'] is not None:
    
32.                 g=each.tbody.tr.td[4].a.get('href')
    
33.                 allurl.append(g)
    
34. 
    
35. 
    
36.     with open("allurl.txt", "w", encoding="utf-8") as f:
    
37.         f.writelines([j+'\n' for j in allurl])
    
38. 
    
39. 
    
40. if __name__ == "__main__":
    
41.     main()
    

复制代码

我想要提取图片里面 第四个td下面的链接 但是我不知道怎么做

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-9 17:53:49

wtfitis 发表于 2020-7-9 18:12
目前通过这样解决：
不知道有没有更好的方法~

1. urls = soup.find_all("a",href=re.compile("https://sra-downloadb.st-va.ncbi.nlm.nih.gov"))

复制代码

直接这样试试看

跳转到最佳答案楼层

Twilight6

wtfitis 发表于 2020-7-9 18:12
目前通过这样解决：
不知道有没有更好的方法~

1. urls = soup.find_all("a",href=re.compile("https://sra-downloadb.st-va.ncbi.nlm.nih.gov"))

复制代码

直接这样试试看

Twilight6

给一个 name 文件里面的内容

wtfitis

Twilight6 发表于 2020-7-9 18:05
给一个 name 文件里面的内容

SRR1620826
SRR1620832
SRR1620829
里面都是一行一行类似于这个

wtfitis

Twilight6 发表于 2020-7-9 18:05
给一个 name 文件里面的内容

目前通过这样解决：

1.         targets = soup.find_all("table", class_="geo_zebra run-viewer-download")
   
2.         for each in targets:
   
3.             g=each.tbody.tr
   
4.             cont=g.find_all('td')
   
5.             if cont[3].a is None:
   
6.                 break
   
7.             else:
   
8.                 c=cont[3].a.get('href')
   
9.                 allurl.append(c)

复制代码

不知道有没有更好的方法~

wtfitis

Twilight6 发表于 2020-7-9 17:53
直接这样试试看

原来正则可以直接塞进去用的吗。。第一次知道

Twilight6

wtfitis 发表于 2020-7-9 18:35
原来正则可以直接塞进去用的吗。。第一次知道

哈哈  bs4  和正则搭配着用很强的，你可以去看看bs4官方文档也有举例子

wtfitis

Twilight6 发表于 2020-7-9 18:39
哈哈  bs4  和正则搭配着用很强的，你可以去看看bs4官方文档也有举例子

不过我后来看了下 还是标签准一点 因为这是相对位置 我发现有些下载地址不是用那个开头的~正则的效率是高点但是不够全，但是标签的位置肯定是下载地址

Twilight6

wtfitis 发表于 2020-7-9 19:08
不过我后来看了下 还是标签准一点 因为这是相对位置 我发现有些下载地址不是用那个开头的~正则的效率是高 ...

那确实，你可以观察下链接，只需要找到一个这种链接共有的字符串,你就可以直接用了