[已解决]bs4如何爬取第二个子标签里面的内容

wtfitis

import requests
import bs4
import re


def open_url(url):
    # 使用代理
    # proxies = {"http": "127.0.0.1:1080", "https": "127.0.0.1:1080"}
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}

    # res = requests.get(url, headers=headers, proxies=proxies)
    res = requests.get(url, headers=headers)

    return res






def main():
    ff=open('name.txt','r')
    allurl=[]
    for i in ff.readlines():
        host = "https://trace.ncbi.nlm.nih.gov/Traces/sra/?run="+i
        res = open_url(host)
        soup = bs4.BeautifulSoup(res.text, 'html.parser')
        targets = soup.find_all("table", class_="geo_zebra run-viewer-download")
        for each in targets:
            if each.tbody.tr.td[4].a['href'] is not None:
                g=each.tbody.tr.td[4].a.get('href')
                allurl.append(g)


    with open("allurl.txt", "w", encoding="utf-8") as f:
        f.writelines([j+'\n' for j in allurl])


if __name__ == "__main__":
    main()

我想要提取图片里面 第四个td下面的链接 但是我不知道怎么做

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-9 17:53:49

wtfitis 发表于 2020-7-9 18:12
目前通过这样解决：
不知道有没有更好的方法~

urls = soup.find_all("a",href=re.compile("https://sra-downloadb.st-va.ncbi.nlm.nih.gov"))

直接这样试试看

跳转到最佳答案楼层

Twilight6

wtfitis 发表于 2020-7-9 18:12
目前通过这样解决：
不知道有没有更好的方法~

urls = soup.find_all("a",href=re.compile("https://sra-downloadb.st-va.ncbi.nlm.nih.gov"))

直接这样试试看

Twilight6

给一个 name 文件里面的内容

wtfitis

Twilight6 发表于 2020-7-9 18:05
给一个 name 文件里面的内容

SRR1620826
SRR1620832
SRR1620829
里面都是一行一行类似于这个

wtfitis

Twilight6 发表于 2020-7-9 18:05
给一个 name 文件里面的内容

目前通过这样解决：

        targets = soup.find_all("table", class_="geo_zebra run-viewer-download")
        for each in targets:
            g=each.tbody.tr
            cont=g.find_all('td')
            if cont[3].a is None:
                break
            else:
                c=cont[3].a.get('href')
                allurl.append(c)

不知道有没有更好的方法~

wtfitis

Twilight6 发表于 2020-7-9 17:53
直接这样试试看

原来正则可以直接塞进去用的吗。。第一次知道

Twilight6

wtfitis 发表于 2020-7-9 18:35
原来正则可以直接塞进去用的吗。。第一次知道

哈哈  bs4  和正则搭配着用很强的，你可以去看看bs4官方文档也有举例子

wtfitis

Twilight6 发表于 2020-7-9 18:39
哈哈  bs4  和正则搭配着用很强的，你可以去看看bs4官方文档也有举例子

不过我后来看了下 还是标签准一点 因为这是相对位置 我发现有些下载地址不是用那个开头的~正则的效率是高点但是不够全，但是标签的位置肯定是下载地址

Twilight6

wtfitis 发表于 2020-7-9 19:08
不过我后来看了下 还是标签准一点 因为这是相对位置 我发现有些下载地址不是用那个开头的~正则的效率是高 ...

那确实，你可以观察下链接，只需要找到一个这种链接共有的字符串,你就可以直接用了