bs4如何爬取第二个子标签里面的内容
import requestsimport bs4
import re
def open_url(url):
# 使用代理
# proxies = {"http": "127.0.0.1:1080", "https": "127.0.0.1:1080"}
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
# res = requests.get(url, headers=headers, proxies=proxies)
res = requests.get(url, headers=headers)
return res
def main():
ff=open('name.txt','r')
allurl=[]
for i in ff.readlines():
host = "https://trace.ncbi.nlm.nih.gov/Traces/sra/?run="+i
res = open_url(host)
soup = bs4.BeautifulSoup(res.text, 'html.parser')
targets = soup.find_all("table", class_="geo_zebra run-viewer-download")
for each in targets:
if each.tbody.tr.td.a['href'] is not None:
g=each.tbody.tr.td.a.get('href')
allurl.append(g)
with open("allurl.txt", "w", encoding="utf-8") as f:
f.writelines()
if __name__ == "__main__":
main()
我想要提取图片里面 第四个td下面的链接 但是我不知道怎么做 wtfitis 发表于 2020-7-9 18:12
目前通过这样解决：
不知道有没有更好的方法~
urls = soup.find_all("a",href=re.compile("https://sra-downloadb.st-va.ncbi.nlm.nih.gov"))
直接这样试试看
给一个 name 文件里面的内容 Twilight6 发表于 2020-7-9 18:05
给一个 name 文件里面的内容
SRR1620826
SRR1620832
SRR1620829
里面都是一行一行类似于这个 Twilight6 发表于 2020-7-9 18:05
给一个 name 文件里面的内容
目前通过这样解决： targets = soup.find_all("table", class_="geo_zebra run-viewer-download")
for each in targets:
g=each.tbody.tr
cont=g.find_all('td')
if cont.a is None:
break
else:
c=cont.a.get('href')
allurl.append(c)
不知道有没有更好的方法~ Twilight6 发表于 2020-7-9 17:53
直接这样试试看
原来正则可以直接塞进去用的吗。。第一次知道 wtfitis 发表于 2020-7-9 18:35
原来正则可以直接塞进去用的吗。。第一次知道
哈哈bs4和正则搭配着用很强的，你可以去看看bs4官方文档也有举例子 Twilight6 发表于 2020-7-9 18:39
哈哈bs4和正则搭配着用很强的，你可以去看看bs4官方文档也有举例子
不过我后来看了下 还是标签准一点 因为这是相对位置 我发现有些下载地址不是用那个开头的~正则的效率是高点但是不够全，但是标签的位置肯定是下载地址 wtfitis 发表于 2020-7-9 19:08
不过我后来看了下 还是标签准一点 因为这是相对位置 我发现有些下载地址不是用那个开头的~正则的效率是高 ...
那确实，你可以观察下链接，只需要找到一个这种链接共有的字符串,你就可以直接用了
页:
[1]