[已解决]爬虫问题

wtfitis

https://www.ncbi.nlm.nih.gov/biosample/SAMEA1030995

1.             oresp=requests.get(url="https://www.ncbi.nlm.nih.gov/biosample/SAMEA1030995",headers=headers)
   
2.             print(oresp.text)
   
3.             html1=etree.HTML(oresp.content)
   
4.             htmldata1=html1.xpath('//div[@id="maincontent"]/div/div[5]/div/div[1]/dl[3]/dd/table/tbody/tr[2]/td/text()')

复制代码

为什么爬不出中间的'GP580'

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-9-14 16:24:22

我尝试了etree，貌似读这个html会报错，用re取到了。

1. 
   
2. import requests
   
3. import re
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'https://www.ncbi.nlm.nih.gov/biosample/SAMEA1030995'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     result = re.findall(r'sample name</th><td>(.*?)</td>', r.text)
    
11.     print(result)
    
12. 
    
13. 
    
14. if __name__ == '__main__':
    
15.     main()
    

复制代码

跳转到最佳答案楼层

suchocolate

我尝试了etree，貌似读这个html会报错，用re取到了。

1. 
   
2. import requests
   
3. import re
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'https://www.ncbi.nlm.nih.gov/biosample/SAMEA1030995'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     result = re.findall(r'sample name</th><td>(.*?)</td>', r.text)
    
11.     print(result)
    
12. 
    
13. 
    
14. if __name__ == '__main__':
    
15.     main()
    

复制代码

wtfitis

自己顶一下 有没有帮帮我~

wtfitis

suchocolate 发表于 2021-9-14 16:24
我尝试了etree，貌似读这个html会报错，用re取到了。

其实我也用re解决了。。但还是想试试etree这种结构找到。。不过我没去试beautifulsoup。。应该可以