设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 爬取内容为空如何解决
返回列表 发新帖
查看: 3615|回复: 6

[已解决]爬取内容为空如何解决

[复制链接]
937135952
发表于 2022-12-16 16:35:45 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
  1. import requests
  2. from lxml import etree

  4. currenturl = "https://www.htfc.com/main/a/20221216/80146505.shtml"

  6. #网页爬虫
  7. headers = {
  8. 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
  9. 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  10. 'Accept-Language':'en-US,en;q=0.5',
  11. 'Accept-Encoding':'gzip',
  12. 'DNT':'1',
  13. 'Connection':'close'
  14. }

  16. r = requests.get(currenturl, headers=headers)
  17. r.encoding = 'gbk'
  18. html = etree.HTML(r.text)#etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。
  19. #print(html)
  20. title = html.xpath('//div[id="details"]')
  21. print(title)
复制代码


代码如上，想爬取标题和文本，应该如何写？
最佳答案
月排行榜 / 总排行榜
isdkz
2022-12-16 18:21:41
  1. import requests
  2. from lxml import etree

  4. currenturl = "https://www.htfc.com/main/a/20221216/80146505.shtml"

  6. #网页爬虫
  7. headers = {
  8. 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
  9. 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  10. 'Accept-Language':'en-US,en;q=0.5',
  11. 'Accept-Encoding':'gzip',
  12. 'DNT':'1',
  13. 'Connection':'close'
  14. }

  16. r = requests.get(currenturl, headers=headers)
  17. r.encoding = 'utf-8'
  18. html = etree.HTML(r.text)#etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。
  19. #print(html)
  20. title = html.xpath('//div[@id="details"]/h3/text()')
  21. print("标题：")
  22. print(title[0])
  23. print()
  24. print("正文：")
  25. content = html.xpath('//div[@class="wz_content"]//span/text()')
  26. print('\n'.join(content))
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

isdkz
发表于 2022-12-16 18:21:41 | 显示全部楼层    本楼为最佳答案   
  1. import requests
  2. from lxml import etree

  4. currenturl = "https://www.htfc.com/main/a/20221216/80146505.shtml"

  6. #网页爬虫
  7. headers = {
  8. 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
  9. 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  10. 'Accept-Language':'en-US,en;q=0.5',
  11. 'Accept-Encoding':'gzip',
  12. 'DNT':'1',
  13. 'Connection':'close'
  14. }

  16. r = requests.get(currenturl, headers=headers)
  17. r.encoding = 'utf-8'
  18. html = etree.HTML(r.text)#etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。
  19. #print(html)
  20. title = html.xpath('//div[@id="details"]/h3/text()')
  21. print("标题：")
  22. print(title[0])
  23. print()
  24. print("正文：")
  25. content = html.xpath('//div[@class="wz_content"]//span/text()')
  26. print('\n'.join(content))
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

937135952
 楼主| 发表于 2022-12-19 14:02:43 | 显示全部楼层
isdkz 发表于 2022-12-16 18:21

大佬你好，这个网址我用自动化谷歌驱动获取的，再用如上方法，最终“正文”的内容为空是为什么啊
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

937135952
 楼主| 发表于 2022-12-19 14:03:31 | 显示全部楼层
isdkz 发表于 2022-12-16 18:21
  1. def get_huatai():

  3.     s = requests.Session()
  4.    
  5.     fb = webdriver.FirefoxProfile.DEFAULT_PREFERENCES
  6.     # op = webdriver.FirefoxOptions()
  7.     # op.set_preference({'user-data-dir':''})
  8.     c = webdriver.ChromeOptions()
  9.     c.add_argument('--user-data-dir=D:/AutomationProfile')
  10.     # c.add_argument('--headless')
  11.     # c.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36')
  12.     driver = webdriver.Chrome()
  13.    
  14.     driver.get('https://www.htfc.com/main/yjzx/yjbg/index.shtml')  
  15.    
  16.     time.sleep(3)

  18.     driver.find_element(By.XPATH, '//input[@id="title"]').send_keys('原油')#这里直接指向id="title"的同级input就行。
  19.     time.sleep(3)
  20.     driver.find_element(By.XPATH, '//a[text()="查询"]').click()
  21.     time.sleep(3)
  22.     driver.find_element(By.XPATH, '//div[@id="articlelist"]/ul/li[1]/a').click()   
  23.    
  24.     # 获取全部标签页
  25.     window = driver.window_handles
  26.     # 将激活标签页设置为最新的一项(按自己业务改)
  27.     driver.switch_to.window(window.pop())
  28.     #获取当前页面的url   
  29.     currenturl = driver.current_url
  30.     driver.quit()
  31.     #driver.close() #关闭当前页面
  32.     time.sleep(3)
  33.     print(currenturl)


  36.     #currenturl = "https://www.htfc.com/main/a/20221216/80146505.shtml"
  37.    
  38.     #网页爬虫
  39.     headers = {
  40.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
  41.     'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  42.     'Accept-Language':'en-US,en;q=0.5',
  43.     'Accept-Encoding':'gzip',
  44.     'DNT':'1',
  45.     'Connection':'close'
  46.     }
  47.    
  48.     r = requests.get(currenturl, headers=headers)
  49.     r.encoding = 'utf-8'#z注意这里
  50.     html = etree.HTML(r.text)#etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。
  51.     #print(html)
  52.     title = html.xpath('//div[@id="details"]/h3/text()')#注意这里，注意@
  53.     print("标题：")
  54.     print(title[0])
  55.     print()
  56.     print("正文：")
  57.     content = html.xpath('//div[@class="wz_content"]//span/text()')
  58.    
  59.     print('\n'.join(content))
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

isdkz
发表于 2022-12-19 14:49:47 | 显示全部楼层
937135952 发表于 2022-12-19 14:03


我下载一个浏览器驱动调试看看
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

isdkz
发表于 2022-12-19 15:19:18 | 显示全部楼层
本帖最后由 isdkz 于 2022-12-19 15:21 编辑
937135952 发表于 2022-12-19 14:03


我调试了一下，别的页面标签又有点不大一样，我改了一下代码，你再看看

  1. def get_huatai():

  3.     s = requests.Session()
  4.    
  5.     fb = webdriver.FirefoxProfile.DEFAULT_PREFERENCES
  6.     # op = webdriver.FirefoxOptions()
  7.     # op.set_preference({'user-data-dir':''})
  8.     c = webdriver.ChromeOptions()
  9.     c.add_argument('--user-data-dir=D:/AutomationProfile')
  10.     # c.add_argument('--headless')
  11.     # c.add_argument(f'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36')
  12.     driver = webdriver.Chrome()
  13.    
  14.     driver.get('https://www.htfc.com/main/yjzx/yjbg/index.shtml')  
  15.    
  16.     time.sleep(3)

  18.     driver.find_element(By.XPATH, '//input[@id="title"]').send_keys('原油')#这里直接指向id="title"的同级input就行。
  19.     time.sleep(3)
  20.     driver.find_element(By.XPATH, '//a[text()="查询"]').click()
  21.     time.sleep(3)
  22.     driver.find_element(By.XPATH, '//div[@id="articlelist"]/ul/li[1]/a').click()   
  23.    
  24.     # 获取全部标签页
  25.     window = driver.window_handles
  26.     # 将激活标签页设置为最新的一项(按自己业务改)
  27.     driver.switch_to.window(window.pop())
  28.     #获取当前页面的url   
  29.     currenturl = driver.current_url
  30.     driver.quit()
  31.     #driver.close() #关闭当前页面
  32.     time.sleep(3)
  33.     print(currenturl)


  36.     #currenturl = "https://www.htfc.com/main/a/20221216/80146505.shtml"
  37.    
  38.     #网页爬虫
  39.     headers = {
  40.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
  41.     'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  42.     'Accept-Language':'en-US,en;q=0.5',
  43.     'Accept-Encoding':'gzip',
  44.     'DNT':'1',
  45.     'Connection':'close'
  46.     }
  47.    
  48.     r = requests.get(currenturl, headers=headers)
  49.     r.encoding = 'utf-8'#z注意这里
  50.     html = etree.HTML(r.text)#etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。
  51.     #print(html)
  52.     title = html.xpath('//div[@id="details"]/h3/text()')#注意这里，注意@
  53.     print("标题：")
  54.     print(title[0])
  55.     print()
  56.     print("正文：")
  57.     content = html.xpath('//div[@class="wz_content"]//text()')                                        # 改了这里
  58.    
  59.     print('\n'.join(content))
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

937135952
 楼主| 发表于 2022-12-19 15:57:17 | 显示全部楼层
isdkz 发表于 2022-12-19 15:19
我调试了一下，别的页面标签又有点不大一样，我改了一下代码，你再看看

ok
非常感谢！
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-4-25 13:14

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表