设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 关于BeautifulSoup查找到多余字符串的问题
返回列表 发新帖
查看: 1686|回复: 3

[已解决]关于BeautifulSoup查找到多余字符串的问题

[复制链接]
fineconey
发表于 2020-3-21 20:35:03 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
  1. #coding:utf-8
  2. import os
  3. import requests
  4. import re
  5. from bs4 import BeautifulSoup
  6. n=1

  8. #伪造浏览器
  9. headers={
  10. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36 Edg/80.0.361.69',
  11. 'Cookie': 'Hm_lvt_819e30d55b0d1cf6f2c4563aa3c36208=1584766238; Hm_lpvt_819e30d55b0d1cf6f2c4563aa3c36208=1584766592',
  12. 'Referer': 'https://b2b.11467.com/search/-51f95370-pn2.htm'
  13. }
  14. bigurl='https://b2b.11467.com/search/-51f95370-pn2.htm'
  15. res=requests.get(bigurl,headers=headers)
  16. html=res.text

  18. soup=BeautifulSoup(html,"html.parser")
  19. urllist=soup.find('ul',class_='companylist')
  20. print(len(urllist))
  21. print(urllist)
  22. for item in urllist:
  23.     print(item.find("a"))
复制代码


出来的结果是

  1. <a href="//www.11467.com/shanghai/co/1097795.htm" title="上海卡欣印刷器材有限公司">上海卡欣印刷器材有限公司</a>
  2. -1
  3. <a href="//www.11467.com/foshan/co/405630.htm" title="广东希贵光固化材料有限公司">广东希贵光固化材料有限公司</a>
  4. -1
  5. <a href="//www.11467.com/langfang/co/67973.htm" title="天津市进取鑫商贸有限公司">天津市进取鑫商贸有限公司</a>
  6. -1
  7. <a href="//www.11467.com/qiye/52295180.htm" title="佛山市布美兰流体机械有限公司">佛山市布美兰流体机械有限公司</a>
  8. -1


  11. 以下省略
复制代码


我的问题是,  为什么结果里出来那么多   -1     ,这个-1是干什么的.  正常不是应该出来所有的a标签么   非常感谢
最佳答案
月排行榜 / 总排行榜
wp231957
2020-3-24 12:27:17
本帖最后由 wp231957 于 2020-3-24 12:35 编辑
fineconey 发表于 2020-3-23 23:04
会不会是没有封闭标签？

  1. import requests
  2. from bs4 import BeautifulSoup as bs
  3. #伪造浏览器
  4. headers={
  5.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36 Edg/80.0.361.69',
  6.         'Cookie': 'Hm_lvt_819e30d55b0d1cf6f2c4563aa3c36208=1584766238; Hm_lpvt_819e30d55b0d1cf6f2c4563aa3c36208=1584766592',
  7.         'Referer': 'https://b2b.11467.com/search/-51f95370-pn2.htm'
  8. }
  9. bigurl='https://b2b.11467.com/search/-51f95370-pn2.htm'
  10. res=requests.get(bigurl,headers=headers).text
  11. soup=bs(res,"html.parser")
  12. urllist=soup.find('ul',class_='companylist').select("li>div>h4>a")
  13. for x in range(len(urllist)):
  14.     print(urllist[x].get_text(),urllist[x].get("href")[2:])

  16. '''
  17. PS E:\wp> py test2.py
  18. 焦作懋源特种油墨制造有限公司 www.11467.com/jiaozuo/co/13962.htm
  19. 广州柔性制版设备有限公司 www.11467.com/shaoxing/co/73902.htm
  20. 山东亚冠化工有限公司 www.11467.com/jinan/co/94620.htm
  21. 东莞市日强机械有限公司 www.11467.com/dongguan/co/556552.htm
  22. 东莞市虎门双东电雕设备有限公司 www.11467.com/huizhou/co/74149.htm
  23. 宁波余姚市三七市玻璃厂 www.11467.com/ningbo/co/98722.htm
  24. 台州派申印业有限公司 www.11467.com/taizhou/co/149697.htm
  25. 上海祥和印刷技术有限公司 www.11467.com/shanghai/co/1065249.htm
  26. 上海隆盛彩印包装有限公司 www.11467.com/shanghai/co/1065141.htm
  27. 东莞市樟木头启迪转印材料经营部 www.11467.com/qiye/19530262.htm
  28. 无锡市前洲协新印花机械设备厂 www.11467.com/wuxi/co/126416.htm
  29. 刘莲(个体经营) www.11467.com/guangzhou/co/495958.htm
  30. 深圳东莞彩信商标不干胶材料染色厂 www.11467.com/dongguan/co/413300.htm
  31. 山西华兴化工有限公司 www.11467.com/yuncheng/co/25946.htm
  32. 洛阳厶贝印务有限公司 www.11467.com/luoyang/co/60604.htm
  33. 浙江瑞丰机械设备有限公司 www.11467.com/huzhou/co/66767.htm
  34. 黄山精工凹印制版有限公司 www.11467.com/hangzhou/co/270452.htm
  35. 无锡市前洲协新印花机械设备厂 www.11467.com/huangshi/co/18517.htm
  36. 惠州市易安鑫化工有限公司 www.11467.com/huizhou/co/96787.htm
  37. 上海力彩油墨有限公司 www.11467.com/shanghai/co/497958.htm
  38. 桐城光阳电雕制版有限公司 www.11467.com/anqing/co/35569.htm
  39. 保定鑫旺纸塑包装有限公司 www.11467.com/baoding/co/36642.htm
  40. 雄县长胜塑料包装机械销售部 www.11467.com/baoding/co/80557.htm
  41. 东莞市英科水墨有限公司 www.11467.com/dongguan/co/76176.htm
  42. 广州市鸿叶印花有限公司 www.11467.com/guangzhou/co/482808.htm
  43. 广州市洛驰贸易有限公司 www.11467.com/guangzhou/co/458175.htm
  44. 宁波美亚图油墨科技有限公司 www.11467.com/ningbo/co/194715.htm
  45. 青岛运城制版有限公司 www.11467.com/qingdao/co/46684.htm
  46. 泉州运城制版有限公司 www.11467.com/quanzhou/co/88050.htm
  47. 广东岭峰包装印刷有限公司 www.11467.com/shanwei/co/9204.htm
  48. 南雄市星辉化工新材料有限公司 www.11467.com/shaoguan/co/29311.htm
  49. 袁孔霞（个体经营） www.11467.com/maanshan/co/21611.htm
  50. 南宁东运制版有限公司 www.11467.com/nanning/co/57660.htm
  51. 深圳市捷利油墨科技有限公司 www.11467.com/shenzhen/co/768204.htm
  52. 深圳市桑野实业有限公司 www.11467.com/shenzhen/co/277694.htm
  53. 深圳康道科技发展有限公司 www.11467.com/shenzhen/co/765646.htm
  54. 苏州爱盟纳米成像技术有限公司 www.11467.com/suzhou/co/321314.htm
  55. 苏州中亚油墨有限公司 www.11467.com/suzhou/co/163824.htm
  56. 渭南建鑫印刷包装机械有限公司 www.11467.com/weinan/co/24274.htm
  57. 瑞安市天恩印刷机械厂 www.11467.com/wenzhou/co/217518.htm
  58. 武汉迪赛高科技研究发展有限公司 www.11467.com/wuhan/co/69287.htm
  59. 无锡市凹本印刷有限公司 www.11467.com/wuxi/co/215196.htm
  60. 河南中利琪升华油墨厂 www.11467.com/xinxiang/co/31678.htm
  61. 珠海乐通新材料科技有限公司 www.11467.com/zhuhai/co/65785.htm
  62. 北京友维科技有限公司 www.11467.com/beijing/co/694670.htm
  63. 嘉善杭运制版有限公司 www.11467.com/jiaxing/co/136469.htm
  64. 上海卡欣印刷器材有限公司 www.11467.com/shanghai/co/1097795.htm
  65. 广东希贵光固化材料有限公司 www.11467.com/foshan/co/405630.htm
  66. 天津市进取鑫商贸有限公司 www.11467.com/langfang/co/67973.htm
  67. 佛山市布美兰流体机械有限公司 www.11467.com/qiye/52295180.htm
  68. PS E:\wp>

  70. '''
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

wp231957
发表于 2020-3-22 08:36:53 From FishC Mobile | 显示全部楼层
估计有些item里没有a标签，所以返回-1？
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

fineconey
 楼主| 发表于 2020-3-23 23:04:01 | 显示全部楼层
wp231957 发表于 2020-3-22 08:36
估计有些item里没有a标签，所以返回-1？

会不会是没有封闭标签？
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

wp231957
发表于 2020-3-24 12:27:17 | 显示全部楼层    本楼为最佳答案   
本帖最后由 wp231957 于 2020-3-24 12:35 编辑
fineconey 发表于 2020-3-23 23:04
会不会是没有封闭标签？

  1. import requests
  2. from bs4 import BeautifulSoup as bs
  3. #伪造浏览器
  4. headers={
  5.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36 Edg/80.0.361.69',
  6.         'Cookie': 'Hm_lvt_819e30d55b0d1cf6f2c4563aa3c36208=1584766238; Hm_lpvt_819e30d55b0d1cf6f2c4563aa3c36208=1584766592',
  7.         'Referer': 'https://b2b.11467.com/search/-51f95370-pn2.htm'
  8. }
  9. bigurl='https://b2b.11467.com/search/-51f95370-pn2.htm'
  10. res=requests.get(bigurl,headers=headers).text
  11. soup=bs(res,"html.parser")
  12. urllist=soup.find('ul',class_='companylist').select("li>div>h4>a")
  13. for x in range(len(urllist)):
  14.     print(urllist[x].get_text(),urllist[x].get("href")[2:])

  16. '''
  17. PS E:\wp> py test2.py
  18. 焦作懋源特种油墨制造有限公司 www.11467.com/jiaozuo/co/13962.htm
  19. 广州柔性制版设备有限公司 www.11467.com/shaoxing/co/73902.htm
  20. 山东亚冠化工有限公司 www.11467.com/jinan/co/94620.htm
  21. 东莞市日强机械有限公司 www.11467.com/dongguan/co/556552.htm
  22. 东莞市虎门双东电雕设备有限公司 www.11467.com/huizhou/co/74149.htm
  23. 宁波余姚市三七市玻璃厂 www.11467.com/ningbo/co/98722.htm
  24. 台州派申印业有限公司 www.11467.com/taizhou/co/149697.htm
  25. 上海祥和印刷技术有限公司 www.11467.com/shanghai/co/1065249.htm
  26. 上海隆盛彩印包装有限公司 www.11467.com/shanghai/co/1065141.htm
  27. 东莞市樟木头启迪转印材料经营部 www.11467.com/qiye/19530262.htm
  28. 无锡市前洲协新印花机械设备厂 www.11467.com/wuxi/co/126416.htm
  29. 刘莲(个体经营) www.11467.com/guangzhou/co/495958.htm
  30. 深圳东莞彩信商标不干胶材料染色厂 www.11467.com/dongguan/co/413300.htm
  31. 山西华兴化工有限公司 www.11467.com/yuncheng/co/25946.htm
  32. 洛阳厶贝印务有限公司 www.11467.com/luoyang/co/60604.htm
  33. 浙江瑞丰机械设备有限公司 www.11467.com/huzhou/co/66767.htm
  34. 黄山精工凹印制版有限公司 www.11467.com/hangzhou/co/270452.htm
  35. 无锡市前洲协新印花机械设备厂 www.11467.com/huangshi/co/18517.htm
  36. 惠州市易安鑫化工有限公司 www.11467.com/huizhou/co/96787.htm
  37. 上海力彩油墨有限公司 www.11467.com/shanghai/co/497958.htm
  38. 桐城光阳电雕制版有限公司 www.11467.com/anqing/co/35569.htm
  39. 保定鑫旺纸塑包装有限公司 www.11467.com/baoding/co/36642.htm
  40. 雄县长胜塑料包装机械销售部 www.11467.com/baoding/co/80557.htm
  41. 东莞市英科水墨有限公司 www.11467.com/dongguan/co/76176.htm
  42. 广州市鸿叶印花有限公司 www.11467.com/guangzhou/co/482808.htm
  43. 广州市洛驰贸易有限公司 www.11467.com/guangzhou/co/458175.htm
  44. 宁波美亚图油墨科技有限公司 www.11467.com/ningbo/co/194715.htm
  45. 青岛运城制版有限公司 www.11467.com/qingdao/co/46684.htm
  46. 泉州运城制版有限公司 www.11467.com/quanzhou/co/88050.htm
  47. 广东岭峰包装印刷有限公司 www.11467.com/shanwei/co/9204.htm
  48. 南雄市星辉化工新材料有限公司 www.11467.com/shaoguan/co/29311.htm
  49. 袁孔霞（个体经营） www.11467.com/maanshan/co/21611.htm
  50. 南宁东运制版有限公司 www.11467.com/nanning/co/57660.htm
  51. 深圳市捷利油墨科技有限公司 www.11467.com/shenzhen/co/768204.htm
  52. 深圳市桑野实业有限公司 www.11467.com/shenzhen/co/277694.htm
  53. 深圳康道科技发展有限公司 www.11467.com/shenzhen/co/765646.htm
  54. 苏州爱盟纳米成像技术有限公司 www.11467.com/suzhou/co/321314.htm
  55. 苏州中亚油墨有限公司 www.11467.com/suzhou/co/163824.htm
  56. 渭南建鑫印刷包装机械有限公司 www.11467.com/weinan/co/24274.htm
  57. 瑞安市天恩印刷机械厂 www.11467.com/wenzhou/co/217518.htm
  58. 武汉迪赛高科技研究发展有限公司 www.11467.com/wuhan/co/69287.htm
  59. 无锡市凹本印刷有限公司 www.11467.com/wuxi/co/215196.htm
  60. 河南中利琪升华油墨厂 www.11467.com/xinxiang/co/31678.htm
  61. 珠海乐通新材料科技有限公司 www.11467.com/zhuhai/co/65785.htm
  62. 北京友维科技有限公司 www.11467.com/beijing/co/694670.htm
  63. 嘉善杭运制版有限公司 www.11467.com/jiaxing/co/136469.htm
  64. 上海卡欣印刷器材有限公司 www.11467.com/shanghai/co/1097795.htm
  65. 广东希贵光固化材料有限公司 www.11467.com/foshan/co/405630.htm
  66. 天津市进取鑫商贸有限公司 www.11467.com/langfang/co/67973.htm
  67. 佛山市布美兰流体机械有限公司 www.11467.com/qiye/52295180.htm
  68. PS E:\wp>

  70. '''
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-8 21:49

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表