Python 爬虫求助

13432477267

Python 朋友的作业，我自己没学到爬虫！ 想了半天没想懂
运行结果如图
用 url = 'http://www.baidu.com/s?wd=月亮虾饼怎么做&rn=50' 能正确获取编码和网站内容
而 url = 'https://www.baidu.com/s?wd=探店-发现世界.分享生活&rn=50' 却不行

完整代码如下

1. import requests #python的http库
   
2. import chardet  #用于获取网页的真正编码的第三方库
   
3. import urllib3  #
   
4. import os
   
5. import jieba
   
6. from collections import Counter
   
7. from bs4 import BeautifulSoup #BeautifulSoup第三方库用于从HTML和XML文件中提取数据。
   
8. 
   
9. urllib3.disable_warnings()
   
10. 
    
11. rootPath = os.path.dirname(os.path.realpath(__file__))  #返回文件路径(返回__file__的真实路径)
    
12. userDictPath = os.path.join(rootPath, 'jiebadic.csv')
    
13. 
    
14. jieba.load_userdict(userDictPath)
    
15. jieba.initialize()
    
16. 
    
17. # 大佬看这里 ↓↓↓↓-----------------------------------
    
18. 
    
19. #url = 'http://www.baidu.com/s?wd=月亮虾饼怎么做&rn=50'  #百度搜索的网站赋值给url
    
20. url = 'https://www.baidu.com/s?wd=探店-发现世界.分享生活&rn=50'
    
21. response = requests.get(url)  #找到 url
    
22. 
    
23. htmlEncoded = response.content #把网站的内容赋值给htmlEncoded
    
24. 
    
25. print(htmlEncoded)
    
26. 
    
27. detectResult = chardet.detect(htmlEncoded) #检测htmlEncoded 返回一个字典键'encoding'的值就是编码
    
28. 
    
29. print(detectResult)
    
30. 
    
31. encoding = detectResult['encoding'] #把字典detectResult中 键'encoding'的‘值'赋给变量encoding ‘值’是自动检测到的 它可能是utf-8
    
32. 
    
33. html = str(htmlEncoded, encoding)  #建立一个元组（网站内容，编码）
    
34. 
    
35. soup = BeautifulSoup(html, 'html.parser') #通过BeautifulSoup来解析html变量中Html代码，使用html.parser解析器，因为BeautifulSoup还有其他几种解析器，如xml、html5lib等，所以这里必须确定使用什么解析器
    
36. #print(soup)
    
37. items = soup.select('h3 a') #获取html中所有h3标签下的a标签dom节点元素，所以我们使用了 'h3 a' 这个选择器
    
38. 
    
39. allTitleStr = ''
    
40. 
    
41. for item in items: #历遍items ???循环没有执行 items为空
    
42. 
    
43.     resultRedirectUrl = item.attrs['href'] #网页中a标签的href属性值也就是a标签对应的锚链接
    
44. 
    
45.     if 'http://' in resultRedirectUrl or \
    
46.             'https://' in resultRedirectUrl:  #判断是不是一个真正的链接
    
47. 
    
48.         itemHeadRes = requests.head(resultRedirectUrl, verify=False) #使用http协议中的head命令来访问百度加密连接head命令比get命令返回信息更加精简
    
49. 
    
50.         itemUrl = itemHeadRes.headers['Location'] #通过headers的Location属性，便能得到解密后的url，我们把这个解密后的url网址存储到itemUrl变量中，以便后续读取页面Title使用。
    
51. 
    
52.         try:    # 检测异常
    
53. 
    
54.             itemRes = requests.get(itemUrl, verify=False) #找到网站itemUrl
    
55. 
    
56.             if itemRes.status_code == 200: #if itemRes 的状态条码是 200
    
57. 
    
58.                 itemHtmlEncoding = chardet.detect(itemRes.content)['encoding'] # --------------↓
    
59. 
    
60.                 itemHtml = str(itemRes.content, itemHtmlEncoding, errors='ignore')
    
61. 
    
62.                 itemSoup = BeautifulSoup(itemHtml, 'html.parser')  # -------------获取编码 同上面操作一样 通过BeautifulSoup来解析html变量中Html代码....
    
63. 
    
64.                 if itemSoup.title is not None:   # --------------------↓  
    
65. 
    
66.                     itemTitle = itemSoup.title.text.strip()
    
67. 
    
68.                     #print(itemTitle)  # ？---- 没有打印
    
69. 
    
70.                     allTitleStr += itemTitle+' ' # -------------------提取出html中的title
    
71.         except:
    
72.             continue #继续执行
    
73. 
    
74. titleWords = [word for word in jieba.lcut(allTitleStr, cut_all=False) if len(word) > 1]
    
75. 
    
76. titleWordsDic = dict(Counter(titleWords))
    
77. 
    
78. titleWordsSortedList = sorted(titleWordsDic.items(), key=lambda x: x[1], reverse=True)
    
79. 
    
80. for item in titleWordsSortedList:
    
81.     print(item[0], ':', item[1])

复制代码

18307521742

你把URL前面的https改成http试试看

13432477267

18307521742 发表于 2019-6-24 10:37
你把URL前面的https改成http试试看

不行

13432477267

18307521742 发表于 2019-6-24 10:37
你把URL前面的https改成http试试看

试了好多方法都不行

wp231957

13432477267 发表于 2019-6-24 14:16
试了好多方法都不行

关键看你最终想要啥数据，网页编码不是必须吧

害怕型全嘲豪

headers都不加 真当百度你家开的?
原因就是你没有 请求头, 具体方法 你百度 python 爬虫 headers 看看怎么加 .

cx7154

写的这么繁琐 ！！！还有头部 user-agent