爬虫问题

伏惜寒

爬虫爬取结果：您的浏览器Javascript被禁用，需开启后体验完整功能
我的浏览器开启了Javascript，且爬取其他网址没有任何问题
cookies是用google的开发者工具当场抓取的放在test.txt里面的

1. import requests
   
2. import os, sys, stat
   
3. from lxml import etree
   
4. import time
   
5. 
   
6. #获取cookies
   
7. f=open(r'test.txt','r')
   
8. cookies={}
   
9. for line in f.read().split(';'):
   
10.     name,value=line.strip().split('=',1)
    
11.     cookies[name]=value
    
12. #换ip
    
13. proxies = {"HTTP":"163.204.240.202:9999",
    
14.            "HTTPS":"110.243.13.45:9999"}
    
15. 
    
16. #主函数
    
17. def start_1():
    
18.     url_1 = "https://wenku.baidu.com/view/1b4035173a3567ec102de2bd960590c69ec3d807.html"
    
19.     response = requests.get(url_1,headers = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3"},\
    
20.                             cookies=cookies,proxies=proxies).content.decode('utf-8')
    
21.     html = etree.HTML(response)
    
22.     links = html.xpath("//div")
    
23.     for index in range(len(links)):
    
24.      # links[index]返回的是一个字典
    
25. #返回网站信息
    
26.         if (index % 2) == 0:
    
27.             print(links[index].tag)
    
28.             print(links[index].attrib)
    
29.             print(links[index].text)
    
30. 
    
31. start_1()

复制代码

爬虫访问百度文库被阻止，想知道是什么原因，ip，headers，cookies都加了为什么还是被拒绝了，
希望能给出问题解决方案（有解决代码就更好了）

陈尚涵

看来这个网站反爬很厉害

bangbang-ande

百度一般不让别人去爬，爬了有可能会被封ip
以后要爬可以加robots.txt看可不可以爬而已
这是加了robots.txt后的信息（网址：点这个）
user-agent是用户（*是所有除了单列的所有爬虫）
Disallow是禁止爬https://wenku.baidu.com（网址主站（不包含/）后的位置）
例如：
内部有个这样的：

1. user-agent: *
   
2. disallow:/

复制代码

那么意思就是所有用户（除搜索引擎外）都不能访问https://wenku.baidu.com/后的所有网址
如果听不懂的话可已看看一个讲解视频（我也是从这里才知道的。。。）讲解视频

1. User-agent: 百度爬虫
   
2. Disallow: /w?
   
3. Disallow: /search?
   
4. Disallow: /submit
   
5. Disallow: /upload
   
6. Disallow: /cashier/
   
7. 
   
8. User-agent: 谷歌爬虫
   
9. Disallow: /search?
   
10. Disallow: /submit
    
11. Disallow: /upload
    
12. Disallow: /cashier/
    
13. 
    
14. User-agent: msn机器人
    
15. Disallow: /search?
    
16. Disallow: /submit
    
17. Disallow: /upload
    
18. Disallow: /cashier/
    
19. 
    
20. User-agent: 百度图片爬虫
    
21. Disallow: /search?
    
22. Disallow: /submit
    
23. Disallow: /upload
    
24. Disallow: /cashier/
    
25. 
    
26. User-agent: 有道爬虫
    
27. Disallow: /search?
    
28. Disallow: /submit
    
29. Disallow: /upload
    
30. Disallow: /cashier/
    
31. 
    
32. User-agent: 搜狗网页爬虫
    
33. Disallow: /search?
    
34. Disallow: /submit
    
35. Disallow: /upload
    
36. Disallow: /cashier/
    
37. 
    
38. User-agent: 搜狗ai爬虫
    
39. Disallow: /search?
    
40. Disallow: /submit
    
41. Disallow: /upload
    
42. Disallow: /cashier/
    
43. 
    
44. User-agent: 搜狗爬虫2
    
45. Disallow: /search?
    
46. Disallow: /submit
    
47. Disallow: /upload
    
48. Disallow: /cashier/
    
49. 
    
50. User-agent: 搜狗博客爬虫
    
51. Disallow: /search?
    
52. Disallow: /submit
    
53. Disallow: /upload
    
54. Disallow: /cashier/
    
55. 
    
56. User-agent: 搜狗新闻爬虫
    
57. Disallow: /search?
    
58. Disallow: /submit
    
59. Disallow: /upload
    
60. Disallow: /cashier/
    
61. 
    
62. User-agent: 搜狗网络在线信息检索爬虫
    
63. Disallow: /search?
    
64. Disallow: /submit
    
65. Disallow: /upload
    
66. Disallow: /cashier/
    
67. 
    
68. User-agent: 中国搜索爬虫
    
69. Disallow: /search?
    
70. Disallow: /submit
    
71. Disallow: /upload
    
72. Disallow: /cashier/
    
73. 
    
74. User-agent: 搜搜爬虫
    
75. Disallow: /search?
    
76. Disallow: /submit
    
77. Disallow: /upload
    
78. Disallow: /cashier/
    
79. 
    
80. 
    
81. User-agent: 神马搜索爬虫（？？）
    
82. Disallow: /search?
    
83. Disallow: /submit
    
84. Disallow: /upload
    
85. Disallow: /cashier/
    
86. Request-rate: 30/1 # load 30 page per 1 seconds
    
87. Crawl-delay: 10
    
88. 
    
89. User-agent: 宜搜爬虫
    
90. Disallow: /search?
    
91. Disallow: /submit
    
92. Disallow: /upload
    
93. Disallow: /cashier/
    
94. 
    
95. User-agent: 头条爬虫
    
96. Disallow: /
    
97. 
    
98. User-agent: 其他用户
    
99. Disallow: /

复制代码

伏惜寒

陈尚涵 发表于 2020-8-9 08:48
看来这个网站反爬很厉害

爬的网址是百度文库的

aaron.yang

被反爬了？建议不要爬百度

伏惜寒

aaron.yang 发表于 2020-8-9 09:35
被反爬了？建议不要爬百度

啊，这，不是吧，那么厉害的吗

伏惜寒

bangbang-ande 发表于 2020-8-9 09:30
百度一般不让别人去爬，爬了有可能会被封ip
以后要爬可以加robots.txt

怎么查robots.txt，今天才第二次玩爬虫不懂这些

bangbang-ande

伏惜寒 发表于 2020-8-9 09:48
怎么查robots.txt，今天才第二次玩爬虫不懂这些

这个等审核完就知道了。。。

bangbang-ande

伏惜寒 发表于 2020-8-9 09:48
怎么查robots.txt，今天才第二次玩爬虫不懂这些

百度一般不能爬，可以爬的就可能只有百度指数一个了。。。

bangbang-ande

伏惜寒 发表于 2020-8-9 09:48
怎么查robots.txt，今天才第二次玩爬虫不懂这些

先给个链接：https://www.bilibili.com/video/BV1o7411q7za?p=4，你看看，比较可靠

伏惜寒

bangbang-ande 发表于 2020-8-9 09:53
百度一般不能爬，可以爬的就可能只有百度指数一个了。。。

我是看别人爬到了，我才来试一试的

xhs.get

robots协议只是提倡。如果你没有高频的请求看上去像是攻击一样就没事的对个人而言。我觉得你的这个问题应该就是直接浏览器的问题。我用selenium库爬百度文库没问题的。
还有啊百度文库你这样爬的话应该的爬不到你想要的内容的有个异步加载。