python爬虫问题

18503082940

爬取21张图片只有第一张是正确爬取的，其他的爬出来都不是图片，把那些错误的图片改成html格式显示： 安全平台检测到您当前的访问行为存在异常，请稍后重试...
源码：
import requests
from bs4 import BeautifulSoup

domain = "https://www.keaidian.com"
"""
注意，
    子页面url如果开头是/,直接在前面拼上域名即可
    子页面的url不是/开头,此时需要找到主页面url,吧最后一个/后面的东西删掉进行拼接即可
"""
url = "https://www.keaidian.com/gexingtouxiang/6426.html"

resp = requests.get(url)
resp.encoding = 'UTF-8'
n = 1  # 图片名称

main_page = BeautifulSoup(resp.text, "html.parser")
a_list = main_page.findAll("a", attrs={"class": "swipebox"})
# print(len(a_list))


for a in a_list:
    href = a.get("href")
    # print(href)
    child_href = domain + a.get("href")
    # print(child_href)
    # print(href)
    # 下载图片
    img_scr = requests.get(child_href)
    with open(f"D:/pythonxue/text/tupian/{n}.jpg", "wb") as f:   # 注意：w是写入文件，需要写成wb
        f.write(img_scr.content)
    print(f"图片{n}下载完毕")
    n += 1

isdkz

网站应该有反爬机制来防止爬虫抓取，因此您收到了这个提示：“安全平台检测到您当前的访问行为存在异常，请稍后重试...”。

为了解决这个问题，你可以尝试使用User-Agent伪装成一个正常的浏览器访问网站。

同时，你可以使用time.sleep()函数在每次请求之间添加一些延迟以降低爬虫被检测的风险。以下是修改后的代码：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import time
   
4. 
   
5. domain = "https://www.keaidian.com"
   
6. url = "https://www.keaidian.com/gexingtouxiang/6426.html"
   
7. 
   
8. headers = {
   
9.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
   
10. }
    
11. resp = requests.get(url, headers=headers)
    
12. resp.encoding = 'UTF-8'
    
13. n = 1
    
14. 
    
15. main_page = BeautifulSoup(resp.text, "html.parser")
    
16. a_list = main_page.findAll("a", attrs={"class": "swipebox"})
    
17. 
    
18. for a in a_list:
    
19.     href = a.get("href")
    
20.     child_href = domain + a.get("href")
    
21.     img_scr = requests.get(child_href, headers=headers)
    
22.     with open(f"D:/pythonxue/text/tupian/{n}.jpg", "wb") as f:
    
23.         f.write(img_scr.content)
    
24.     print(f"图片{n}下载完毕")
    
25.     n += 1
    
26.     time.sleep(1)  # 增加延迟，可以适当调整这个值

复制代码

这个代码的主要改动是添加了一个名为headers的字典，其中包含一个User-Agent字符串。

然后在requests.get()函数中添加了headers=headers参数，以将其作为请求头发送。

注意：即使使用了这种方法，仍然存在被检测到的风险。请确保遵守网站的爬虫政策，并在合法的范围内爬取数据。

18503082940

已解决，在headers加上防盗链就行了
源码：
import requests
from bs4 import BeautifulSoup
import time

domain = "https://www.keaidian.com"
url = "https://www.keaidian.com/gexingtouxiang/6426.html"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    #设置防盗链
    "Referer": "https://www.keaidian.com/gexingtouxiang/6426.html"
}
resp = requests.get(url, headers=headers)
resp.encoding = 'UTF-8'
n = 1

main_page = BeautifulSoup(resp.text, "html.parser")
a_list = main_page.findAll("a", attrs={"class": "swipebox"})

for a in a_list:
    href = a.get("href")
    child_href = domain + a.get("href")
    img_scr = requests.get(child_href, headers=headers)
    with open(f"D:/pythonxue/text/tupian/{n}.jpg", "wb") as f:
        f.write(img_scr.content)
    print(f"图片{n}下载完毕")
    n += 1
    time.sleep(10)  # 增加延迟，可以适当调整这个值

workhappymm

可以模拟登入淘宝码？

18503082940

workhappymm 发表于 2023-3-17 16:20
可以模拟登入淘宝码？

我是初学者，这个应该是cookie相关的