爬虫求助

wk012233

https://baijiahao.baidu.com/s?id=1765736748275541689

像这种百家号的文章图片怎么爬取

isdkz

您好，想要爬取这种类型的文章图片，可以使用Python的第三方库requests和BeautifulSoup来实现。具体步骤如下：

1. 使用requests库获取网页内容：

1. import requests
   
2. 
   
3. url = 'https://baijiahao.baidu.com/s?id=1765736748275541689'
   
4. response = requests.get(url)
   
5. html = response.text
   

复制代码

2. 使用BeautifulSoup库解析网页内容，并获取图片链接：

1. from bs4 import BeautifulSoup
   
2. 
   
3. soup = BeautifulSoup(html, 'html.parser')
   
4. img_tags = soup.find_all('img')
   
5. 
   
6. img_urls = []
   
7. for img in img_tags:
   
8.     img_url = img.get('src')
   
9.     img_urls.append(img_url)
   

复制代码

3. 下载图片：

1. import os
   
2. 
   
3. save_folder = 'images'
   
4. if not os.path.exists(save_folder):
   
5.     os.makedirs(save_folder)
   
6. 
   
7. for img_url in img_urls:
   
8.     img_name = img_url.split('/')[-1]
   
9.     img_path = os.path.join(save_folder, img_name)
   
10. 
    
11.     with open(img_path, 'wb') as f:
    
12.         img_data = requests.get(img_url).content
    
13.         f.write(img_data)
    

复制代码

以上是一个简单的爬虫实现过程，但需要注意的是，爬取他人网站内容需要获得对方的授权，否则可能会侵犯对方的知识产权。