[已解决]兴趣乃学习的动力，爬虫求请教。第一次个人爬虫，写的很难看，emm

Stubborn

这样写，能不能爬取到图片，哪里错了，请指点，麻烦了~~您未获授权,无法查看此网页. 403   

1. #_*_coding:utf-8
   
2. import requests,bs4,os
   
3. from fake_useragent import UserAgent
   
4. ua = UserAgent()
   
5. os.makedirs(r'G:\down',exist_ok='Ture')
   
6. os.chdir(r'G:\down')
   
7. 
   
8. def get_url(url):
   
9.     "请求网页函数，模拟请求头"
   
10.     headers ={
    
11.         'User-Agent': ua.random
    
12.         }
    
13.     page_data = requests.get(url,headers=headers)
    
14.     soup_data = bs4.BeautifulSoup(page_data.text,'html.parser')
    
15.     img_link = soup_data.find_all("span")
    
16.     return img_link
    
17. 
    
18. def get_Atlas_dict(img_link):
    
19.     "获取到页面的图集URL和图集介绍"
    
20.     Atlas_dict = dict()
    
21.     try:
    
22.         for i in img_link:
    
23.             if i.a == None:
    
24.                 pass
    
25.             else:
    
26.                 #题取出图集的名字和url,因为第一页有总网址，这个得删下，技术不足
    
27.                 if i.a.text == "妹子图":
    
28.                     pass
    
29.                 else:
    
30.                     Atlas_dict[i.a["href"]]= i.a.text
    
31.     except:
    
32.         pass
    
33.     return Atlas_dict
    
34. 
    
35. def get_Atls_jpg(img_link):
    
36.     "返回每个图片的url列表"
    
37.     Number_of_pages = []
    
38.     atls_jpg_uri = [] #存放每个图片的rul
    
39.     for i in img_link:
    
40.         #获取到图集张数
    
41.         try:
    
42.             ss = int(i.text)
    
43.             Number_of_pages.append(ss)
    
44.         except:
    
45.             pass
    
46.         #获取到图集张数，捕捉每个图片的url
    
47.     for each in range(1,max(Number_of_pages)):
    
48.             url = "https://www.mzitu.com/164996"+"/"+str(each)
    
49.             page_data = requests.get(url)
    
50.             soup_data = bs4.BeautifulSoup(page_data.text, 'html.parser')
    
51.             img_link = soup_data.find_all("div",class_="main-image")
    
52.             for i in img_link:
    
53.                 #<a href="https://www.mzitu.com/164996/2"><img alt="可爱眼镜娘Miko酱酒店开房激情阵阵 姿势撩人让人想入非非" height="1050" src="https://i.meizitu.net/2018/12/28c01.jpg" width="700"/></a>
    
54.                 atls_jpg_uri.append(i.p.a.img["src"])
    
55.                
    
56.     return atls_jpg_uri
    
57. 
    
58. def get_downsload(list):
    
59.         “下载函数”
    
60.     for i in list:
    
61.         cont = 1
    
62.         response = requests.get(i)
    
63.         img = response.content
    
64.         with open( '%s.jpg'%(cont),'wb' ) as f:
    
65.             f.write(img)
    
66.             print("第%s张图片下载完成" % (cont))
    
67.             cont += 1
    
68. 
    
69. if __name__ == "__main__":
    
70.     number = int(input("输入需要下载的页数："))
    
71.     for each in range(1,number+1):
    
72.         url = "https://www.mzitu.com/page/"+str(each)+"/"
    
73.         img_link = get_url(url)  #请求网页，抓取图集URL
    
74.         Atlas_dict = get_Atlas_dict(img_link) #抓取出图集的URL与信息，介绍是键值，RUL是键
    
75.         for img_url in Atlas_dict:
    
76.             img_uri= get_url(img_url) #请求网页，抓取出图片的URL
    
77.             atls_jpg_uri_list = get_Atls_jpg(img_uri) #抓取出所有的图片的URL返回一个列表
    
78.             #设置下载目录进行下载
    
79.             dirs = r'G:\down'
    
80.             if not os.path.exists(Atlas_dict[img_url]): #介绍作为文件名
    
81.                 os.makedirs(Atlas_dict[img_url])
    
82.                 os.chdir(Atlas_dict[img_url])
    
83.                 #开始下载啦
    
84.                 print("正在下载图集：{}".format(Atlas_dict[img_url]))
    
85.                 get_downsload(img_url)

复制代码

最佳答案

月排行榜 / 总排行榜

wongyusing

2019-1-20 07:20:01

1. import requests
   
2. from bs4 import BeautifulSoup as bs
   
3. 
   
4. def get_response(url):
   
5.     header = {
   
6.         'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
   
7.         'accept-encoding': 'gzip, deflate, br',
   
8.         'accept-language': 'zh-CN,zh;q=0.9',
   
9.         'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
   
10.     }
    
11.     response = requests.get(url=url,headers=header)
    
12. 
    
13.     return response
    
14. 
    
15. def get_link(response):
    
16.     soup = bs(response.text,'lxml')
    
17.     links = soup.select('#pins li span a')
    
18.     print(len(links))
    
19.     for each in links:
    
20.         get_gril_data(each['href'])
    
21. 
    
22. def get_gril_data(url):
    
23.     response = get_response(url)
    
24.     soup = bs(response.text,'lxml')
    
25.     title = soup.select_one('.main-title').text
    
26.     category = soup.select_one('.main-meta span a').text
    
27.     img_link = soup.select_one('.main-image p a img')['src']
    
28.     max_page = int(soup.select('.pagenavi a span')[-2].text) + 1
    
29.     download_img(img_link,url)
    
30.     for each in range(2,max_page):
    
31.         if each < 10:
    
32.             img_url = f'{img_url[:-6]}0{each}'
    
33.         else:
    
34.             img_url = f'{img_url[:-6]}{each}'
    
35.         refer_url = f'{url}/{each}'
    
36.         download_img(img_url,refer_url)
    
37. 
    
38. def download_img(img_url,refer_url):
    
39.     header = {
    
40.         'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    
41.         'accept-encoding': 'gzip, deflate, br',
    
42.         'accept-language': 'zh-CN,zh;q=0.9',
    
43.         'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    
44.         'refer':refer_url
    
45.     }
    
46.     # 剩下的自己写吧，就是怎么保存的问题了
    
47. def main():
    
48.     base_url = 'https://www.mzitu.com/'
    
49.     response = get_response(base_url)
    
50.     soup = bs(response.text,'lxml')
    
51.     max_num = int(soup.select('.nav-links a')[-2].text) + 1
    
52.     get_link(response)
    
53. 
    
54. if __name__ == '__main__':
    
55.     main()
    

复制代码

剩下保存和翻页的问题了。
这个随意写的，不是很规范（因为我比较懒）

不习惯直接保存图片的写法，也就这样了

跳转到最佳答案楼层

wongyusing

1. import requests
   
2. from bs4 import BeautifulSoup as bs
   
3. 
   
4. def get_response(url):
   
5.     header = {
   
6.         'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
   
7.         'accept-encoding': 'gzip, deflate, br',
   
8.         'accept-language': 'zh-CN,zh;q=0.9',
   
9.         'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
   
10.     }
    
11.     response = requests.get(url=url,headers=header)
    
12. 
    
13.     return response
    
14. 
    
15. def get_link(response):
    
16.     soup = bs(response.text,'lxml')
    
17.     links = soup.select('#pins li span a')
    
18.     print(len(links))
    
19.     for each in links:
    
20.         get_gril_data(each['href'])
    
21. 
    
22. def get_gril_data(url):
    
23.     response = get_response(url)
    
24.     soup = bs(response.text,'lxml')
    
25.     title = soup.select_one('.main-title').text
    
26.     category = soup.select_one('.main-meta span a').text
    
27.     img_link = soup.select_one('.main-image p a img')['src']
    
28.     max_page = int(soup.select('.pagenavi a span')[-2].text) + 1
    
29.     download_img(img_link,url)
    
30.     for each in range(2,max_page):
    
31.         if each < 10:
    
32.             img_url = f'{img_url[:-6]}0{each}'
    
33.         else:
    
34.             img_url = f'{img_url[:-6]}{each}'
    
35.         refer_url = f'{url}/{each}'
    
36.         download_img(img_url,refer_url)
    
37. 
    
38. def download_img(img_url,refer_url):
    
39.     header = {
    
40.         'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    
41.         'accept-encoding': 'gzip, deflate, br',
    
42.         'accept-language': 'zh-CN,zh;q=0.9',
    
43.         'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    
44.         'refer':refer_url
    
45.     }
    
46.     # 剩下的自己写吧，就是怎么保存的问题了
    
47. def main():
    
48.     base_url = 'https://www.mzitu.com/'
    
49.     response = get_response(base_url)
    
50.     soup = bs(response.text,'lxml')
    
51.     max_num = int(soup.select('.nav-links a')[-2].text) + 1
    
52.     get_link(response)
    
53. 
    
54. if __name__ == '__main__':
    
55.     main()
    

复制代码

剩下保存和翻页的问题了。
这个随意写的，不是很规范（因为我比较懒）

不习惯直接保存图片的写法，也就这样了

Stubborn

@heidern0612 大哥，@四点好 大神~

heidern0612

Stubborn 发表于 2019-1-20 07:22
@heidern0612 大哥，@四点好 大神~

你学的太快了，我还不会爬网页，你问问塔利班大神吧。

Stubborn

heidern0612 发表于 2019-1-20 08:52
你学的太快了，我还不会爬网页，你问问塔利班大神吧。

写的很难看，还爬不到

四点好

Stubborn 发表于 2019-1-20 07:22
@heidern0612 大哥，@四点好 大神~

我也是菜鸟，我现在看看，我用的BS4，都是对照书里面的 BS（XX，‘lxml’）的，你的是(xx,'html,parser')，我现在尝试着看一下代码运行，反正原理都差不多

Stubborn

四点好 发表于 2019-1-20 23:10
我也是菜鸟，我现在看看，我用的BS4，都是对照书里面的 BS（XX，‘lxml’）的，你的是(xx,'html,parser') ...

3Q

wongyusing

你的浏览器头呢？？
妹子图那个网站请求图片还需要refer参数。
没记错的话，这个网站2018年后的url地址是需要json配合的

Stubborn

wongyusing 发表于 2019-1-20 23:40
你的浏览器头呢？？
妹子图那个网站请求图片还需要refer参数。
没记错的话，这个网站2018年后的url地址是 ...

1. def get_url(url):
   
2.     "请求网页函数，模拟请求头"
   
3.     headers ={
   
4.         'User-Agent': ua.random
   
5.         }

复制代码

headers 还要加什么参数吗？我记得你经常爬。肯定有建议
还有这里，每个图片的URL获取不到是什么原因？
图片的URL只能抓取到第一个，后面全部被拒绝403

四点好

我不懂html.parser的抓取数据原理，你有需要的话，我用BS4（XX，‘lxml’）给你改下？

wongyusing

Stubborn 发表于 2019-1-20 23:44
headers 还要加什么参数吗？我记得你经常爬。肯定有建议
还有这里，每个图片的URL获取 ...

就图片本来页面的地址啊
假如说你在

1. porksuimai.com
   
2. # 上面有个图片
   
3. # 而需要的图片链接是
   
4. api.porksuimai.com/img/1.jpg

复制代码

refer 参数就是porksuimai.com

wongyusing

iwanna 发表于 2019-1-20 23:43
有地址吗,论坛里面这个网站的爬虫挺多,有些可能过时了.还都是回复可见的,懒得一个个回复

我的没过时，只是被人举报了。
理由，过于色情

Stubborn

四点好 发表于 2019-1-20 23:46
我不懂html.parser的抓取数据原理，你有需要的话，我用BS4（XX，‘lxml’）给你改下？

不用，兴趣，你不是已经有了吗，又不是稀罕那个图片，写代码，在于成功的一刻，我擦，终于扒下来了，这种感觉~

wongyusing

iwanna 发表于 2019-1-20 23:54
有存着吗,发一下.或者你有github账号吗

刚换了电脑，在另一台电脑上才有。过完年才能发出来

Stubborn

wongyusing 发表于 2019-1-20 23:52
我的没过时，只是被人举报了。
理由，过于色情

帮我看看，图片的url只能抓到一个，后面全部被拒绝403是什么梗
图片的URL只能抓取到第一个，后面全部被拒绝403
https://fishc.com.cn/forum.php?m ... p;page=1#pid3731476

Stubborn

iwanna 发表于 2019-1-20 23:54
有存着吗,发一下.或者你有github账号吗

happy_study

很厉害，我到现在还没有一个完整的写爬虫的思路