【没什么暖用的爬虫】爬取秀人网

hello?

这种爬取图片的爬虫相信大家见过很多，网上一大片，这个爬虫就是存粹练手的 ，没什么用处，大家看看就行，支持一下新手
第一次自己动手写爬虫程序，没学正则表达式和xpath，用的美丽汤，代码我自己都看着不爽

简单介绍：就纯粹爬取图片的程序，支持翻页。
代码：

1. import requests
   
2. import urllib.request as u
   
3. import random
   
4. import os
   
5. import easygui as g
   
6. from bs4 import BeautifulSoup as Be
   
7. 
   
8. #代理ip,opener
   
9. #选择ip,大家这里可以去网上找其他的来添加或替换
   
10. ip=['101.200.127.149:3129','58.20.184.187:9091',\
    
11.     '58.20.184.187:9091','183.247.211.156:30001']
    
12. ip_=random.choice(ip)
    
13. #创建opener
    
14. proxy=u.ProxyHandler({'http':ip_})
    
15. opener=u.build_opener(proxy)
    
16. u.install_opener(opener)
    
17. #创建header
    
18. cookie="Hm_lvt_1060da23a20238049f3e377d46f7e478=1659877599,1659878742,1659879750,1659881285; wordpress_test_cookie=WP+C\
    
19. ookie+check; wordpress_logged_in_5e2cce81a5cb57f53e7a18f30edb5d19=SabcdA%7C1660227358%7COXd1geMvZGlSUSNWmLzSOkWwgHgBn08Q\
    
20. HsN6d8GHTJX%7C4ad51d29c9079db9fb51437058bc588ff447ff4feeafab407674fdca82ffbd71; Hm_lpvt_1060da23a20238049f3e377d46f7e478=1660059440"
    
21. headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 \
    
22. (KHTML, like Gecko) Chrome/103.0.5060.134 Safari/537.36 Edg/103.0.1264.77"
    
23.          ,"cookie":cookie}
    
24. url_base='https://www.xiurenwang.cc/bang/'#这个网址是秀人网的主页面，翻页时候要用到
    
25. url_true='https://www.xiurenwang.cc/'#这个网址是拼接图集网址时用到的
    
26. #开始
    
27. hou=[]#储存图集地址要和'https://www.xiurenwang.cc/'进行拼接
    
28. url_xo=[]#用于储存图集地址的
    
29. photo_url=[]#用于储存每个图集中每个图片的地址
    
30. def get_hou():
    
31.     #常规操作，定制soup
    
32.     response=requests.get(url_base,headers=headers)
    
33.     content=response.content.decode('utf-8')#格式uff-8
    
34.     soup=Be(content,'lxml')
    
35.     #寻找标签
    
36.     a_list=soup.find_all("a",class_="img")
    
37.     #存放标签内容
    
38.     #这个标签内容就是每个图集地址，需要拼接
    
39.     for each in a_list:
    
40.         hou.append(each['href'])
    
41. 
    
42. def save_url_xo():
    
43.     #这个函数用于拼接，其实两个函数可以合二为一，我也不知道当时自己为什么要这么做
    
44.     for each in hou:
    
45.         url_1=url_true+each[1:]
    
46.         url_xo.append(url_1)#将每个图集的地址拼接好后存放在url_xo里
    
47. 
    
48. def get_xxoo(url_xo_):#url_xo_指的是url_xo里的每个元素(见下面代码中while里的for循环)
    
49.     #url_xo存放的是每个图集的地址
    
50.    
    
51.     #常规操作,soup
    
52.     response=requests.get(url_xo_,headers=headers)
    
53.     content=response.content.decode('utf-8')
    
54.     soup=Be(content,'lxml')
    
55.     #这是个重点，要获取子标签，因为子标签名字是a,然而网页源代码里名字为a的有很多
    
56.     #需要获取的就是这个标签下的a标签
    
57.     d_list=soup.find("div",id="image").children
    
58.     #下面3句是为了去掉列表开头没用的元素
    
59.     t_list=list(d_list)
    
60.     end=len(t_list)
    
61.     t_list=t_list[1:end-1]
    
62. 
    
63.     for each in t_list:
    
64.         href=each['href']
    
65.         photo_url.append(href)
    
66.     #这个for循环是将t_list里标签的href属性值提取出来并存入photo_url
    
67.     #这个属性值就是每张图片的地址
    
68.     len_ph=len(photo_url)
    
69.     down_index=1
    
70.     #这两句就是为后面print进度做的
    
71.     name=0 #这个是为了取图片名字用的，还有i也是，i就是下面代码while里的for循环里的
    
72.     for each in photo_url:
    
73.         xxoo=requests.get(each).content
    
74.         #这里也很关键，由于每张图片地址里面都有中文，所以用.comtent需要转换格式
    
75.         name_jpg=file+'\\'+str(i)+'.'+str(name)+'.jpg'
    
76.         with open(name_jpg,'wb')as f:
    
77.             f.write(xxoo)
    
78.             print(f"{name_jpg}已下载,进度：{down_index}/{len_ph}")
    
79.         name+=1
    
80.         down_index+=1
    
81.         #这里的两个变量其实重复了，多此亿举，写注释才发现
    
82. 
    
83. 
    
84. 
    
85. #下面的没什么好说的
    
86. #就是url_base和url_true两个网址的区别，你去看了秀人网就知道了【手动狗头】
    
87. while True:
    
88.     page=1
    
89.     inp=input(f"是否下载第{page}页图片？(Y/N):")
    
90.     if page!=1:
    
91.         url_base='https://www.xiurenwang.cc/bang/'+'page/'+str(page)
    
92. 
    
93.     if inp=="Y":
    
94.         file=g.filesavebox(msg="选择文件夹",title="另存为")
    
95.         os.mkdir(file)
    
96.         get_hou()
    
97.         save_url_xo()
    
98.         for i in range(len(url_xo)):
    
99.             photo_url=[]
    
100.             get_xxoo(url_xo[i])
     
101.     else:
     
102.         break
     
103.     page+=1
     
104.         
     
105.             
     
106.         

复制代码

欢迎大佬萌提建议
顺便谢谢大佬萌一直以来对我的帮助

theS

大佬练手的网站真不错

Py与C。。。

注释写的很详细哦，加油

一点点儿

支持支持

cancry

超级厉害啊，你python已经很强啦

xruiy

厉害~ 顶

鬼M^I心窍

大佬写的很详细哦，谢谢你

hello?

theS 发表于 2022-8-11 09:17
大佬练手的网站真不错

hello?

Py与C。。。 发表于 2022-8-11 10:39
注释写的很详细哦，加油

一起加油

hello?

一点点儿 发表于 2022-8-11 13:04
支持支持

hello?

cancry 发表于 2022-8-11 14:46
超级厉害啊，你python已经很强啦

谢谢夸奖，一起加油

hello?

鬼M^I心窍 发表于 2022-8-11 15:06
大佬写的很详细哦，谢谢你

不谢，有建议可以提，看不太懂的问就行

鬼M^I心窍

看视频看着看着又睡着了

其实初衷我是想混个鱼币的，毕竟五个不是个小数目
但一看今天我凑够十个了，不用了

hornwong

感谢分享1

人形决战兵器

tommyyu

感谢分享！

取昵称好难哟

人形决战兵器

很强

jamgfc

大佬 我这里试着用你这个跑他报错，这个是咋回事啊
Traceback (most recent call last):
  File "C:/Users/炸炸/AppData/Local/Programs/Python/Python310/xiuren.py", line 5, in <module>
    import easygui as g
ModuleNotFoundError: No module named 'easygui'