Python爬虫

混沌未开

看着小甲鱼的视频学着爬妹子图
但是远程主机关闭。。。。
怎么解决这样的问题啊？
谢谢大佬
代码如下

1. import urllib.request
   
2. import os
   
3. 
   
4. 
   
5. def url_open(url):
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.90 Safari/537.36 2345Explorer/9.3.2.17331')
   
8.     response = urllib.request.urlopen(url)
   
9.     html = response.read()
   
10.     return html
    
11. 
    
12. 
    
13. def get_page():        #获取页面网址            
    
14.     url = 'http://www.mmjpg.com/mm/240'
    
15. 
    
16.     page_addrs = []
    
17. 
    
18.     for i in range(1,20):
    
19.         page_url = url + '/' + str(i)
    
20.         page_addrs.append(page_url)
    
21.         
    
22.     return page_addrs
    
23. 
    
24. def find_img(url):
    
25.     html = url_open(url).decode('utf-8')   #html获取没有问题
    
26.    
    
27.    
    
28. 
    
29.     a = html.find('img src=')
    
30.     b = html.find('.jpg',a)
    
31.    
    
32.     print(html[a + 9:b + 4])
    
33.     return html[a + 9:b + 4]
    
34.       
    
35.    
    
36. 
    
37. def save_img(folder,img_addrs):
    
38.     file_name = img_addrs.split('/')[-1]
    
39.     with open(file_name,'wb') as f:
    
40.         img = url_open(img_addrs)
    
41.         f.write(img)
    
42. 
    
43. 
    
44. def download_mm(folder = 'OOXX',pages = 10):
    
45.     os.chdir(folder)
    
46. 
    
47.     page_url = []                          #初始化页面地址列表
    
48.    
    
49.     page_url = get_page()                  #获取页面地址
    
50.     for each in page_url:        
    
51.         img_addrs = find_img(each)     #找到图片的地址
    
52.         save_img(folder,img_addrs)         #保存图片的地址到指定文件夹
    
53.         
    
54. 
    
55. if __name__ == '__main__':
    
56.     download_mm()

复制代码

会出现这样的错误

无符号整形

看5楼

混沌未开

没爬煎蛋，爬的妹子图

混沌未开

无符号整形 发表于 2018-8-20 11:16
煎蛋反爬了，参考
https://fishc.com.cn/forum.php?mod=viewthread&tid=118887&highlight=%BC%E5%B5%B0

爬的妹子图

无符号整形

混沌未开 发表于 2018-8-20 11:29
爬的妹子图

好吧……我看错了……

混沌未开

无符号整形 发表于 2018-8-20 11:32
好吧……我看错了……

刚学爬虫，我尝试着啃了一下那个代码
我啃不动。。。。。。。

无符号整形

混沌未开 发表于 2018-8-20 11:52
刚学爬虫，我尝试着啃了一下那个代码
我啃不动。。。。。。。

算了，听说mmjpg很色的
我还是不帮你踩点了……

混沌未开

无符号整形 发表于 2018-8-20 11:52
算了，听说mmjpg很色的
我还是不帮你踩点了……

额
那换个网站？。。。。。
我只是想找个网站练练手

无符号整形

混沌未开 发表于 2018-8-20 11:57
额
那换个网站？。。。。。
我只是想找个网站练练手

嗯嗯……注意身体，别肾虚了。。。。。。。。

塔利班

百度贴吧还是挺好爬的