[已解决]视频课 057 爬取煎蛋上的图片

蛋疼的烤鸭

1. import urllib.request
   
2. import os
   
3. 
   
4. def open_imgs(url):
   
5.     #打开网页并转换成unicode编码
   
6.     request = urllib.request.Request(url)
   
7.     request.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36')
   
8.     response = urllib.request.urlopen(url)
   
9.     html = response.read()
   
10.     print(url)
    
11.     return html
    
12.    
    
13. def get_pages(url):
    
14.     html= open_imgs(url).decode('utf-8')
    
15.     #开始查找位置元素
    
16.     a = html.find("current-comment-page")+ 23
    
17.     b = html.find("]",a)
    
18.     return (html[a:b])
    
19.    
    
20. def find_imgs(url):
    
21.     html= open_imgs(url).decode('utf-8')
    
22.     imgs_list = []
    
23.     a = html.find("img src=")
    
24.     while a != -1:
    
25.         b = html.find('.jpg',a,a+255)
    
26.         if b!= -1:
    
27.             imgs_list.append(html[a:b+4])
    
28.         else:
    
29.             b = a + 9
    
30.         a = html.find("img src=",b)
    
31.     for each in imgs_list:
    
32.         print(each)
    
33.    
    
34. 
    
35. def save_imgs(folder,imgs_addrs):
    
36.     pass
    
37. 
    
38. def download(folder='xxoo',pages=10):
    
39.     os.mkdir(folder)
    
40.     os.chdir(folder)
    
41.     url = 'http://jandan.net/ooxx/'
    
42.     pages_num = int(get_pages(url))
    
43.    
    
44.     for each in range(pages_num):
    
45.         pages_num -= 1
    
46.         imgs_url = url + 'page-' + str(pages_num) + '#comments'
    
47.         imgs_addrs = find_imgs(imgs_url)
    
48.         save_imgs(folder,imgs_addrs)
    
49. 
    
50. if __name__ =='__main__':
    
51.     download()
    

复制代码

save的函数还没写,程序也可以运行,  但是我发现在find函数中 爬出来的并不是图片的链接,而是一些其他的东西, 并且从get函数返回的位置元素,到给find函数的地址应该都没问题 所以,我就在find函数里面找错误
我把find函数给修改成了

1. def find_imgs(url):
   
2.     html= open_imgs(url).decode('utf-8')
   
3.     imgs_list = []
   
4.     a = html.find("img src=")
   
5.     print(a)
   
6.     b = html.find('.jpg',a,a+255)
   
7.     print(b)
   
8.     imgs_list.append(html[a+9:b+4])
   
9.     print(imgs_list)

复制代码

发现在find函数中  a里面的 img src可以索引到并且返回索引值,但是b的索引值是-1, 可是明明在审查中就可以看到.jpg存在. 不知道是因为什么索引不到.jpg .
看了一大会也没看懂, 特地来请教

最佳答案

月排行榜 / 总排行榜

wongyusing

2018-12-23 19:32:24

蛋疼的烤鸭 发表于 2018-12-23 19:20
ctrl+u的话我就不知道哪个是图片的链接了,  我用的是审查看到图片对应的是

爬虫只能看到这些乱码。它看不到图片链接。
要通过js解码才能看到真实链接。

跳转到最佳答案楼层

wongyusing

煎蛋网反爬了。这样的代码爬不了的

wongyusing

你右键查看网页源代码就可以看到图片的链接是一堆乱码

蛋疼的烤鸭

wongyusing 发表于 2018-12-23 17:35
你右键查看网页源代码就可以看到图片的链接是一堆乱码

没办法发截图,但是我现在看到的还是新浪的链接啊, 然后复制一下还是能打开图片的

wongyusing

蛋疼的烤鸭 发表于 2018-12-23 18:25
没办法发截图,但是我现在看到的还是新浪的链接啊, 然后复制一下还是能打开图片的

你在煎蛋网的页面，按下Ctrl + U
看一下里面有图片链接吗？？？？

蛋疼的烤鸭

wongyusing 发表于 2018-12-23 18:27
你在煎蛋网的页面，按下Ctrl + U
看一下里面有图片链接吗？？？？

ctrl+u的话我就不知道哪个是图片的链接了,  我用的是审查看到图片对应的是<img src="http://wx2.sinaimg.cn/mw600/a18cad6cgy1fygubu39csj20u00v7q59.jpg" style="max-width: 480px; max-height: 750px;">

wongyusing

蛋疼的烤鸭 发表于 2018-12-23 19:20
ctrl+u的话我就不知道哪个是图片的链接了,  我用的是审查看到图片对应的是

爬虫只能看到这些乱码。它看不到图片链接。
要通过js解码才能看到真实链接。

Diuyon

现在都是这样了<div class="text"><span class="righttext"><a href="//jandan.net/ooxx/page-50#comment-4079926">4079926</a></span><p><img src="//img.jandan.net/img/blank.gif" onload="jandan_load_img(this)" /><span class="img-hash">Ly93eDEuc2luYWltZy5jbi9tdzYwMC9kZjg3ZjNjOWx5MWZ5bDVkcWpqeG1qMjB1MDE0MGIyYS5qcGc=</span></p>
爬不了