[已解决](分析Ajax请求并抓取今日头条街拍美图)

梦想一事无成

1. import requests
   
2. from urllib.parse import urlencode
   
3. from requests.exceptions import RequestException
   
4. import json
   
5. from bs4 import BeautifulSoup
   
6. import re
   
7. from hashlib import md5
   
8. import os
   
9. 
   
10. def get_page_index(offset,keyword):
    
11.     data = {
    
12.         'offset':offset,
    
13.         'format':'json',
    
14.         'keyword':keyword,
    
15.         'autoload':'true',
    
16.         'count':'20',
    
17.         'cur_tab':'3'
    
18.         }
    
19.     url = 'http://www.toutiao.com/search_content/?'+urlencode(data)
    
20.     headers = {
    
21.         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    
22.     }
    
23.     try:
    
24.         response = requests.get(url,headers=headers)
    
25.         if response.status_code == 200:
    
26.             return response.text
    
27.         return None
    
28.     except RequestException:
    
29.         print('请求索引出错')
    
30.         return None
    
31. 
    
32. def parse_page_index(html):
    
33.     data = json.loads(html)
    
34.     if data and 'data' in data.keys():
    
35.         for item in data.get('data'):
    
36.             yield item.get('article_url')
    
37.             
    
38. 
    
39. def get_page_detail(url):
    
40.     try:
    
41.         response = requests.get(url)
    
42.         if response.status_code == 200:
    
43.             return response.text
    
44.         return None
    
45.     except RequestException:
    
46.         print('请求详情页出错',url)
    
47.         return None
    
48.    
    
49. def parse_page_detail(html,url):
    
50.     soup = BeautifulSoup(html,'lxml')
    
51.     title = soup.select('title')[0].get_text()
    
52.     print(title)
    
53.     images_pattern = re.compile('gallery: (.*?),\n    siblingList',re.S)
    
54.     result = re.search(images_pattern,html)
    
55.     if result:
    
56.         data = json.loads(result.group(1))
    
57.         if data and 'sub_images' in data.keys():
    
58.             sub_images = data.get('sub_images')
    
59.             images = [item.get('url')for item in sub_images]
    
60.             for image in images:download_image(image)
    
61.             return{
    
62.                 'title':title,
    
63.                 'url': url,
    
64.                 'images':images
    
65.                 }
    
66. def download_image(url):
    
67.     try:
    
68.         response = requests.get(url)
    
69.         if response.status_code == 200:
    
70.             save_image(response.content)
    
71.             return None
    
72.     except RequestException:  
    
73.         print('请求图片出错',url)
    
74.         return None
    
75.         
    
76. def save_image(content):
    
77.     file_path = '{0}/{1}.{2}'.format('C:\Python34',md5(content).hexdigest(),'jpg')
    
78.     if not os.path.exists(file_path):
    
79.         with open(file_path,'wb') as f:
    
80.             f.write(content)
    
81.             f.close()
    
82.    
    
83.    
    
84. 
    
85. def main():
    
86.     html = get_page_index(0,'街拍')
    
87.     for url in parse_page_index(html):
    
88.         print(url)
    
89.         html = get_page_detail(url)
    
90.         if html:
    
91.             result = parse_page_detail(html,url)
    
92.         
    
93.         
    
94. if __name__ == '__main__':
    
95.     main()
    

复制代码

为什么到下载图片的时候就报错，哪位大佬帮我开导开导

最佳答案

月排行榜 / 总排行榜

gopythoner

2017-11-3 00:52:23

都说了让单个的测试你的函数了

这样测试一下不就知道哪个函数出错了么

1. def download_image(url):
   
2.     try:
   
3.         response = requests.get(url)
   
4.         if response.status_code == 200:
   
5.             print('get')
   
6.     except RequestException:
   
7.         print('请求图片出错',url)
   
8.         return None
   
9. 
   
10. if __name__ == '__main__':
    
11.     download_image('//p3.pstatp.com/origin/3c7c0001ed84f784045c')
    
12.     download_image('http://p3.pstatp.com/origin/3c7c0001ed84f784045c')

复制代码

测试结果

1. 请求图片出错 //p3.pstatp.com/origin/3c7c0001ed84f784045c
   
2. get

复制代码

能看出你错误的原因么

跳转到最佳答案楼层

SixPy

file_path = '{0}/{1}.{2}'.format('C:\Python34',md5(content).hexdigest(),'jpg')

gopythoner

你报错都不发，怎么查？
还有，你要是想知道哪个地方出了问题，你直接单独查每个函数的输出是不是正常不就能知道具体哪个地方出了问题

梦想一事无成

SixPy 发表于 2017-10-31 21:40
file_path = '{0}/{1}.{2}'.format('C:\Python34',md5(content).hexdigest(),'jpg')

是这里的保存路径出错了么

梦想一事无成

gopythoner 发表于 2017-11-1 11:15
你报错都不发，怎么查？
还有，你要是想知道哪个地方出了问题，你直接单独查每个函数的输出是不是正常不就 ...

就是这样 ，是不是我的保存路径出错了

gopythoner

梦想一事无成 发表于 2017-11-2 10:43
就是这样 ，是不是我的保存路径出错了

你复制一个图片地址，放到浏览器中，看看能打开么？
如果不能，那你找的链接是错误的，或者说，链接不完整，需要构造完整
如果能，但是你请求不是200，那有可能是图片有防盗链，需要在请求头中加入更多的信息，不单纯是user-agent这种
一般请求图片都需要考虑防盗链这个问题

梦想一事无成

gopythoner 发表于 2017-11-2 11:49
你复制一个图片地址，放到浏览器中，看看能打开么？
如果不能，那你找的链接是错误的，或者说，链接不完 ...

//p3.pstatp.com/origin/3c7c0001ed84f784045c
我随便点开一个链接可以浏览器上点开，但是好像url缺少了http：
这里不我的状态码应该是200 ，不然就返回的应该是None
麻烦请把我运行下代码帮我调试下可以嘛

gopythoner

都说了让单个的测试你的函数了

这样测试一下不就知道哪个函数出错了么

1. def download_image(url):
   
2.     try:
   
3.         response = requests.get(url)
   
4.         if response.status_code == 200:
   
5.             print('get')
   
6.     except RequestException:
   
7.         print('请求图片出错',url)
   
8.         return None
   
9. 
   
10. if __name__ == '__main__':
    
11.     download_image('//p3.pstatp.com/origin/3c7c0001ed84f784045c')
    
12.     download_image('http://p3.pstatp.com/origin/3c7c0001ed84f784045c')

复制代码

测试结果

1. 请求图片出错 //p3.pstatp.com/origin/3c7c0001ed84f784045c
   
2. get

复制代码

能看出你错误的原因么