爬虫遇到了问题

chunguang

有没有大神，帮我看看这哪错了，这是爬取头条美图

1. import requests
   
2. import json
   
3. import re
   
4. import os
   
5. from urllib.parse import urlencode
   
6. from requests.exceptions import RequestException
   
7. from bs4 import BeautifulSoup
   
8. from hashlib import md5
   
9. 
   
10. def get_page_index(offset,keyword):
    
11.     data={
    
12.         'offset':offset,
    
13.         'format': 'json',
    
14.         'keyword': keyword,
    
15.         'autoload': 'true',
    
16.         'count': 20,
    
17.         'cur_tab': 1,
    
18.         'from':'search_tab'
    
19.     }#字典的形式
    
20.     url='https://www.toutiao.com/search_content/?'+urlencode(data)#把字典对象转化为URL请求参数
    
21.     headers = {
    
22.         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    
23.     }
    
24.     try:
    
25.         response=requests.get(url,headers=headers)
    
26.         if response.status_code==200:
    
27.             return response.text
    
28.         return None
    
29.     except RequestException:
    
30.         print('请求索引页错误')
    
31.         return None
    
32. 
    
33. def parse_page_index(html):
    
34.     data=json.loads(html)
    
35.     if data and 'data' in data.keys():#键值名
    
36.         for item in data.get('data'):
    
37.             yield item.get('article_url')#提取article_url的信息
    
38. 
    
39. def get_page_detail(url):
    
40.     headers = {
    
41.         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    
42.     }
    
43.     try:
    
44.         response=requests.get(url,headers=headers)
    
45.         if response.status_code==200:
    
46.             return response.text
    
47.         return None
    
48.     except RequestException:
    
49.         print('请求索引页错误')
    
50.         return None
    
51. 
    
52. def parse_page_detail(html,url):
    
53.     soup=BeautifulSoup(html,'lxml')
    
54.     title=soup.select('title')[0].get_text()
    
55.     images_pattern=re.compile('gallery: JSON.parse\("(.*?)"\)',re.S)
    
56.     result=re.search(images_pattern,html)
    
57.     if result:
    
58.         data=json.loads(result.group(1).replace('\\',''))
    
59.         if data and 'sub_images' in data.keys():
    
60.             sub_images=data.get('sub_images')
    
61.             images=[item.get('url') for item in sub_images]
    
62.             return{
    
63.                 'title':title,
    
64.                 'url':url,
    
65.                 'images':images
    
66.             }
    
67. 
    
68. 
    
69. def main():
    
70.     html=get_page_index(0,'街拍')
    
71.     for url in parse_page_index(html):
    
72.         html=get_page_detail(url)
    
73.         if html:
    
74.             result=parse_page_detail(html,url)
    
75.             print(result)
    
76. 
    
77. if __name__=='__main__':
    
78.     main()
    
79. 
    

复制代码

错误是   IndexError: list index out of range

无符号整形

是不是没有爬到？

chunguang

无符号整形 发表于 2018-8-7 15:58
是不是没有爬到？

对，那我该怎么办

无符号整形

chunguang 发表于 2018-8-7 17:25
对，那我该怎么办

正则表达式用问题

chunguang

无符号整形 发表于 2018-8-7 17:27
正则表达式用问题

不是，我试了一下，老出现这样的问题：
Traceback (most recent call last):
  File "C:/Users/lenovo/Desktop/WeiboList-master/jiebai.py", line 110, in <module>
    main(offset=i*20)
  File "C:/Users/lenovo/Desktop/WeiboList-master/jiebai.py", line 103, in main
    result=parse_page_detail(html,url)
  File "C:/Users/lenovo/Desktop/WeiboList-master/jiebai.py", line 55, in parse_page_detail
    title=soup.select('title')[0].get_text()
IndexError: list index out of range