爬虫的数据中存储到csv文件时出错

chunguang

爬的时新浪网的新闻，但存储到csv格式中出错了吗，求大神

1. import requests
   
2. import re
   
3. import json
   
4. import pandas
   
5. from requests.exceptions import RequestException
   
6. from bs4 import BeautifulSoup
   
7. 
   
8. def parse_comments_news(url):
   
9.     commentsurl='http://comment5.news.sina.com.cn/page/info?version=1&format=json&channel=gn&newsid=comos-{}&group=undefined&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=3'#尝试
   
10.     pattern=re.search('doc-i(.*?).shtml',url)
    
11.     newsid=pattern.group(1)
    
12.     headers={
    
13.              'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    
14.     }
    
15.     try:
    
16.         response=requests.get(commentsurl.format(newsid),headers=headers)
    
17.         if response.status_code==200:
    
18.             return json.loads(response.text)['result']['count']['total']#是一个字典的格式
    
19.         return None
    
20.     except RequestException:
    
21.         print('请求评论错误')
    
22.         return None
    
23. 
    
24. def parse_page_news(url):
    
25.     headers={
    
26.              'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    
27.     }
    
28.     try:
    
29.         response=requests.get(url,headers=headers)
    
30.         response.encoding='utf-8'
    
31.         if response.status_code==200:
    
32.             soup = BeautifulSoup(response.text, 'lxml')
    
33.             result = {}
    
34.             result['title'] = soup.select('.main-title')[0].text
    
35.             result['source'] = soup.select('.source')[0].text
    
36.             result['date'] = soup.select('.date')[0].text
    
37.             if soup.select('.show_author')[0].text.strip()[5:]:
    
38.                 result['author'] = soup.select('.show_author')[0].text.strip()[5:]
    
39.             items = soup.select('#article p')
    
40.             del items[-1]  # 删除列表中最后一个元素
    
41.             result['content'] = '\n'.join([item.text.replace('\u3000\u3000', '').replace('\xa0 ', '\n') for item in items])
    
42.             result['comments'] = parse_comments_news(url)
    
43.             return result
    
44.         return None
    
45.     except RequestException:
    
46.         print('请求网页错误')
    
47.         return None
    
48. 
    
49. def parse_List_Links(list_url):
    
50.     newsdetail=[]
    
51.     response=requests.get(list_url)
    
52.     if response.status_code==200:
    
53.         jd=json.loads(response.text.lstrip('  newsloadercallback(').rstrip(');'))#json类型的字符串变成字典的格式
    
54.         for item in jd['result']['data']:
    
55.             newsdetail.append(parse_page_news(item['url']))
    
56.         return newsdetail
    
57.     return None
    
58. 
    
59. def write_to_csv(content):
    
60.     df = pandas.DataFrame(content)
    
61.     print(df)
    
62.     df.to_csv(r'C:\Users\lenovo\Desktop\爬虫\新闻\国内新闻.csv', 'r',encoding='gbk')
    
63. 
    
64. 
    
65. def main(page):
    
66.     url='http://news.sina.com.cn/o/2018-08-10/doc-ihhnunsq7748786.shtml'
    
67.     list_url='http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=22&tag=1&format=json&page='+str(page)+'&callback=newsloadercallback'
    
68.     news_total = []
    
69.     newsurl = list_url.format(page)
    
70.     newary = parse_List_Links(newsurl)
    
71.     news_total.extend(newary)
    
72.     write_to_csv(news_total)
    
73. 
    
74. if __name__=='__main__':
    
75.     for i in range(10):
    
76.         main(page=i)

复制代码

出现的错误是          UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 95: illegal multibyte sequence

无符号整形

试试utf8：

1. df.to_csv(r'C:\Users\lenovo\Desktop\爬虫\新闻\国内新闻.csv', 'r',encoding='utf_8_sig')

复制代码

claws0n

62 行 encoding = 'gbk' 换成 encoding = 'utf-8' 试试

chunguang

无符号整形 发表于 2018-8-13 18:16
试试utf8：

可以了，但写入的时候序号是从1-22，然后又是1-22.....重复不断的，怎么回事

无符号整形

我猜是这里的问题吧？循环了10次：

1. for i in range(10):
   
2.         main(page=i)

复制代码

chunguang

无符号整形 发表于 2018-8-13 18:36
我猜是这里的问题吧？循环了10次：

序号是重复的，但内容不一样

无符号整形

chunguang 发表于 2018-8-13 19:03
序号是重复的，但内容不一样

正常啊，0~9页嘛。