[已解决]爬虫保存到csv

哈岁NB

请问各位大佬，这个爬取到的内容有一些特殊空格，该怎么才能消除并保存到CSV里

1. import re
   
2. import pandas as pd
   
3. import requests
   
4. import logging
   
5. from bs4 import BeautifulSoup
   
6. 
   
7. logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
   
8. 
   
9. index_url = 'https://movie.douban.com/top250?start={}&filter='
   
10. header = {
    
11.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
    
12. }
    
13. index_page = 2
    
14. 
    
15. #发起请求
    
16. def scrape_url(url):
    
17.     logging.info(f'正在爬取{url}')
    
18.     try:
    
19.         response = requests.get(url=url,headers=header)
    
20.         if response.status_code == 200:
    
21.             return response.text
    
22.         logging.error(f'错误代码{response.status_code}')
    
23.     except requests.RequestException:
    
24.         logging.error(f'爬取{url}出现错误')
    
25. 
    
26. 
    
27. #拼接url并发起请求
    
28. def page_url(page):
    
29.     url = index_url.format(page*25)
    
30.     return scrape_url(url)
    
31. 
    
32. 
    
33. 
    
34. #解析数据
    
35. def parse_page(html):
    
36.     date = []
    
37.     soup = BeautifulSoup(html,'lxml')
    
38.     #取出每一个电影代表的li标签
    
39.     li_list = soup.select('.article .grid_view li')
    
40.     for li in li_list:
    
41.         title = li.select('.hd span')[0].string
    
42.         strings = ''.join(li.select('.bd p')[0].get_text().strip())
    
43.         score = li.select('.rating_num')[0].string
    
44.         date.append({'title':title,'strings':strings,'score':score})
    
45. 
    
46.     return date
    
47. 
    
48. def save_date(date):
    
49.     df = pd.DataFrame(date)
    
50.     df.to_csv('./123.csv',index=False,encoding='gbk')
    
51. 
    
52. 
    
53. def mian():
    
54.     for page in (0,index_page):
    
55.         html = page_url(page)
    
56.         date = parse_page(html)
    
57.         save_date(date)
    
58.         print(date)
    
59. 
    
60. 
    
61. if __name__ == '__main__':
    
62.     mian()

复制代码

这是报错信息

最佳答案

月排行榜 / 总排行榜

isdkz

2023-7-13 17:28:33

哈岁NB 发表于 2023-7-13 17:27
这样保存的文件成了乱码

那这样呢？

1. import re
   
2. import pandas as pd
   
3. import requests
   
4. import logging
   
5. from bs4 import BeautifulSoup
   
6. 
   
7. logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
   
8. 
   
9. index_url = 'https://movie.douban.com/top250?start={}&filter='
   
10. header = {
    
11.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
    
12. }
    
13. index_page = 2
    
14. 
    
15. #发起请求
    
16. def scrape_url(url):
    
17.     logging.info(f'正在爬取{url}')
    
18.     try:
    
19.         response = requests.get(url=url,headers=header)
    
20.         if response.status_code == 200:
    
21.             return response.text
    
22.         logging.error(f'错误代码{response.status_code}')
    
23.     except requests.RequestException:
    
24.         logging.error(f'爬取{url}出现错误')
    
25. 
    
26. 
    
27. #拼接url并发起请求
    
28. def page_url(page):
    
29.     url = index_url.format(page*25)
    
30.     return scrape_url(url)
    
31. 
    
32. 
    
33. 
    
34. #解析数据
    
35. def parse_page(html):
    
36.     date = []
    
37.     soup = BeautifulSoup(html,'lxml')
    
38.     #取出每一个电影代表的li标签
    
39.     li_list = soup.select('.article .grid_view li')
    
40.     for li in li_list:
    
41.         title = li.select('.hd span')[0].string
    
42.         strings = ''.join(li.select('.bd p')[0].get_text().strip())
    
43.         score = li.select('.rating_num')[0].string
    
44.         date.append({'title':title,'strings':strings,'score':score})
    
45. 
    
46.     return date
    
47. 
    
48. def save_date(date):
    
49.     df = pd.DataFrame(date)
    
50.     df.to_csv('./123.csv',index=False,encoding='utf-8-sig')
    
51. 
    
52. 
    
53. def mian():
    
54.     for page in (0,index_page):
    
55.         html = page_url(page)
    
56.         date = parse_page(html)
    
57.         save_date(date)
    
58.         print(date)
    
59. 
    
60. 
    
61. if __name__ == '__main__':
    
62.     mian()

复制代码

跳转到最佳答案楼层

陶远航

根据您提供的代码，报错信息不够详细，无法准确定位问题所在。请提供完整的报错信息，包括错误提示、行数和异常类型等信息。

同时，根据您的代码来看，可能存在以下几个潜在问题：

1. strings 变量存在多余的空格或特殊字符，你可以使用正则表达式进行清理。例如，可以使用 re.sub() 函数将连续的空白字符替换为单个空格。

2. 在保存为 CSV 文件时，指定的编码为 gbk，但可能导致字符编码问题。你可以尝试使用 utf-8 编码保存 CSV 文件，这是更常见的编码格式。

请先尝试解决上述问题，如果问题仍然存在，请提供完整的报错信息以便进一步帮助。

sfqxx

您可以使用正则表达式来消除特殊空格。在`parse_page`函数中，您可以尝试使用`re.sub()`函数将特殊空格替换为空字符串。下面是修改后的代码：

1. import re
   
2. 
   
3. ...
   
4. 
   
5. def parse_page(html):
   
6.     date = []
   
7.     soup = BeautifulSoup(html,'lxml')
   
8.     li_list = soup.select('.article .grid_view li')
   
9. 
   
10.     for li in li_list:
    
11.         title = li.select('.hd span')[0].string
    
12.         strings = ''.join(li.select('.bd p')[0].get_text().strip())
    
13.         strings = re.sub('\s+', '', strings)  # 使用正则表达式替换特殊空格
    
14.         score = li.select('.rating_num')[0].string
    
15.         date.append({'title':title,'strings':strings,'score':score})
    
16. 
    
17.     return date
    
18. 
    
19. ...

复制代码

这样修改后，特殊空格将被替换为空字符串。然后，保存数据到CSV文件时，您可以按照原来的方式调用`save_date`函数。

哈岁NB

sfqxx 发表于 2023-7-13 16:59
您可以使用正则表达式来消除特殊空格。在`parse_page`函数中，您可以尝试使用`re.sub()`函数将特殊空格替换 ...

还是不行，

isdkz

哈岁NB 发表于 2023-7-13 17:01
还是不行，

1. import re
   
2. import pandas as pd
   
3. import requests
   
4. import logging
   
5. from bs4 import BeautifulSoup
   
6. 
   
7. logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
   
8. 
   
9. index_url = 'https://movie.douban.com/top250?start={}&filter='
   
10. header = {
    
11.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
    
12. }
    
13. index_page = 2
    
14. 
    
15. #发起请求
    
16. def scrape_url(url):
    
17.     logging.info(f'正在爬取{url}')
    
18.     try:
    
19.         response = requests.get(url=url,headers=header)
    
20.         if response.status_code == 200:
    
21.             return response.text
    
22.         logging.error(f'错误代码{response.status_code}')
    
23.     except requests.RequestException:
    
24.         logging.error(f'爬取{url}出现错误')
    
25. 
    
26. 
    
27. #拼接url并发起请求
    
28. def page_url(page):
    
29.     url = index_url.format(page*25)
    
30.     return scrape_url(url)
    
31. 
    
32. 
    
33. 
    
34. #解析数据
    
35. def parse_page(html):
    
36.     date = []
    
37.     soup = BeautifulSoup(html,'lxml')
    
38.     #取出每一个电影代表的li标签
    
39.     li_list = soup.select('.article .grid_view li')
    
40.     for li in li_list:
    
41.         title = li.select('.hd span')[0].string
    
42.         strings = ''.join(li.select('.bd p')[0].get_text().strip())
    
43.         score = li.select('.rating_num')[0].string
    
44.         date.append({'title':title,'strings':strings,'score':score})
    
45. 
    
46.     return date
    
47. 
    
48. def save_date(date):
    
49.     df = pd.DataFrame(date)
    
50.     df.to_csv('./123.csv',index=False,encoding='utf-8')
    
51. 
    
52. 
    
53. def mian():
    
54.     for page in (0,index_page):
    
55.         html = page_url(page)
    
56.         date = parse_page(html)
    
57.         save_date(date)
    
58.         print(date)
    
59. 
    
60. 
    
61. if __name__ == '__main__':
    
62.     mian()

复制代码

哈岁NB

isdkz 发表于 2023-7-13 17:22

这样保存的文件成了乱码

isdkz

哈岁NB 发表于 2023-7-13 17:27
这样保存的文件成了乱码

那这样呢？

1. import re
   
2. import pandas as pd
   
3. import requests
   
4. import logging
   
5. from bs4 import BeautifulSoup
   
6. 
   
7. logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
   
8. 
   
9. index_url = 'https://movie.douban.com/top250?start={}&filter='
   
10. header = {
    
11.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
    
12. }
    
13. index_page = 2
    
14. 
    
15. #发起请求
    
16. def scrape_url(url):
    
17.     logging.info(f'正在爬取{url}')
    
18.     try:
    
19.         response = requests.get(url=url,headers=header)
    
20.         if response.status_code == 200:
    
21.             return response.text
    
22.         logging.error(f'错误代码{response.status_code}')
    
23.     except requests.RequestException:
    
24.         logging.error(f'爬取{url}出现错误')
    
25. 
    
26. 
    
27. #拼接url并发起请求
    
28. def page_url(page):
    
29.     url = index_url.format(page*25)
    
30.     return scrape_url(url)
    
31. 
    
32. 
    
33. 
    
34. #解析数据
    
35. def parse_page(html):
    
36.     date = []
    
37.     soup = BeautifulSoup(html,'lxml')
    
38.     #取出每一个电影代表的li标签
    
39.     li_list = soup.select('.article .grid_view li')
    
40.     for li in li_list:
    
41.         title = li.select('.hd span')[0].string
    
42.         strings = ''.join(li.select('.bd p')[0].get_text().strip())
    
43.         score = li.select('.rating_num')[0].string
    
44.         date.append({'title':title,'strings':strings,'score':score})
    
45. 
    
46.     return date
    
47. 
    
48. def save_date(date):
    
49.     df = pd.DataFrame(date)
    
50.     df.to_csv('./123.csv',index=False,encoding='utf-8-sig')
    
51. 
    
52. 
    
53. def mian():
    
54.     for page in (0,index_page):
    
55.         html = page_url(page)
    
56.         date = parse_page(html)
    
57.         save_date(date)
    
58.         print(date)
    
59. 
    
60. 
    
61. if __name__ == '__main__':
    
62.     mian()

复制代码

哈岁NB

isdkz 发表于 2023-7-13 17:28
那这样呢？

这回可以了，是只改成了utf-8-sig吗

isdkz

哈岁NB 发表于 2023-7-13 17:31
这回可以了，是只改成了utf-8-sig吗

嗯嗯

哈岁NB

isdkz 发表于 2023-7-13 17:32
嗯嗯

请问一下为什么utf8是乱码，而改成utf8sig就好了呢

isdkz

哈岁NB 发表于 2023-7-13 17:34
请问一下为什么utf8是乱码，而改成utf8sig就好了呢

UTF-8和UTF-8-SIG实际上都是字符编码标准，它们用于将人类可读的文字转换成机器可识别的二进制数据。

当您提到UTF-8编码产生乱码，而转换到UTF-8-SIG则没有乱码时，我猜您可能是遇到了一个文件的开头包含特殊的字节序标记，也就是BOM（Byte Order Mark）。

UTF-8-SIG是微软对UTF-8编码的一个扩展，其在UTF-8的基础上在文件开头添加了一个特殊的BOM标记（EF BB BF），这个标记用于指示该文件是以UTF-8编码的。一些文本编辑器和系统能识别这个BOM标记，然后正确地读取文件内容。

而UTF-8标准本身并不需要BOM来识别编码，所以当一个文件以UTF-8-SIG编码，却又用普通的UTF-8方式来读取时，BOM会被误读为文字内容，因此产生乱码。

因此，如果你的文件在开头包含BOM，使用UTF-8-SIG编码读取文件可以避免产生乱码。

哈岁NB

isdkz 发表于 2023-7-13 17:38
UTF-8和UTF-8-SIG实际上都是字符编码标准，它们用于将人类可读的文字转换成机器可识别的二进制数据。

...

好的，感谢感谢

Threebody1

isdkz 发表于 2023-7-13 17:38
UTF-8和UTF-8-SIG实际上都是字符编码标准，它们用于将人类可读的文字转换成机器可识别的二进制数据。

...

“人类”

isdkz

Threebody1 发表于 2023-7-13 18:04
“人类”

没什么毛病，你就是上网搜资料或者书上都是这么说的