[已解决]爬虫保存到csv

哈岁NB · 发表于 2023-7-13 16:57:18

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

请问各位大佬，这个爬取到的内容有一些特殊空格，该怎么才能消除并保存到CSV里

import re
import pandas as pd
import requests
import logging
from bs4 import BeautifulSoup
logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
index_url = 'https://movie.douban.com/top250?start={}&filter='
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
index_page = 2
#发起请求
def scrape_url(url):
logging.info(f'正在爬取{url}')
try:
response = requests.get(url=url,headers=header)
if response.status_code == 200:
return response.text
logging.error(f'错误代码{response.status_code}')
except requests.RequestException:
logging.error(f'爬取{url}出现错误')
#拼接url并发起请求
def page_url(page):
url = index_url.format(page*25)
return scrape_url(url)
#解析数据
def parse_page(html):
date = []
soup = BeautifulSoup(html,'lxml')
#取出每一个电影代表的li标签
li_list = soup.select('.article .grid_view li')
for li in li_list:
title = li.select('.hd span')[0].string
strings = ''.join(li.select('.bd p')[0].get_text().strip())
score = li.select('.rating_num')[0].string
date.append({'title':title,'strings':strings,'score':score})
return date
def save_date(date):
df = pd.DataFrame(date)
df.to_csv('./123.csv',index=False,encoding='gbk')
def mian():
for page in (0,index_page):
html = page_url(page)
date = parse_page(html)
save_date(date)
print(date)
if __name__ == '__main__':
mian()

复制代码

这是报错信息

最佳答案

月排行榜 / 总排行榜

isdkz

2023-7-13 17:28:33

哈岁NB 发表于 2023-7-13 17:27
这样保存的文件成了乱码

那这样呢？

import re
import pandas as pd
import requests
import logging
from bs4 import BeautifulSoup
logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
index_url = 'https://movie.douban.com/top250?start={}&filter='
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
index_page = 2
#发起请求
def scrape_url(url):
logging.info(f'正在爬取{url}')
try:
response = requests.get(url=url,headers=header)
if response.status_code == 200:
return response.text
logging.error(f'错误代码{response.status_code}')
except requests.RequestException:
logging.error(f'爬取{url}出现错误')
#拼接url并发起请求
def page_url(page):
url = index_url.format(page*25)
return scrape_url(url)
#解析数据
def parse_page(html):
date = []
soup = BeautifulSoup(html,'lxml')
#取出每一个电影代表的li标签
li_list = soup.select('.article .grid_view li')
for li in li_list:
title = li.select('.hd span')[0].string
strings = ''.join(li.select('.bd p')[0].get_text().strip())
score = li.select('.rating_num')[0].string
date.append({'title':title,'strings':strings,'score':score})
return date
def save_date(date):
df = pd.DataFrame(date)
df.to_csv('./123.csv',index=False,encoding='utf-8-sig')
def mian():
for page in (0,index_page):
html = page_url(page)
date = parse_page(html)
save_date(date)
print(date)
if __name__ == '__main__':
mian()

复制代码

跳转到最佳答案楼层

陶远航 · 发表于 2023-7-13 16:57:29

根据您提供的代码，报错信息不够详细，无法准确定位问题所在。请提供完整的报错信息，包括错误提示、行数和异常类型等信息。

同时，根据您的代码来看，可能存在以下几个潜在问题：

1. strings 变量存在多余的空格或特殊字符，你可以使用正则表达式进行清理。例如，可以使用 re.sub() 函数将连续的空白字符替换为单个空格。

2. 在保存为 CSV 文件时，指定的编码为 gbk，但可能导致字符编码问题。你可以尝试使用 utf-8 编码保存 CSV 文件，这是更常见的编码格式。

请先尝试解决上述问题，如果问题仍然存在，请提供完整的报错信息以便进一步帮助。

sfqxx · 发表于 2023-7-13 16:59:30

您可以使用正则表达式来消除特殊空格。在`parse_page`函数中，您可以尝试使用`re.sub()`函数将特殊空格替换为空字符串。下面是修改后的代码：

import re

...

def parse_page(html):

date = []

soup = BeautifulSoup(html,'lxml')

li_list = soup.select('.article .grid_view li')

for li in li_list:

      title = li.select('.hd span')[0].string

      strings = ''.join(li.select('.bd p')[0].get_text().strip())

      strings = re.sub('\s+', '', strings)  # 使用正则表达式替换特殊空格

      score = li.select('.rating_num')[0].string

      date.append({'title':title,'strings':strings,'score':score})

return date

...
复制代码

这样修改后，特殊空格将被替换为空字符串。然后，保存数据到CSV文件时，您可以按照原来的方式调用`save_date`函数。

哈岁NB · 发表于 2023-7-13 17:01:13

sfqxx 发表于 2023-7-13 16:59
您可以使用正则表达式来消除特殊空格。在`parse_page`函数中，您可以尝试使用`re.sub()`函数将特殊空格替换 ...

还是不行，

isdkz · 发表于 2023-7-13 17:22:47

哈岁NB 发表于 2023-7-13 17:01
还是不行，

import re
import pandas as pd
import requests
import logging
from bs4 import BeautifulSoup
logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
index_url = 'https://movie.douban.com/top250?start={}&filter='
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
index_page = 2
#发起请求
def scrape_url(url):
logging.info(f'正在爬取{url}')
try:
response = requests.get(url=url,headers=header)
if response.status_code == 200:
return response.text
logging.error(f'错误代码{response.status_code}')
except requests.RequestException:
logging.error(f'爬取{url}出现错误')
#拼接url并发起请求
def page_url(page):
url = index_url.format(page*25)
return scrape_url(url)
#解析数据
def parse_page(html):
date = []
soup = BeautifulSoup(html,'lxml')
#取出每一个电影代表的li标签
li_list = soup.select('.article .grid_view li')
for li in li_list:
title = li.select('.hd span')[0].string
strings = ''.join(li.select('.bd p')[0].get_text().strip())
score = li.select('.rating_num')[0].string
date.append({'title':title,'strings':strings,'score':score})
return date
def save_date(date):
df = pd.DataFrame(date)
df.to_csv('./123.csv',index=False,encoding='utf-8')
def mian():
for page in (0,index_page):
html = page_url(page)
date = parse_page(html)
save_date(date)
print(date)
if __name__ == '__main__':
mian()

复制代码

哈岁NB · 发表于 2023-7-13 17:27:29

isdkz 发表于 2023-7-13 17:22

这样保存的文件成了乱码

isdkz · 发表于 2023-7-13 17:28:33

哈岁NB 发表于 2023-7-13 17:27
这样保存的文件成了乱码

那这样呢？

import re
import pandas as pd
import requests
import logging
from bs4 import BeautifulSoup
logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
index_url = 'https://movie.douban.com/top250?start={}&filter='
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
index_page = 2
#发起请求
def scrape_url(url):
logging.info(f'正在爬取{url}')
try:
response = requests.get(url=url,headers=header)
if response.status_code == 200:
return response.text
logging.error(f'错误代码{response.status_code}')
except requests.RequestException:
logging.error(f'爬取{url}出现错误')
#拼接url并发起请求
def page_url(page):
url = index_url.format(page*25)
return scrape_url(url)
#解析数据
def parse_page(html):
date = []
soup = BeautifulSoup(html,'lxml')
#取出每一个电影代表的li标签
li_list = soup.select('.article .grid_view li')
for li in li_list:
title = li.select('.hd span')[0].string
strings = ''.join(li.select('.bd p')[0].get_text().strip())
score = li.select('.rating_num')[0].string
date.append({'title':title,'strings':strings,'score':score})
return date
def save_date(date):
df = pd.DataFrame(date)
df.to_csv('./123.csv',index=False,encoding='utf-8-sig')
def mian():
for page in (0,index_page):
html = page_url(page)
date = parse_page(html)
save_date(date)
print(date)
if __name__ == '__main__':
mian()

复制代码

哈岁NB · 发表于 2023-7-13 17:31:12

isdkz 发表于 2023-7-13 17:28
那这样呢？

这回可以了，是只改成了utf-8-sig吗

isdkz · 发表于 2023-7-13 17:32:15

哈岁NB 发表于 2023-7-13 17:31
这回可以了，是只改成了utf-8-sig吗

嗯嗯

哈岁NB · 发表于 2023-7-13 17:34:12

isdkz 发表于 2023-7-13 17:32
嗯嗯

请问一下为什么utf8是乱码，而改成utf8sig就好了呢

isdkz · 发表于 2023-7-13 17:38:35

哈岁NB 发表于 2023-7-13 17:34
请问一下为什么utf8是乱码，而改成utf8sig就好了呢

UTF-8和UTF-8-SIG实际上都是字符编码标准，它们用于将人类可读的文字转换成机器可识别的二进制数据。

当您提到UTF-8编码产生乱码，而转换到UTF-8-SIG则没有乱码时，我猜您可能是遇到了一个文件的开头包含特殊的字节序标记，也就是BOM（Byte Order Mark）。

UTF-8-SIG是微软对UTF-8编码的一个扩展，其在UTF-8的基础上在文件开头添加了一个特殊的BOM标记（EF BB BF），这个标记用于指示该文件是以UTF-8编码的。一些文本编辑器和系统能识别这个BOM标记，然后正确地读取文件内容。

而UTF-8标准本身并不需要BOM来识别编码，所以当一个文件以UTF-8-SIG编码，却又用普通的UTF-8方式来读取时，BOM会被误读为文字内容，因此产生乱码。

因此，如果你的文件在开头包含BOM，使用UTF-8-SIG编码读取文件可以避免产生乱码。

哈岁NB · 发表于 2023-7-13 17:39:23

isdkz 发表于 2023-7-13 17:38
UTF-8和UTF-8-SIG实际上都是字符编码标准，它们用于将人类可读的文字转换成机器可识别的二进制数据。

...

好的，感谢感谢

Threebody1 · 发表于 2023-7-13 18:04:18

isdkz 发表于 2023-7-13 17:38
UTF-8和UTF-8-SIG实际上都是字符编码标准，它们用于将人类可读的文字转换成机器可识别的二进制数据。

...

“人类”

isdkz · 发表于 2023-7-13 18:05:31

Threebody1 发表于 2023-7-13 18:04
“人类”

没什么毛病，你就是上网搜资料或者书上都是这么说的

账号		自动登录	找回密码
密码			立即注册