论坛 › Python交流 › 爬虫保存到csv

哈岁NB 发表于 2023-7-13 16:57:18

爬虫保存到csv

请问各位大佬，这个爬取到的内容有一些特殊空格，该怎么才能消除并保存到CSV里
import re
import pandas as pd
import requests
import logging
from bs4 import BeautifulSoup

logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')

index_url = 'https://movie.douban.com/top250?start={}&filter='
header = {
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
index_page = 2

#发起请求
def scrape_url(url):
    logging.info(f'正在爬取{url}')
    try:
      response = requests.get(url=url,headers=header)
      if response.status_code == 200:
            return response.text
      logging.error(f'错误代码{response.status_code}')
    except requests.RequestException:
      logging.error(f'爬取{url}出现错误')


#拼接url并发起请求
def page_url(page):
    url = index_url.format(page*25)
    return scrape_url(url)



#解析数据
def parse_page(html):
    date = []
    soup = BeautifulSoup(html,'lxml')
    #取出每一个电影代表的li标签
    li_list = soup.select('.article .grid_view li')
    for li in li_list:
      title = li.select('.hd span').string
      strings = ''.join(li.select('.bd p').get_text().strip())
      score = li.select('.rating_num').string
      date.append({'title':title,'strings':strings,'score':score})

    return date

def save_date(date):
    df = pd.DataFrame(date)
    df.to_csv('./123.csv',index=False,encoding='gbk')


def mian():
    for page in (0,index_page):
      html = page_url(page)
      date = parse_page(html)
      save_date(date)
      print(date)


if __name__ == '__main__':
    mian()
这是报错信息

陶远航 发表于 2023-7-13 16:57:29

根据您提供的代码，报错信息不够详细，无法准确定位问题所在。请提供完整的报错信息，包括错误提示、行数和异常类型等信息。

同时，根据您的代码来看，可能存在以下几个潜在问题：

1. strings 变量存在多余的空格或特殊字符，你可以使用正则表达式进行清理。例如，可以使用 re.sub() 函数将连续的空白字符替换为单个空格。

2. 在保存为 CSV 文件时，指定的编码为 gbk，但可能导致字符编码问题。你可以尝试使用 utf-8 编码保存 CSV 文件，这是更常见的编码格式。

请先尝试解决上述问题，如果问题仍然存在，请提供完整的报错信息以便进一步帮助。

sfqxx 发表于 2023-7-13 16:59:30

您可以使用正则表达式来消除特殊空格。在`parse_page`函数中，您可以尝试使用`re.sub()`函数将特殊空格替换为空字符串。下面是修改后的代码：

import re

...

def parse_page(html):
    date = []
    soup = BeautifulSoup(html,'lxml')
    li_list = soup.select('.article .grid_view li')

    for li in li_list:
      title = li.select('.hd span').string
      strings = ''.join(li.select('.bd p').get_text().strip())
      strings = re.sub('\s+', '', strings)# 使用正则表达式替换特殊空格
      score = li.select('.rating_num').string
      date.append({'title':title,'strings':strings,'score':score})

    return date

...
这样修改后，特殊空格将被替换为空字符串。然后，保存数据到CSV文件时，您可以按照原来的方式调用`save_date`函数。

哈岁NB 发表于 2023-7-13 17:01:13

sfqxx 发表于 2023-7-13 16:59
您可以使用正则表达式来消除特殊空格。在`parse_page`函数中，您可以尝试使用`re.sub()`函数将特殊空格替换 ...

还是不行，

isdkz 发表于 2023-7-13 17:22:47

哈岁NB 发表于 2023-7-13 17:01
还是不行，

import re
import pandas as pd
import requests
import logging
from bs4 import BeautifulSoup

logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')

index_url = 'https://movie.douban.com/top250?start={}&filter='
header = {
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
index_page = 2

#发起请求
def scrape_url(url):
    logging.info(f'正在爬取{url}')
    try:
      response = requests.get(url=url,headers=header)
      if response.status_code == 200:
            return response.text
      logging.error(f'错误代码{response.status_code}')
    except requests.RequestException:
      logging.error(f'爬取{url}出现错误')


#拼接url并发起请求
def page_url(page):
    url = index_url.format(page*25)
    return scrape_url(url)



#解析数据
def parse_page(html):
    date = []
    soup = BeautifulSoup(html,'lxml')
    #取出每一个电影代表的li标签
    li_list = soup.select('.article .grid_view li')
    for li in li_list:
      title = li.select('.hd span').string
      strings = ''.join(li.select('.bd p').get_text().strip())
      score = li.select('.rating_num').string
      date.append({'title':title,'strings':strings,'score':score})

    return date

def save_date(date):
    df = pd.DataFrame(date)
    df.to_csv('./123.csv',index=False,encoding='utf-8')


def mian():
    for page in (0,index_page):
      html = page_url(page)
      date = parse_page(html)
      save_date(date)
      print(date)


if __name__ == '__main__':
    mian()

哈岁NB 发表于 2023-7-13 17:27:29

isdkz 发表于 2023-7-13 17:22


这样保存的文件成了乱码{:10_266:}

isdkz 发表于 2023-7-13 17:28:33

哈岁NB 发表于 2023-7-13 17:27
这样保存的文件成了乱码

那这样呢？
import re
import pandas as pd
import requests
import logging
from bs4 import BeautifulSoup

logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')

index_url = 'https://movie.douban.com/top250?start={}&filter='
header = {
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
index_page = 2

#发起请求
def scrape_url(url):
    logging.info(f'正在爬取{url}')
    try:
      response = requests.get(url=url,headers=header)
      if response.status_code == 200:
            return response.text
      logging.error(f'错误代码{response.status_code}')
    except requests.RequestException:
      logging.error(f'爬取{url}出现错误')


#拼接url并发起请求
def page_url(page):
    url = index_url.format(page*25)
    return scrape_url(url)



#解析数据
def parse_page(html):
    date = []
    soup = BeautifulSoup(html,'lxml')
    #取出每一个电影代表的li标签
    li_list = soup.select('.article .grid_view li')
    for li in li_list:
      title = li.select('.hd span').string
      strings = ''.join(li.select('.bd p').get_text().strip())
      score = li.select('.rating_num').string
      date.append({'title':title,'strings':strings,'score':score})

    return date

def save_date(date):
    df = pd.DataFrame(date)
    df.to_csv('./123.csv',index=False,encoding='utf-8-sig')


def mian():
    for page in (0,index_page):
      html = page_url(page)
      date = parse_page(html)
      save_date(date)
      print(date)


if __name__ == '__main__':
    mian()

哈岁NB 发表于 2023-7-13 17:31:12

isdkz 发表于 2023-7-13 17:28
那这样呢？

这回可以了，是只改成了utf-8-sig吗

isdkz 发表于 2023-7-13 17:32:15

哈岁NB 发表于 2023-7-13 17:31
这回可以了，是只改成了utf-8-sig吗

嗯嗯

哈岁NB 发表于 2023-7-13 17:34:12

isdkz 发表于 2023-7-13 17:32
嗯嗯

请问一下为什么utf8是乱码，而改成utf8sig就好了呢

isdkz 发表于 2023-7-13 17:38:35

哈岁NB 发表于 2023-7-13 17:34
请问一下为什么utf8是乱码，而改成utf8sig就好了呢

UTF-8和UTF-8-SIG实际上都是字符编码标准，它们用于将人类可读的文字转换成机器可识别的二进制数据。

当您提到UTF-8编码产生乱码，而转换到UTF-8-SIG则没有乱码时，我猜您可能是遇到了一个文件的开头包含特殊的字节序标记，也就是BOM（Byte Order Mark）。

UTF-8-SIG是微软对UTF-8编码的一个扩展，其在UTF-8的基础上在文件开头添加了一个特殊的BOM标记（EF BB BF），这个标记用于指示该文件是以UTF-8编码的。一些文本编辑器和系统能识别这个BOM标记，然后正确地读取文件内容。

而UTF-8标准本身并不需要BOM来识别编码，所以当一个文件以UTF-8-SIG编码，却又用普通的UTF-8方式来读取时，BOM会被误读为文字内容，因此产生乱码。

因此，如果你的文件在开头包含BOM，使用UTF-8-SIG编码读取文件可以避免产生乱码。

哈岁NB 发表于 2023-7-13 17:39:23

isdkz 发表于 2023-7-13 17:38
UTF-8和UTF-8-SIG实际上都是字符编码标准，它们用于将人类可读的文字转换成机器可识别的二进制数据。

...

好的，感谢感谢

Threebody1 发表于 2023-7-13 18:04:18

isdkz 发表于 2023-7-13 17:38
UTF-8和UTF-8-SIG实际上都是字符编码标准，它们用于将人类可读的文字转换成机器可识别的二进制数据。

...

“人类”

isdkz 发表于 2023-7-13 18:05:31

Threebody1 发表于 2023-7-13 18:04
“人类”

没什么毛病，你就是上网搜资料或者书上都是这么说的

查看完整版本: 爬虫保存到csv