aiohttp.ClientSession()的问题
本帖最后由 江湖散人 于 2021-8-30 18:08 编辑import requests
from lxml import etree
import asyncio
import aiohttp
import aiofiles
async def down_load(href, title):
async with aiohttp.ClientSession() as session:
async with session.get("https://www.17k.com" + href)as resp:
resp.encoding = "utf-8"
dic = await resp.text()
tree = etree.HTML(dic)
page_content = tree.xpath("/html/body/div/div/div/div/div")
lp = len(page_content) - 6
page_content = page_content[:lp]
for i in page_content:
content = i.xpath("./text()")
async with aiofiles.open(("ibook/" + title), 'a', encoding='utf-8') as f:
await f.write(content)
async def get_page(url):
resp = requests.get(url)
resp.encoding = "utf-8"
tree = etree.HTML(resp.text)
dd = tree.xpath("/html/body/div/dl/dd")
task = []
for a in range(len(dd)):
href = dd.xpath("./@href")
title = str(dd.xpath("./@title")).split("：", 1).replace("字数", "").replace("\r", "")
task.append(asyncio.create_task(down_load(href, title)))
await asyncio.wait(task)
if __name__ == '__main__':
url = "https://www.17k.com/list/3318557.html"
loop = asyncio.get_event_loop()
loop.run_until_complete(get_page(url))
这是一个运用异步协程来爬取网站小说的程序。
但是运行的时候老是报错：
dic = await resp.text()
return self._body.decode(encoding, errors=errors)# type: ignore
return codecs.charmap_decode(input,errors,decoding_table)
UnicodeDecodeError: 'charmap' codec can't decode byte 0x8d in position 400: character maps to <undefined>
爬取小说基本都下来了，只不过少了几章节。
不知道问题出在哪了。
哪位前辈帮忙看一下啊，谢谢啊！ 本帖最后由 2012277033 于 2021-8-30 18:46 编辑
你这个有几个问题，一个是解析时用的方法存在问题，需要用await关键字。
一个是文件写入存在问题，用的打开模式不对，如果是w的话，每次写入都是覆盖，最后只会记录到最后一行
还有一个编码问题：不确定是哪个编码直接ignore处理了.
修改了部分就这样：
async def down_load(href, title):
async with aiohttp.ClientSession() as session:
async with session.get("https://www.17k.com" + href)as resp:
resp.encoding = "utf-8"
#这里resp.text()必须用await关键字来获取，后面加入编码格式这里直接跳过错误编码
tree = etree.HTML(await resp.text(errors="ignore"), parser=etree.HTMLParser(encoding='utf-8'))
page_content = tree.xpath(
"/html/body/div/div/div/div/div")
#跳过空白页
if page_content:
page_content = page_content
else:
return
lp = len(page_content) - 6
page_content = page_content[:lp]
for i in page_content:
#跳过空白行
if i.xpath("./text()"):
content = i.xpath("./text()")
else:
continue
#这里open的模式要用追加模式，不然最后只有最后一行被写入
async with aiofiles.open(("ibook/" + title.replace(' ',"_")), 'a+', encoding='utf-8') as f:
#这里末尾加个回车，保证每行都单独隔开
await f.write(content+'\n')
async def get_page(url):
resp = requests.get(url)
resp.encoding = "utf-8"
tree = etree.HTML(resp.text)
dd = tree.xpath("/html/body/div/dl/dd")
task = []
for a in range(len(dd)):
href = dd.xpath("./@href")
title = str(dd.xpath("./@title")).split("：",
1).replace("字数", "").replace("\r", "")
task.append(asyncio.create_task(down_load(href, title)))
await asyncio.wait(task)
if __name__ == '__main__':
url = "https://www.17k.com/list/3318557.html"
loop = asyncio.get_event_loop()
loop.run_until_complete(get_page(url)) 2012277033 发表于 2021-8-30 18:18
你这个有几个问题，一个是解析时用的方法存在问题，需要用await关键字。
一个是文件写入存在问题，用的打 ...
大概就是这么处理。 2012277033 发表于 2021-8-30 18:18
你这个有几个问题，一个是解析时用的方法存在问题，需要用await关键字。
一个是文件写入存在问题，用的打 ...
谢谢前辈，改完确实没问题了。
不过我有一个疑问，在存入文件的时候，你的 title 后边为什么要加一个替换啊？这是什么作用啊？ 江湖散人 发表于 2021-8-30 21:23
谢谢前辈，改完确实没问题了。
不过我有一个疑问，在存入文件的时候，你的 title 后边为什么要加一个替 ...
文章标题有空格，为了避免生成空格的文件名，一般我都是用下划线代替空格 2012277033 发表于 2021-8-31 10:01
文章标题有空格，为了避免生成空格的文件名，一般我都是用下划线代替空格
好的，谢谢啊
页:
[1]