[已解决]python爬虫，求助

莫凡辰

我想用爬虫爬取一下番茄小说里的小说，叫“西游记之神魔”，采用的是异步操作，但现在程序出了问题，关键是我还找不出来问题在哪，全屏都是traceback，求大佬帮忙

最佳答案

月排行榜 / 总排行榜

isdkz

2022-4-1 21:00:29

莫凡辰 发表于 2022-4-1 20:35
好的，这就粘上来

异步全屏是 traceback 很正常，因为其中一个协程出错不会导致主程序终止，

你的程序哪个地方写错了，每一个协程都出错就全屏 traceback 了

我给你改了一下，你看看：

1. import requests
   
2. import asyncio
   
3. import aiohttp
   
4. from lxml import etree
   
5. import aiofiles
   
6. """
   
7. 1.同步操作：首先获取番茄小说指定小说的页面url，此处用的是西游记
   
8. 2.利用xpath将url中章节的名称以及超链接取出
   
9. 3.异步操作：将超链接拼接成新的url，进而获取对应章节的内容
   
10. 4.将内容进行保存
    
11. """
    
12. async def aiodownload(href,name):
    
13.     url = 'https://fanqienovel.com'+f'{href}'                  # 这里把 f'href' 改为 f'{href}'，格式化字符串你完全可以直接用  f'https://fanqienovel.com{href}'
    
14.     async with aiohttp.ClientSession() as session:
    
15.         async with session.get(url) as resp:
    
16.             html = etree.HTML(await resp.text())            # 这里改为 await resp.text()
    
17.             async with aiohttp.ClientSession() as session:
    
18.                 async with session.get(url) as resp:
    
19.                     content = html.xpath('//*[@class="muye-reader-content noselect"]/div/p/text()')
    
20.                     if not content:       # 加上这个逻辑判断，因为有一些需要在 app 才能看的章节的路径不一样（会匹配不上），而且内容不全，你可以直接跳过，或者用正确的路径得到一部分内容
    
21.                         content = html.xpath('//*[@class="muye-reader-content noselect"]/p/text()')
    
22.                     async with aiofiles.open(f'{name}.txt','w',encoding='utf-8') as f:             # 这里 f'{name}' 改为 f'{name}.txt'
    
23.                         await f.write('\n\n'.join(content))          # 这里 content 改为 '\n\n'.join(content)，因为匹配到的 content 是列表，你得用换行把它拼成字符串
    
24. 
    
25. 
    
26. 
    
27. async def get_name(url):
    
28.     headers = {'User-Agent':'Mozilla/5.0'}                   # UA 可以不用写那么长，写个关键的 Mozilla/5.0 就行了
    
29.     resp = requests.get(url,headers=headers)
    
30.     html = etree.HTML(resp.text)
    
31.     chapter = html.xpath('//*[@class="page-directory-content"]/div/div[2]')[0]
    
32.     divs = chapter.xpath('./div')
    
33.     tasks = []
    
34.     for div in divs:
    
35.         name = div.xpath('./a/text()')[0]
    
36.         href = div.xpath('./a/@href')[0]
    
37.         #准备异步任务
    
38.         tasks.append(aiodownload(href,name))
    
39.     await asyncio.wait(tasks)
    
40. 
    
41. if __name__ == '__main__':
    
42.     url = 'https://fanqienovel.com/page/7042250335695408159'
    
43.     loop = asyncio.get_event_loop()              # 创建一个 loop 来运行协程，否则主线程会提前结束，协程执行完成后没有主线程会报 RuntimeError: Event loop is closed 的错误
    
44.     loop.run_until_complete(get_name(url))    # 使用 loop 的 run_until_complete

复制代码

跳转到最佳答案楼层

isdkz

把代码粘贴上来别人才好帮你调试，光看报错信息是很难找出问题的

莫凡辰

原代码：
import requests
import asyncio
import aiohttp
from lxml import etree
import aiofiles
"""
1.同步操作：首先获取番茄小说指定小说的页面url，此处用的是西游记
2.利用xpath将url中章节的名称以及超链接取出
3.异步操作：将超链接拼接成新的url，进而获取对应章节的内容
4.将内容进行保存
"""
async def aiodownload(href,name):
    url = 'https://fanqienovel.com'+f'href'
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as resp:
            html = etree.HTML(resp.text)
            async with aiohttp.ClientSession() as session:
                async with session.get(url) as resp:
                    content = html.xpath('//*[@class="muye-reader-content noselect"]/div/p/text()')
                    async with aiofiles.open(f'{name}','w',encoding='utf-8') as f:
                        await f.write(content)



async def get_name(url):
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36 Edg/99.0.1150.55'}
    resp = requests.get(url,headers=headers)
    html = etree.HTML(resp.text)
    chapter = html.xpath('//*[@class="page-directory-content"]/div/div[2]')[0]
    divs = chapter.xpath('./div')
    tasks = []
    for div in divs:
        name = div.xpath('./a/text()')[0]
        href = div.xpath('./a/@href')[0]
        #准备异步任务
        tasks.append(aiodownload(href,name))
    await asyncio.wait(tasks)

if __name__ == '__main__':
    url = 'https://fanqienovel.com/page/7042250335695408159'
    asyncio.run(get_name(url))

莫凡辰

isdkz 发表于 2022-4-1 19:19
把代码粘贴上来别人才好帮你调试，光看报错信息是很难找出问题的

好的，这就粘上来

isdkz

莫凡辰 发表于 2022-4-1 20:35
好的，这就粘上来

异步全屏是 traceback 很正常，因为其中一个协程出错不会导致主程序终止，

你的程序哪个地方写错了，每一个协程都出错就全屏 traceback 了

我给你改了一下，你看看：

1. import requests
   
2. import asyncio
   
3. import aiohttp
   
4. from lxml import etree
   
5. import aiofiles
   
6. """
   
7. 1.同步操作：首先获取番茄小说指定小说的页面url，此处用的是西游记
   
8. 2.利用xpath将url中章节的名称以及超链接取出
   
9. 3.异步操作：将超链接拼接成新的url，进而获取对应章节的内容
   
10. 4.将内容进行保存
    
11. """
    
12. async def aiodownload(href,name):
    
13.     url = 'https://fanqienovel.com'+f'{href}'                  # 这里把 f'href' 改为 f'{href}'，格式化字符串你完全可以直接用  f'https://fanqienovel.com{href}'
    
14.     async with aiohttp.ClientSession() as session:
    
15.         async with session.get(url) as resp:
    
16.             html = etree.HTML(await resp.text())            # 这里改为 await resp.text()
    
17.             async with aiohttp.ClientSession() as session:
    
18.                 async with session.get(url) as resp:
    
19.                     content = html.xpath('//*[@class="muye-reader-content noselect"]/div/p/text()')
    
20.                     if not content:       # 加上这个逻辑判断，因为有一些需要在 app 才能看的章节的路径不一样（会匹配不上），而且内容不全，你可以直接跳过，或者用正确的路径得到一部分内容
    
21.                         content = html.xpath('//*[@class="muye-reader-content noselect"]/p/text()')
    
22.                     async with aiofiles.open(f'{name}.txt','w',encoding='utf-8') as f:             # 这里 f'{name}' 改为 f'{name}.txt'
    
23.                         await f.write('\n\n'.join(content))          # 这里 content 改为 '\n\n'.join(content)，因为匹配到的 content 是列表，你得用换行把它拼成字符串
    
24. 
    
25. 
    
26. 
    
27. async def get_name(url):
    
28.     headers = {'User-Agent':'Mozilla/5.0'}                   # UA 可以不用写那么长，写个关键的 Mozilla/5.0 就行了
    
29.     resp = requests.get(url,headers=headers)
    
30.     html = etree.HTML(resp.text)
    
31.     chapter = html.xpath('//*[@class="page-directory-content"]/div/div[2]')[0]
    
32.     divs = chapter.xpath('./div')
    
33.     tasks = []
    
34.     for div in divs:
    
35.         name = div.xpath('./a/text()')[0]
    
36.         href = div.xpath('./a/@href')[0]
    
37.         #准备异步任务
    
38.         tasks.append(aiodownload(href,name))
    
39.     await asyncio.wait(tasks)
    
40. 
    
41. if __name__ == '__main__':
    
42.     url = 'https://fanqienovel.com/page/7042250335695408159'
    
43.     loop = asyncio.get_event_loop()              # 创建一个 loop 来运行协程，否则主线程会提前结束，协程执行完成后没有主线程会报 RuntimeError: Event loop is closed 的错误
    
44.     loop.run_until_complete(get_name(url))    # 使用 loop 的 run_until_complete

复制代码

1050293757

C丁洞杀O

妈耶，这么牛逼？不过番茄本身就是免费的啊，为啥不直接看呢？

myqf123

isdkz 发表于 2022-4-1 19:19
把代码粘贴上来别人才好帮你调试，光看报错信息是很难找出问题的

amazed

6666666666666

深谙流年

爬虫学到的好

1molHF

牛

洋洋痒

C丁洞杀O 发表于 2022-4-1 22:12
妈耶，这么牛逼？不过番茄本身就是免费的啊，为啥不直接看呢？

爬虫不就是爬免费资源的吗

Passepartout

1050293757

tjweiyanmin

莫凡辰

C丁洞杀O 发表于 2022-4-1 22:12
妈耶，这么牛逼？不过番茄本身就是免费的啊，为啥不直接看呢？

刚学完异步爬虫，想练练手

莫凡辰

isdkz 发表于 2022-4-1 21:00
异步全屏是 traceback 很正常，因为其中一个协程出错不会导致主程序终止，

你的程序哪个地方写错了 ...

多谢大佬

limex2923

有一点想问一问，就是这番茄的小说网页版上的后面都没有前几章的，可以尝试下app爬取