设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 大佬求助—python爬虫爬取评论，但有些网址出了问题
返回列表 发新帖
查看: 2836|回复: 5

[已解决]大佬求助—python爬虫爬取评论，但有些网址出了问题

[复制链接]
3236654291
发表于 2021-7-7 09:23:23 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
本帖最后由 3236654291 于 2021-7-7 09:42 编辑

有些网页爬取不到页数
比如：
https://fishc.com.cn/thread-107659-1-1.html
为什么

  1. import requests
  2. import bs4
  3. import re


  6. def get_num(url): #获取页数
  7.     headers = {}
  8.     headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'

  10.     res = requests.get(url,headers = headers)
  11.     soup = bs4.BeautifulSoup(res.text,"html.parser")

  13.     number  = []
  14.     target = soup.find_all("div",class_="pg")
  15.     for each in target:
  16.         number.append(each.label.span.text)
  17.     nr = re.search(r"\d+",str(number))
  18.     print(number)
  19.     if str(type(nr)) == "<class 'NoneType'>":
  20.         return "1"
  21.     else:
  22.         return str(nr.group())



  26. def main(url,c,running = True): #爬取评论
  27.     print(url)
  28.     headers = {}
  29.     headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'

  31.     res = requests.get(url,headers = headers)
  32.     soup = bs4.BeautifulSoup(res.text,"html.parser")

  34.     targets = soup.find_all("td",class_="t_f")

  36.     for i in targets:
  37.         if running:
  38.             running = False
  39.         else:
  40.             c.append(i.text)
  41.     return c
  42.    
  43. def keep(file_name,what): #保存文件
  44.     content = ''.join('%s'%id for id in what[0])
  45.     with open(file_name,"w",encoding='utf-8') as f:
  46.         f.write(str(content))
  47.    

  49. def decide(url): #判断网址
  50.     hi = re.search(r"-\d{1,10}-\d{1,10}-\d{1,10}",url)
  51.     if str(type(hi)) == "<class 'NoneType'>":
  52.         return True
  53.     else:
  54.         return False
  55.    
  56. def conversion(url,n): #转化网址
  57.     t = []
  58.     for i in url:
  59.         t.append(i)

  61.     t = ''.join(t[:n])
  62.     return t
  63.    
  64. if __name__ == "__main__":
  65.     url = input("爬取评论代码（仅支持鱼C网址（有几率此永网页无法爬取））:")
  66.     num = get_num(url)#共几页
  67.     file_name = input("请输入需要保存的文件名(注意：不加后缀名(Friendly tips:文件名相同会覆盖原文件)):")
  68.     file_name = file_name + ".txt"

  70.     c = []
  71.     what = []
  72.     if decide(url = url):
  73.         for i in range(int(num)):
  74.             page = str(i+1)
  75.             what.append(main(url = url + '&page=' + page,c=c))

  77.         keep(file_name = file_name,what=what)#保存
  78.     else:
  79.         for i in range(int(num)):
  80.             page = str(i+1)
  81.             what.append(main(url = conversion(url = url,n = -8) + page + '-1.html' ,c=c))

  83.         keep(file_name = file_name,what=what)

复制代码
最佳答案
月排行榜 / 总排行榜
Twilight6
2021-7-7 09:23:24
3236654291 发表于 2021-7-7 14:25
我试过了呀
而且我发现把get_num()函数里的res.text打印出来
里面没有我要的总页数



试试这样，把 get_num 函数用下面这个：

  1. def get_num(url):  # 获取页数
  2.     headers = {}
  3.     headers[
  4.         'User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
  5.     headers[
  6.         'Cookie'] = 'oMVX_2132_saltkey=ttg5geGa; oMVX_2132_lastvisit=1624623545; oMVX_2132_auth=e37dd2PNTtpF1Tmt8%2ByP9Gr%2FAvWXweScDEHJ%2FLzFd%2BRFC41%2B81vqg6h784Xa9sG54pMFBr5hP6zGidNgcAEswvrcJ20; oMVX_2132_lastcheckfeed=854664%7C1624627154; oMVX_2132_atarget=1; oMVX_2132_smile=6D1; oMVX_2132_atlist=9; oMVX_2132_sid=ng222X; oMVX_2132_lip=112.50.189.204%2C1625758119; PHPSESSID=mgj7l3mkssq70ag6j7es6d99c6; oMVX_2132_ulastactivity=5838ck7yBFJTgL%2FfVWUcIRaHqSxszsrs5%2BXWC79MnRSl6WIDnqvg; acw_tc=781bad0816257949619514154e4035c90ea37235db295b2910fb132ac7402f; oMVX_2132_noticeTitle=1; oMVX_2132_st_t=854664%7C1625795252%7Cc6611f7934f6145aef7408b139f83a36; oMVX_2132_forum_lastvisit=D_173_1625795252; oMVX_2132_sendmail=1; oMVX_2132_visitedfid=354D173D188D38D125D149D33D171D219D84; oMVX_2132_viewid=tid_107659; oMVX_2132_checkpm=1; oMVX_2132_st_p=854664%7C1625795751%7C0c786b5b745132c2deaf8706e2812eb0; _fmdata=XqSSl%2FXqDIZ5Fsa93RNAO8xoew4KAZ%2FpoIVHewJ6UI5D5tAk0kpV1t58NSABPaVntgjj6GUetZ4oh6vFn%2BMgOCfhUZpBPvGfFCQuOJMGw3g%3D; oMVX_2132_lastact=1625795752%09misc.php%09patch'

  8.     res = requests.get(url, headers=headers)
  9.     soup = bs4.BeautifulSoup(res.text, "html.parser")

  11.     number = []
  12.     target = soup.find_all("div", class_="pg")
  13.     for each in target:
  14.         number.append(each.label.span.text)
  15.     nr = re.search(r"\d+", str(number))
  16.     print(number)
  17.     if str(type(nr)) == "<class 'NoneType'>":
  18.         return "1"
  19.     else:
  20.         return str(nr.group())
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

wcq15759797758
发表于 2021-7-7 10:37:06 | 显示全部楼层
第三页https://fishc.com.cn/thread-107659-3-1.html
第二页https://fishc.com.cn/thread-107659-2-1.html
第一页https://fishc.com.cn/thread-107659-1-1.html
可以自己写规律
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

Twilight6
发表于 2021-7-7 10:58:57 | 显示全部楼层


获取网页数的 get_num 函数中，在 headers 中加上 Cookie 即可，例（Cookie 自己去浏览器中获取）：

  1. headers['Cookie'] = '输入浏览器访问时的 Cookie'
复制代码


小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

3236654291
 楼主| 发表于 2021-7-7 14:25:07 | 显示全部楼层
Twilight6 发表于 2021-7-7 10:58
获取网页数的 get_num 函数中，在 headers 中加上 Cookie 即可，例（Cookie 自己去浏览器中获取）：

...

我试过了呀
而且我发现把get_num()函数里的res.text打印出来
里面没有我要的总页数
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

Twilight6
发表于 2021-7-7 09:23:24 | 显示全部楼层    本楼为最佳答案   
3236654291 发表于 2021-7-7 14:25
我试过了呀
而且我发现把get_num()函数里的res.text打印出来
里面没有我要的总页数



试试这样，把 get_num 函数用下面这个：

  1. def get_num(url):  # 获取页数
  2.     headers = {}
  3.     headers[
  4.         'User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
  5.     headers[
  6.         'Cookie'] = 'oMVX_2132_saltkey=ttg5geGa; oMVX_2132_lastvisit=1624623545; oMVX_2132_auth=e37dd2PNTtpF1Tmt8%2ByP9Gr%2FAvWXweScDEHJ%2FLzFd%2BRFC41%2B81vqg6h784Xa9sG54pMFBr5hP6zGidNgcAEswvrcJ20; oMVX_2132_lastcheckfeed=854664%7C1624627154; oMVX_2132_atarget=1; oMVX_2132_smile=6D1; oMVX_2132_atlist=9; oMVX_2132_sid=ng222X; oMVX_2132_lip=112.50.189.204%2C1625758119; PHPSESSID=mgj7l3mkssq70ag6j7es6d99c6; oMVX_2132_ulastactivity=5838ck7yBFJTgL%2FfVWUcIRaHqSxszsrs5%2BXWC79MnRSl6WIDnqvg; acw_tc=781bad0816257949619514154e4035c90ea37235db295b2910fb132ac7402f; oMVX_2132_noticeTitle=1; oMVX_2132_st_t=854664%7C1625795252%7Cc6611f7934f6145aef7408b139f83a36; oMVX_2132_forum_lastvisit=D_173_1625795252; oMVX_2132_sendmail=1; oMVX_2132_visitedfid=354D173D188D38D125D149D33D171D219D84; oMVX_2132_viewid=tid_107659; oMVX_2132_checkpm=1; oMVX_2132_st_p=854664%7C1625795751%7C0c786b5b745132c2deaf8706e2812eb0; _fmdata=XqSSl%2FXqDIZ5Fsa93RNAO8xoew4KAZ%2FpoIVHewJ6UI5D5tAk0kpV1t58NSABPaVntgjj6GUetZ4oh6vFn%2BMgOCfhUZpBPvGfFCQuOJMGw3g%3D; oMVX_2132_lastact=1625795752%09misc.php%09patch'

  8.     res = requests.get(url, headers=headers)
  9.     soup = bs4.BeautifulSoup(res.text, "html.parser")

  11.     number = []
  12.     target = soup.find_all("div", class_="pg")
  13.     for each in target:
  14.         number.append(each.label.span.text)
  15.     nr = re.search(r"\d+", str(number))
  16.     print(number)
  17.     if str(type(nr)) == "<class 'NoneType'>":
  18.         return "1"
  19.     else:
  20.         return str(nr.group())
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

3236654291
 楼主| 发表于 2021-7-9 11:22:46 | 显示全部楼层
Twilight6 发表于 2021-7-9 09:58
试试这样，把 get_num 函数用下面这个：

哦
可以可以
这个好啊
谢谢大佬
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-10-31 09:24

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表