设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › Python爬虫
返回列表 发新帖
查看: 1254|回复: 5

[已解决]Python爬虫

[复制链接]
peng_python
发表于 2022-3-23 16:19:32 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
B站最受欢迎的编程课程，小甲鱼老师的写完程序只能得到空的txt，请问知道为什么吗？有成功的代码吗？？非常感谢！！！
最佳答案
月排行榜 / 总排行榜
isdkz
2022-3-23 17:49:32
peng_python 发表于 2022-3-23 16:29

有一个地方的标签的 class 改了：
  1. import requests
  2. import bs4
  3. import time


  6. def get_input():
  7.     keyword = input("请输入关键词：")
  8.     pages = int(input("请输入要爬取得页数（1~50）："))

  10.     while pages not in range(1, 51):
  11.         pages = int(input("请输入正确的页数："))

  13.     return keyword, pages


  16. def get_html(url):
  17.     headers = {
  18.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
  19.     res = requests.get(url, headers=headers)
  20.     #print(res)

  22.     return res.text


  25. def get_datas(text):
  26.     soup = bs4.BeautifulSoup(text, "html.parser")

  28.     datas = []
  29.     #videos = soup.find_all("li", class_="video matrix")                 
  30.     videos = soup.find_all("li", class_="video-item matrix")               # 这里的标签类名改了
  31.     for video in videos:
  32.         # 获取标题
  33.         datas.append(video.a['title'])
  34.         # 获取URL
  35.         datas.append(video.a['href'])
  36.         # 获取观看数/弹幕数/上传时间/阿婆主
  37.         tags = video.select("div[class='tags'] > span")

  39.         for tag in tags:
  40.             datas.append(''.join(tag.text.split()))
  41.     return datas


  44. def grouped(iterable, n):
  45.     "将列表切成n片一组"
  46.     "s -> (s0,s1,s2,...sn-1), (sn,sn+1,sn+2,...s2n-1), (s2n,s2n+1,s2n+2,...s3n-1), ..."
  47.     return zip(*[iter(iterable)] * n)



  51. def main():
  52.     keyword, pages = get_input()
  53.     order = ['totalrank', 'click', 'dm', 'stow']
  54.     order_name = ['综合排序', '最多点击', '最多弹幕', '最多收藏']

  56.     # 迭代每种排序
  57.     for i in range(4):
  58.         index = 1
  59.         # 迭代每一页
  60.         for page in range(1, pages + 1):
  61.             # url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&tids_1=36&page={}".format(keyword,
  62.             #                                                                                                 order[i],
  63.             #                                                                                                 page)
  64.             url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&page={}".format(keyword,
  65.                                                                                                   order[i],
  66.                                                                                                   page)

  68.             text = get_html(url)
  69.             datas = get_datas(text)
  70.             # 为每种排序创建一个文本文件单独存放
  71.    
  72.             with open(order_name[i] + '.txt', 'a', encoding="utf-8") as file:
  73.                 for video_title, video_URL, video_watch, video_dm, video_time, video_up in grouped(datas, 6):
  74.                     file.write(' + '.join(
  75.                         [str(index), video_title, video_URL, video_watch, video_dm, video_time, video_up, '\n']))
  76.                     index += 1
  77.             # 做一只善意的爬虫，不要给服务器带来负担
  78.             time.sleep(1)


  81. if __name__ == "__main__":
  82.     main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

isdkz
发表于 2022-3-23 16:22:26 | 显示全部楼层
建议把你的代码放上来
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

peng_python
 楼主| 发表于 2022-3-23 16:29:54 | 显示全部楼层
  1. import requests
  2. import bs4
  3. import time


  6. def get_input():
  7.     keyword = input("请输入关键词：")
  8.     pages = int(input("请输入要爬取得页数（1~50）："))

  10.     while pages not in range(1, 51):
  11.         pages = int(input("请输入正确的页数："))

  13.     return keyword, pages


  16. def get_html(url):
  17.     headers = {
  18.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
  19.     res = requests.get(url, headers=headers)
  20.     #print(res)

  22.     return res.text


  25. def get_datas(text):
  26.     soup = bs4.BeautifulSoup(text, "html.parser")

  28.     datas = []
  29.     #videos = soup.find_all("li", class_="video matrix")
  30.     videos = soup.find_all("li", class_="video-list-item")
  31.     for video in videos:
  32.         # 获取标题
  33.         datas.append(video.a['title'])
  34.         # 获取URL
  35.         datas.append(video.a['href'])
  36.         # 获取观看数/弹幕数/上传时间/阿婆主
  37.         tags = video.select("div[class='tags'] > span")
  38.         for tag in tags:
  39.             datas.append(''.join(tag.text.split()))

  41.     return datas


  44. def grouped(iterable, n):
  45.     "将列表切成n片一组"
  46.     "s -> (s0,s1,s2,...sn-1), (sn,sn+1,sn+2,...s2n-1), (s2n,s2n+1,s2n+2,...s3n-1), ..."
  47.     return zip(*[iter(iterable)] * n)



  51. def main():
  52.     keyword, pages = get_input()
  53.     order = ['totalrank', 'click', 'dm', 'stow']
  54.     order_name = ['综合排序', '最多点击', '最多弹幕', '最多收藏']

  56.     # 迭代每种排序
  57.     for i in range(4):
  58.         index = 1
  59.         # 迭代每一页
  60.         for page in range(1, pages + 1):
  61.             # url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&tids_1=36&page={}".format(keyword,
  62.             #                                                                                                 order[i],
  63.             #                                                                                                 page)
  64.             url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&page={}".format(keyword,
  65.                                                                                                   order[i],
  66.                                                                                                   page)

  68.             text = get_html(url)
  69.             datas = get_datas(text)
  70.             # 为每种排序创建一个文本文件单独存放
  71.             with open(order_name[i] + '.txt', 'a', encoding="utf-8") as file:
  72.                 for video_title, video_URL, video_watch, video_dm, video_time, video_up in grouped(datas, 6):
  73.                     file.write(' + '.join(
  74.                         [str(index), video_title, video_URL, video_watch, video_dm, video_time, video_up, '\n']))
  75.                     index += 1
  76.             # 做一只善意的爬虫，不要给服务器带来负担
  77.             time.sleep(1)


  80. if __name__ == "__main__":
  81.     main()

复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

peng_python
 楼主| 发表于 2022-3-23 16:30:54 | 显示全部楼层
isdkz 发表于 2022-3-23 16:22
建议把你的代码放上来

import requests
import bs4
import time


def get_input():
    keyword = input("请输入关键词：")
    pages = int(input("请输入要爬取得页数（1~50）："))

    while pages not in range(1, 51):
        pages = int(input("请输入正确的页数："))

    return keyword, pages


def get_html(url):
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
    res = requests.get(url, headers=headers)
    #print(res)

    return res.text


def get_datas(text):
    soup = bs4.BeautifulSoup(text, "html.parser")

    datas = []
    #videos = soup.find_all("li", class_="video matrix")
    videos = soup.find_all("li", class_="video-list-item")
    for video in videos:
        # 获取标题
        datas.append(video.a['title'])
        # 获取URL
        datas.append(video.a['href'])
        # 获取观看数/弹幕数/上传时间/阿婆主

        tags = video.select("div[class='tags'] > span")
        for tag in tags:
            datas.append(''.join(tag.text.split()))

    return datas


def grouped(iterable, n):
    "将列表切成n片一组"
    "s -> (s0,s1,s2,...sn-1), (sn,sn+1,sn+2,...s2n-1), (s2n,s2n+1,s2n+2,...s3n-1), ..."
    return zip(*[iter(iterable)] * n)



def main():
    keyword, pages = get_input()
    order = ['totalrank', 'click', 'dm', 'stow']
    order_name = ['综合排序', '最多点击', '最多弹幕', '最多收藏']

    # 迭代每种排序
    for i in range(4):
        index = 1
        # 迭代每一页
        for page in range(1, pages + 1):
            # url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&tids_1=36&page={}".format(keyword,
            #                                                                                                 order[i],
            #                                                                                                 page)
            url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&page={}".format(keyword,
                                                                                                  order[i],
                                                                                                  page)

            text = get_html(url)
            datas = get_datas(text)
            # 为每种排序创建一个文本文件单独存放
            with open(order_name[i] + '.txt', 'a', encoding="utf-8") as file:
                for video_title, video_URL, video_watch, video_dm, video_time, video_up in grouped(datas, 6):
                    file.write(' + '.join(
                        [str(index), video_title, video_URL, video_watch, video_dm, video_time, video_up, '\n']))
                    index += 1
            # 做一只善意的爬虫，不要给服务器带来负担
            time.sleep(1)


if __name__ == "__main__":
    main()

小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

isdkz
发表于 2022-3-23 17:49:32 | 显示全部楼层    本楼为最佳答案   
peng_python 发表于 2022-3-23 16:29

有一个地方的标签的 class 改了：
  1. import requests
  2. import bs4
  3. import time


  6. def get_input():
  7.     keyword = input("请输入关键词：")
  8.     pages = int(input("请输入要爬取得页数（1~50）："))

  10.     while pages not in range(1, 51):
  11.         pages = int(input("请输入正确的页数："))

  13.     return keyword, pages


  16. def get_html(url):
  17.     headers = {
  18.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
  19.     res = requests.get(url, headers=headers)
  20.     #print(res)

  22.     return res.text


  25. def get_datas(text):
  26.     soup = bs4.BeautifulSoup(text, "html.parser")

  28.     datas = []
  29.     #videos = soup.find_all("li", class_="video matrix")                 
  30.     videos = soup.find_all("li", class_="video-item matrix")               # 这里的标签类名改了
  31.     for video in videos:
  32.         # 获取标题
  33.         datas.append(video.a['title'])
  34.         # 获取URL
  35.         datas.append(video.a['href'])
  36.         # 获取观看数/弹幕数/上传时间/阿婆主
  37.         tags = video.select("div[class='tags'] > span")

  39.         for tag in tags:
  40.             datas.append(''.join(tag.text.split()))
  41.     return datas


  44. def grouped(iterable, n):
  45.     "将列表切成n片一组"
  46.     "s -> (s0,s1,s2,...sn-1), (sn,sn+1,sn+2,...s2n-1), (s2n,s2n+1,s2n+2,...s3n-1), ..."
  47.     return zip(*[iter(iterable)] * n)



  51. def main():
  52.     keyword, pages = get_input()
  53.     order = ['totalrank', 'click', 'dm', 'stow']
  54.     order_name = ['综合排序', '最多点击', '最多弹幕', '最多收藏']

  56.     # 迭代每种排序
  57.     for i in range(4):
  58.         index = 1
  59.         # 迭代每一页
  60.         for page in range(1, pages + 1):
  61.             # url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&tids_1=36&page={}".format(keyword,
  62.             #                                                                                                 order[i],
  63.             #                                                                                                 page)
  64.             url = "https://search.bilibili.com/all?keyword={}&order={}&duration=4&page={}".format(keyword,
  65.                                                                                                   order[i],
  66.                                                                                                   page)

  68.             text = get_html(url)
  69.             datas = get_datas(text)
  70.             # 为每种排序创建一个文本文件单独存放
  71.    
  72.             with open(order_name[i] + '.txt', 'a', encoding="utf-8") as file:
  73.                 for video_title, video_URL, video_watch, video_dm, video_time, video_up in grouped(datas, 6):
  74.                     file.write(' + '.join(
  75.                         [str(index), video_title, video_URL, video_watch, video_dm, video_time, video_up, '\n']))
  76.                     index += 1
  77.             # 做一只善意的爬虫，不要给服务器带来负担
  78.             time.sleep(1)


  81. if __name__ == "__main__":
  82.     main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

peng_python
 楼主| 发表于 2022-3-23 18:49:03 | 显示全部楼层
isdkz 发表于 2022-3-23 17:49
有一个地方的标签的 class 改了：

成功了！非常感谢！！！
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-4-29 13:26

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表