[已解决]爬贴吧

jump_p

from urllib.request import Request,urlopen
from fake_useragent import UserAgent
from urllib.parse import urlencode

def get_html(url):
    headers = {'User-Agent': UserAgent().random}
    request = Request(url,headers=headers)
    response = urlopen(request)
    return response.read()

def save_html(filename, html_bytes):
    with open(filename ,'wb') as f:
        f.write(html_bytes)

def main():
    content = input("请输入要下载的内容：")
    num = input("请输入要下载多少页：")
    base_url = "https://tieba.baidu.com/f?ie=utf-8&{}"
    for pn in range(int(num)):
        args={
            "pn": pn * 50,
            "kw": content
        }
        filename = "第" + str(pn+1) + "页.html"
        args = urlencode(args)
        print("正在下载"+filename)
        html_bytes = get_html(base_url.format(args))
        save_html(filename, html_bytes)

if __name__ == '__main__':
    main()

为啥成功爬下来的HTML文件打开后没内容呢。。。

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-6-14 12:02:51

文件有内容

跳转到最佳答案楼层

Twilight6

嘿嘿  我们看的一个b站教程

jump_p

Twilight6 发表于 2020-6-14 11:41
嘿嘿  我们看的一个b站教程

就是你推荐我的那个

Twilight6

jump_p 发表于 2020-6-14 11:42
就是你推荐我的那个

哈哈，我当时爬也是不显示内容的 就只有几个简单的字

你爬的一点内容都没嘛

suchocolate

我用你的代码运行正常，里面有内容。

jump_p

suchocolate 发表于 2020-6-14 11:53
我用你的代码运行正常，里面有内容。

嗯？正常显示吗

suchocolate

文件有内容

jump_p

suchocolate 发表于 2020-6-14 12:02
文件有内容

真的可以！从你右边这个文件里选择浏览器打开就有了。你这个左右显示的是怎么弄的？

suchocolate

jump_p 发表于 2020-6-14 12:37
真的可以！从你右边这个文件里选择浏览器打开就有了。你这个左右显示的是怎么弄的？

右键你想放到右边的代码，选择【Split and move Right】。或者菜单栏【Windows】-【Edit Tabs】里也有。
恢复的话选择【Unsplit】。

jump_p

suchocolate 发表于 2020-6-14 14:55
右键你想放到右边的代码，选择【Split and move Right】。或者菜单栏【Windows】-【Edit Tabs】里也有。
...