[已解决]爬贴吧

jump_p

1. from urllib.request import Request,urlopen
   
2. from fake_useragent import UserAgent
   
3. from urllib.parse import urlencode
   
4. 
   
5. def get_html(url):
   
6.     headers = {'User-Agent': UserAgent().random}
   
7.     request = Request(url,headers=headers)
   
8.     response = urlopen(request)
   
9.     return response.read()
   
10. 
    
11. def save_html(filename, html_bytes):
    
12.     with open(filename ,'wb') as f:
    
13.         f.write(html_bytes)
    
14. 
    
15. def main():
    
16.     content = input("请输入要下载的内容：")
    
17.     num = input("请输入要下载多少页：")
    
18.     base_url = "https://tieba.baidu.com/f?ie=utf-8&{}"
    
19.     for pn in range(int(num)):
    
20.         args={
    
21.             "pn": pn * 50,
    
22.             "kw": content
    
23.         }
    
24.         filename = "第" + str(pn+1) + "页.html"
    
25.         args = urlencode(args)
    
26.         print("正在下载"+filename)
    
27.         html_bytes = get_html(base_url.format(args))
    
28.         save_html(filename, html_bytes)
    
29. 
    
30. if __name__ == '__main__':
    
31.     main()
    
32. 
    

复制代码

为啥成功爬下来的HTML文件打开后没内容呢。。。

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-6-14 12:02:51

文件有内容

跳转到最佳答案楼层

Twilight6

嘿嘿  我们看的一个b站教程

jump_p

Twilight6 发表于 2020-6-14 11:41
嘿嘿  我们看的一个b站教程

就是你推荐我的那个

Twilight6

jump_p 发表于 2020-6-14 11:42
就是你推荐我的那个

哈哈，我当时爬也是不显示内容的 就只有几个简单的字

你爬的一点内容都没嘛

suchocolate

我用你的代码运行正常，里面有内容。

jump_p

suchocolate 发表于 2020-6-14 11:53
我用你的代码运行正常，里面有内容。

嗯？正常显示吗

suchocolate

文件有内容

jump_p

suchocolate 发表于 2020-6-14 12:02
文件有内容

真的可以！从你右边这个文件里选择浏览器打开就有了。你这个左右显示的是怎么弄的？

suchocolate

jump_p 发表于 2020-6-14 12:37
真的可以！从你右边这个文件里选择浏览器打开就有了。你这个左右显示的是怎么弄的？

右键你想放到右边的代码，选择【Split and move Right】。或者菜单栏【Windows】-【Edit Tabs】里也有。
恢复的话选择【Unsplit】。

jump_p

suchocolate 发表于 2020-6-14 14:55
右键你想放到右边的代码，选择【Split and move Right】。或者菜单栏【Windows】-【Edit Tabs】里也有。
...