[已解决]新手爬虫：为什么爬取下来的网页新闻 打开网页闪一下就变成空白

909646372

import urllib.request
import http.cookiejar

url = 'https://news.163.com/20/0218/08/F5LFGKKS000189FH.html'

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; rv:73.0) Gecko/20100101 Firefox/73.0",
                     "Accept-Language": "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2",
                     "Accept-Encoding": "utf-8",
                     "Connection":"keep-alive",
                    "referer" : "http://www.163.com/",
           "Accept":"image/webp,*/*"
}

cjar = http.cookiejar.CookieJar()
proxy = urllib.request.ProxyHandler({'http':'127.0.0.1.8888'})
opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler,urllib.request.HTTPCookieProcessor(cjar))

headall=[]
for key,value in headers.items():
    item = (key , value)
    headall.append(item)

opener.addheaders = headall
print(opener)
urllib.request.install_opener(opener)
data = urllib.request.urlopen(url).read()
fhandle = open("C:/Users/Administrator/Desktop/网易新闻/1.html","wb")
fhandle.write(data)
fhandle.close()

最佳答案

月排行榜 / 总排行榜

prophet-1

2020-2-18 15:28:40

你爬取的只是这个网页的源代码，它还调用了其他的js文件、css文件和图片。

跳转到最佳答案楼层

wp231957

你不能存为html

prophet-1

你爬取的只是这个网页的源代码，它还调用了其他的js文件、css文件和图片。

909646372

prophet-1 发表于 2020-2-18 15:28
你爬取的只是这个网页的源代码，它还调用了其他的js文件、css文件和图片。

好的

909646372

wp231957 发表于 2020-2-18 12:01
你不能存为html

明白