我不是第一个 发表于 2021-5-10 14:55:46

批量下载网页

把很多网址放在一个txt文档里面，一行一个，想下载网页源码，保存在指定的文件夹内，格式.html
请问需要用到那些模块。



f=open(r'C:\Users\Admin\Desktop\111.txt','r')
for i in f:
        html=urllib.request.urlopen(i).read().decode('utf-8','ignore')
        print(html)

小白只能写到这里了{:5_109:} ，用urllib.request.urlretrieve()   下载报错，不知道哪里出错了。

Stubborn 发表于 2021-5-10 15:24:47

def get_urls():
    with open("urls.txt") as urls:
      for url in urls:
            url = url.replace("\n", "")
            response = requests.get(url)
            ... #拿到响应，写入文件



urls.txt
https://fishc.com.cn/
https://fishc.com.cn/
https://fishc.com.cn/

我不是第一个 发表于 2021-5-10 15:35:23

Stubborn 发表于 2021-5-10 15:24
urls.txt

没有看到下载的网页啊。。只要用到requests 模块吗

Stubborn 发表于 2021-5-10 15:41:59

我不是第一个 发表于 2021-5-10 15:35
没有看到下载的网页啊。。只要用到requests 模块吗

是的,安装requests模块
pip install requests

befal 发表于 2021-5-10 15:45:59

我建议用selenium模块试试，这样异步加载的网页内容你也能获取到

我不是第一个 发表于 2021-5-10 15:50:37

befal 发表于 2021-5-10 15:45
我建议用selenium模块试试，这样异步加载的网页内容你也能获取到

谢谢，我试试看{:9_227:}
页: [1]
查看完整版本: 批量下载网页