[已解决]批量下载网页

我不是第一个

把很多网址放在一个txt文档里面，一行一个，想下载网页源码，保存在指定的文件夹内，格式.html
请问需要用到那些模块。



f=open(r'C:\Users\Admin\Desktop\111.txt','r')
for i in f:
        html=urllib.request.urlopen(i).read().decode('utf-8','ignore')
        print(html)

小白只能写到这里了 ，用urllib.request.urlretrieve()   下载报错，不知道哪里出错了。

最佳答案

月排行榜 / 总排行榜

Stubborn

2021-5-10 15:24:47

1. def get_urls():
   
2.     with open("urls.txt") as urls:
   
3.         for url in urls:
   
4.             url = url.replace("\n", "")
   
5.             response = requests.get(url)
   
6.             ... #拿到响应，写入文件
   

复制代码

urls.txt

1. https://fishc.com.cn/
   
2. https://fishc.com.cn/
   
3. https://fishc.com.cn/

复制代码

跳转到最佳答案楼层

Stubborn

1. def get_urls():
   
2.     with open("urls.txt") as urls:
   
3.         for url in urls:
   
4.             url = url.replace("\n", "")
   
5.             response = requests.get(url)
   
6.             ... #拿到响应，写入文件
   

复制代码

urls.txt

1. https://fishc.com.cn/
   
2. https://fishc.com.cn/
   
3. https://fishc.com.cn/

复制代码

我不是第一个

Stubborn 发表于 2021-5-10 15:24
urls.txt

没有看到下载的网页啊。。  只要用到  requests 模块吗

Stubborn

我不是第一个 发表于 2021-5-10 15:35
没有看到下载的网页啊。。  只要用到  requests 模块吗

是的,安装requests模块

1. pip install requests

复制代码

befal

我建议用selenium模块试试，这样异步加载的网页内容你也能获取到

我不是第一个

befal 发表于 2021-5-10 15:45
我建议用selenium模块试试，这样异步加载的网页内容你也能获取到

谢谢，我试试看