[已解决]简单爬取网页信息

y116114

1. import urllib.request
   
2. response = urllib.request.urlopen("https://www.youzack.com")
   
3. html = response.read()
   
4. print(html)
   

复制代码

1. Traceback (most recent call last):
   
2.   File "E:\Python程序例子\111.py", line 2, in <module>
   
3.     response = urllib.request.urlopen("https://www.youzack.com")
   
4.   File "E:\Python\lib\urllib\request.py", line 222, in urlopen
   
5.     return opener.open(url, data, timeout)
   
6.   File "E:\Python\lib\urllib\request.py", line 531, in open
   
7.     response = meth(req, response)
   
8.   File "E:\Python\lib\urllib\request.py", line 640, in http_response
   
9.     response = self.parent.error(
   
10.   File "E:\Python\lib\urllib\request.py", line 569, in error
    
11.     return self._call_chain(*args)
    
12.   File "E:\Python\lib\urllib\request.py", line 502, in _call_chain
    
13.     result = func(*args)
    
14.   File "E:\Python\lib\urllib\request.py", line 649, in http_error_default
    
15.     raise HTTPError(req.full_url, code, msg, hdrs, fp)
    
16. urllib.error.HTTPError: HTTP Error 403: Forbidden

复制代码

[/code]


为啥按照爬虫第一课视频里讲的代码不能爬取这个网站信息啊？一脸懵逼。。。。

最佳答案

月排行榜 / 总排行榜

疾风怪盗

2020-10-14 01:25:26

这样就可以了。。。。。。。
这个库我没用过，网上找的代码，一般现在都用resquests库吧，比较方便

1. import urllib.request
   
2. 
   
3. url="https://www.youzack.com"
   
4. headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
   
5. req=urllib.request.Request(url=url,headers=headers)
   
6. response=urllib.request.urlopen(req)
   
7. html = response.read().decode("utf-8")
   
8. print(html)
   

复制代码

跳转到最佳答案楼层

bonst

有可能是地址错误，你用电脑输入进去看看能不能访问，或者换个网址，比如百度

疾风怪盗

这样就可以了。。。。。。。
这个库我没用过，网上找的代码，一般现在都用resquests库吧，比较方便

1. import urllib.request
   
2. 
   
3. url="https://www.youzack.com"
   
4. headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
   
5. req=urllib.request.Request(url=url,headers=headers)
   
6. response=urllib.request.urlopen(req)
   
7. html = response.read().decode("utf-8")
   
8. print(html)
   

复制代码

y116114

疾风怪盗 发表于 2020-10-14 01:25
这样就可以了。。。。。。。
这个库我没用过，网上找的代码，一般现在都用resquests库吧，比较方便

headers那一步没看懂网址没错，这是一个用来听听力背单词的网页。那request这个库和你说的那个新的库用法有什么区别吗，或者有没有相关的文章，感觉好蒙

疾风怪盗

y116114 发表于 2020-10-14 13:38
headers那一步没看懂网址没错，这是一个用来听听力背单词的网页。那request这个库和你说的那个 ...

resquests库只要这样就行了，更方便，区别么，不知道，觉得就是更简单吧，至于文章么，百度找啊，很多的

1. import requests
   
2. 
   
3. url="https://www.youzack.com"
   
4. headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
   
5. response=requests.get(url=url,headers=headers)
   
6. html = response.content.decode()
   
7. print(html)
   

复制代码

y116114

疾风怪盗 发表于 2020-10-14 14:00
resquests库只要这样就行了，更方便，区别么，不知道，觉得就是更简单吧，至于文章么，百度找啊，很多的
...

嗯嗯好！就是headers那一步看不懂，那个是有固定格式吗，比如不同的网址只需要改一下个别地方就行

疾风怪盗

y116114 发表于 2020-10-14 14:10
嗯嗯好！就是headers那一步看不懂，那个是有固定格式吗，比如不同的网址只需要改一下个别地方就行

headers就是请求头，一般放个UA就行了
如果有反爬，多加点试试

你再学下吧

伪文青

y116114 发表于 2020-10-14 14:10
嗯嗯好！就是headers那一步看不懂，那个是有固定格式吗，比如不同的网址只需要改一下个别地方就行

headers可以省略，没发现问题

1. import requests
   
2. response = requests.get("https://www.youzack.com")
   
3. html = response.content.decode()
   
4. print(html)
   

复制代码

y116114

疾风怪盗 发表于 2020-10-14 14:21
headers就是请求头，一般放个UA就行了
如果有反爬，多加点试试

嗯嗯好~

y116114

伪文青 发表于 2020-10-14 14:28
headers可以省略，没发现问题

嗯嗯好的！谢谢！