[已解决]urllib执行后IDLE什么都不出现是为什么呢？

326533970

1. #python 3.5.2
   
2. 
   
3. 
   
4. import urllib.request, os
   
5. 
   
6. def urlopen(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
   
9.     resp=urllib.request.urlopen(url)
   
10.     html=resp.read()
    
11.     return html
    
12. def get_page(url):
    
13.     html=urlopen(url).decode('utf-8')
    
14. 
    
15. urlopen()
    

复制代码

永远是如图所示要怎么整？
urllib.request模块要怎么替换一个新的才行？
只要import urllib.request一句就足以这样了

最佳答案

月排行榜 / 总排行榜

玄夜Python之路

2017-1-3 18:31:14

你是做爬取图片爬虫吗？你的函数写错了


匹配模块有BeautifulSoup和re，而不是你所写的 .find() 。

python中find的函数的功能是查找指定的字符串并返回该字符串的起始位置。

函数原型：find(str, pos_start, pos_end)

参数如下：

str:被查找“字符串”

pos_start:查找的首字母位置（从0开始计数。默认：0）

pos_end: 查找的末尾位置（默认-1）

返回值：如果查到：返回查找的第一个出现的位置。否则，返回-1。

爬虫之查找内容：
方法一：from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'html.parser')
img_url = soup.find('img').get('src')   #匹配图片url
imgs = soup.find_all('img') #匹配所有的图片

方法二：import re
reg = r'src="(.+?\.jpg)" '
img = re.compile(reg)
imgs = re.findall(img, html)        #匹配所有的图片

跳转到最佳答案楼层

hldh214

1. print(urlopen())

复制代码

玄夜Python之路

你没有传参

326533970

玄夜Python之路 发表于 2016-12-30 17:17
你没有传参

不是的 这里连‘>>>’都没有 还有 我只import urllib.request 之后也一样

1. 
   
2. 
   
3. #python3.5.2
   
4. 
   
5. import urllib.request
   
6. import os
   
7. 
   
8. 
   
9. def url_open(url):
   
10.     req=urllib.request.Request(url)
    
11.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
    
12. 
    
13.     resp=urllib.request.urlopen(url)
    
14.     html=resp.read()
    
15.     return html
    
16. 
    
17. 
    
18. def get_page(url):
    
19.    
    
20.     html=url_open(url).decode('utf-8')
    
21. 
    
22.     a= html.find('current-comment-page') + 23#.find是从搜索的第一个字符开始计算的包括'<之类的
    
23.     b= html.find(']',a)
    
24.     h=html[a:b]
    
25.     return html[a:b]
    
26.    
    
27. 
    
28. 
    
29. def find_imgs(url):
    
30. 
    
31.     html=url_open(url).decode('utf-8')
    
32.     img_addrs=[]
    
33.     a=html.find('img src=')
    
34.     while a != -1:
    
35.         b= html.find('.jpg',a,a+255)
    
36.         if b!= -1:
    
37.             img_addrs.append(html[a+9:b+4])
    
38.         else:
    
39.             b=a+9
    
40.         a= html.find('img src=',b)
    
41.     return img_addrs
    
42. 
    
43. def save_imgs(folder, img_addrs):
    
44.     for each in img_addrs:
    
45.         filename=each.split('/')[-1]
    
46.         with open(filename,'wb')as f:
    
47.             img = url_open(each)
    
48.             f.write(img)
    
49. def download_mm(folder='ooxx',pages=50):
    
50.     url='http://jandan.net/ooxx'
    
51.     a=os.getcwd()
    
52.     '''if not os.path.exits(a):
    
53.         path=a+os.sep+folder
    
54.         os.mkdir(path)
    
55.     else:
    
56.         path=a+os.sep+folder
    
57.     os.chdir(path)'''
    
58.     os.mkdir(folder)
    
59.     os.chdir(folder)
    
60.     page_num = int(get_page(url))
    
61.     for i in range(pages):
    
62.         page_num-=i
    
63.         page_url=url+'page-'+str(page_num)+'#comments'
    
64.         img_addrs=find_imgs(page_url)
    
65.         save_imgs(folder,img_addrs)
    
66.         
    
67. if __name__='__main__':
    
68.     download_mm()
    
69. 
    
70. 
    

复制代码

按F5之后
就是如上图的样子

326533970

hldh214 发表于 2016-12-30 10:12

不是的 这里连‘>>>’都没有 还有 我只import urllib.request 之后也一样

1. 
   
2. 
   
3. #python3.5.2
   
4. 
   
5. import urllib.request
   
6. import os
   
7. 
   
8. 
   
9. def url_open(url):
   
10.     req=urllib.request.Request(url)
    
11.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
    
12. 
    
13.     resp=urllib.request.urlopen(url)
    
14.     html=resp.read()
    
15.     return html
    
16. 
    
17. 
    
18. def get_page(url):
    
19.    
    
20.     html=url_open(url).decode('utf-8')
    
21. 
    
22.     a= html.find('current-comment-page') + 23#.find是从搜索的第一个字符开始计算的包括'<之类的
    
23.     b= html.find(']',a)
    
24.     h=html[a:b]
    
25.     return html[a:b]
    
26.    
    
27. 
    
28. 
    
29. def find_imgs(url):
    
30. 
    
31.     html=url_open(url).decode('utf-8')
    
32.     img_addrs=[]
    
33.     a=html.find('img src=')
    
34.     while a != -1:
    
35.         b= html.find('.jpg',a,a+255)
    
36.         if b!= -1:
    
37.             img_addrs.append(html[a+9:b+4])
    
38.         else:
    
39.             b=a+9
    
40.         a= html.find('img src=',b)
    
41.     return img_addrs
    
42. 
    
43. def save_imgs(folder, img_addrs):
    
44.     for each in img_addrs:
    
45.         filename=each.split('/')[-1]
    
46.         with open(filename,'wb')as f:
    
47.             img = url_open(each)
    
48.             f.write(img)
    
49. def download_mm(folder='ooxx',pages=50):
    
50.     url='http://jandan.net/ooxx'
    
51.     a=os.getcwd()
    
52.     '''if not os.path.exits(a):
    
53.         path=a+os.sep+folder
    
54.         os.mkdir(path)
    
55.     else:
    
56.         path=a+os.sep+folder
    
57.     os.chdir(path)'''
    
58.     os.mkdir(folder)
    
59.     os.chdir(folder)
    
60.     page_num = int(get_page(url))
    
61.     for i in range(pages):
    
62.         page_num-=i
    
63.         page_url=url+'page-'+str(page_num)+'#comments'
    
64.         img_addrs=find_imgs(page_url)
    
65.         save_imgs(folder,img_addrs)
    
66.         
    
67. if __name__='__main__':
    
68.     download_mm()
    
69. 
    
70. 
    

复制代码

按F5之后
就是如上图的样子

调皮的小屌

print（）打印出来

玄夜Python之路

你是做爬取图片爬虫吗？你的函数写错了


匹配模块有BeautifulSoup和re，而不是你所写的 .find() 。

python中find的函数的功能是查找指定的字符串并返回该字符串的起始位置。

函数原型：find(str, pos_start, pos_end)

参数如下：

str:被查找“字符串”

pos_start:查找的首字母位置（从0开始计数。默认：0）

pos_end: 查找的末尾位置（默认-1）

返回值：如果查到：返回查找的第一个出现的位置。否则，返回-1。

爬虫之查找内容：
方法一：from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'html.parser')
img_url = soup.find('img').get('src')   #匹配图片url
imgs = soup.find_all('img') #匹配所有的图片

方法二：import re
reg = r'src="(.+?\.jpg)" '
img = re.compile(reg)
imgs = re.findall(img, html)        #匹配所有的图片