[已解决]关于python爬虫的问题

丢丢yhj

下面是我写的一段爬取京东手机图片的代码 程序没有报错 但是没有爬出东西 求大大帮忙看看 具体是正则用法的错误 还是其他的错误

1. import re
   
2. import urllib.request
   
3. 
   
4. def craw(url,page):
   
5.     html1 = urllib.request.urlopen(url).read()
   
6.     html1 = str(html1)
   
7.     pat1 = '<div id="J_goodsList".+?"page clearfix"'
   
8.     result1 = re.compile(pat1).findall(html1)
   
9.     result1 = result1[0]
   
10.     pat2 =  '<img width="220" height="220" class="err-product" data-img="1" src="//img(.+?\.jpg)">'
    
11.     photolist = re.compile(pat2).findall(result1)
    
12. 
    
13.     x = 1
    
14.     for photourl in photolist:
    
15.         photoname = 'E:\\京东手机图片\\img1' + str(page) + str(x) + '.jpg'
    
16.         photourl = 'http://' + photourl
    
17. 
    
18.         try:
    
19.             urllib.request.urlretrieve(photourl,filename = photoname)
    
20.         except urllib.error.URLError as e:
    
21.             if hasattr(e,'code'):
    
22.                 x+=1
    
23.             if hasattr(e,'reason'):
    
24.                 x+=1
    
25.         x+=1
    
26. 
    
27. for i in range(1,50,2):
    
28.     url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=' + str(i)
    
29.     craw(url,i)
    

复制代码

最佳答案

月排行榜 / 总排行榜

ba21

2017-9-1 23:06:26

1. import re
   
2. import urllib.request
   
3. 
   
4. def craw(url,page):
   
5.     html1 = urllib.request.urlopen(url).read().decode('utf-8')
   
6.     p =  r'<img width="220" height="220" class="err-product" data-img="1" src="(//.+\.jpg)" />'   
   
7.     photolist = re.compile(p).findall(html1)
   
8. 
   
9.     x = 1
   
10.     for photourl in photolist:
    
11.         photoname = 'E:\\京东手机图片\\img1\\' + str(page) + str(x) + '.jpg'
    
12.         photourl = 'http:' + photourl
    
13.         print(photourl)
    
14.         try:
    
15.             urllib.request.urlretrieve(photourl,filename = photoname)
    
16.         except urllib.error.URLError as e:
    
17.             if hasattr(e,'code'):
    
18.                 x+=1
    
19.             if hasattr(e,'reason'):
    
20.                 x+=1
    
21.         x+=1
    
22. 
    
23. 
    
24. url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=1'
    
25. craw(url,1)
    

复制代码

跳转到最佳答案楼层

ba21

1. import re
   
2. import urllib.request
   
3. 
   
4. def craw(url,page):
   
5.     html1 = urllib.request.urlopen(url).read().decode('utf-8')
   
6.     p =  r'<img width="220" height="220" class="err-product" data-img="1" src="(//.+\.jpg)" />'   
   
7.     photolist = re.compile(p).findall(html1)
   
8. 
   
9.     x = 1
   
10.     for photourl in photolist:
    
11.         photoname = 'E:\\京东手机图片\\img1\\' + str(page) + str(x) + '.jpg'
    
12.         photourl = 'http:' + photourl
    
13.         print(photourl)
    
14.         try:
    
15.             urllib.request.urlretrieve(photourl,filename = photoname)
    
16.         except urllib.error.URLError as e:
    
17.             if hasattr(e,'code'):
    
18.                 x+=1
    
19.             if hasattr(e,'reason'):
    
20.                 x+=1
    
21.         x+=1
    
22. 
    
23. 
    
24. url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=1'
    
25. craw(url,1)
    

复制代码

ド゛゜范

建议你先去学习bs4比正则容易多了，后面慢慢研究正则

丢丢yhj

ド゛゜范 发表于 2017-9-2 00:28
建议你先去学习bs4比正则容易多了，后面慢慢研究正则

bs 和sc我没有安装 准备装一个  
昨天看了一天的正则 头痛

ド゛゜范

丢丢yhj 发表于 2017-9-2 13:28
bs 和sc我没有安装 准备装一个  
昨天看了一天的正则 头痛

那就慢慢研究，肯定能懂的