[已解决]Web爬虫

蛋炒饭妖妖

在书上看到一段代码，没看懂什么意思：

1. parser=HTMLParser(formatter.AbstractFormatter(formatter.DumbWriter(cStringIO.StringIO())))
   
2.         parser.feed(data)
   
3.         parser.close()
   
4.         return parser.anchorlist

复制代码

百度一下，说StringIO是为了从内存中读取数据，但是没太懂读的是什么数据？
                还有说DumbWriter是把事件流转换为文本文档。事件流的意思是什么呢？这里把什么改成了文本文档？

AbstractFormatter具体用法是什么也没太理解。。

各位大神答疑解惑，小女子感激不尽啊~~

附上整体程序：

1. #!/user/bin/env python
   
2. import cStringIO
   
3. import formatter
   
4. from htmllib import HTMLParser
   
5. import httplib
   
6. import sys
   
7. import os
   
8. import urllib
   
9. import urlparse
   
10. class Retriever(object):
    
11.     __slots__=('url','file')
    
12.     def __init__(self,url):
    
13.         self.url,self.file=self.get_file(url)
    
14.     def get_file(self,url,default='index.html'):
    
15.         'Create usable local filename from URL'
    
16.         parsed=urlparse.urlparse(url)
    
17.         host=parsed.netloc.split('@')[-1].split(':')[0]
    
18.         filepath='%s%s' % (host,parsed.path)
    
19. 
    
20.         if not os.path.splitext(parsed.path)[1]:
    
21.             filepath=os.path.join(filepath,default)
    
22.         linkdir=os.path.dirname(filepath)
    
23.         if not os.path.isdir(linkdir):
    
24.             if os.path.exists(linkdir):
    
25.                 os.unlink(linkdir)
    
26.             os.makedirs(linkdir)
    
27.         return url,filepath
    
28.     def download(self):
    
29.         'Downliad URL to specific named file'
    
30.         try:
    
31.             retval=urllib.urlretrieve(self.url,self.file)
    
32.         except (IOError,httplib.InvalidURL) as e:
    
33.             retval=(('*** ERROR :bad URL:"%s":%s' % (self.url,e)),)
    
34.         return retval
    
35.     def parse_links(self):
    
36.         'Parse out the links found in download HTML file'
    
37.         f=open(self.file,'r')
    
38.         data=f.read()
    
39.         f.close()
    
40.         parser=HTMLParser(formatter.AbstractFormatter(formatter.DumbWriter(cStringIO.StringIO())))
    
41.         parser.feed(data)
    
42.         parser.close()
    
43.         return parser.anchorlist
    
44. 
    
45. class Crawler(object):
    
46.     count=0
    
47.     def __init__(self,url):
    
48.         self.q=[url]
    
49.         self.seen=set()
    
50.         parsed=urlparse.urlparse(url)
    
51.         host = parsed.netloc.split('@')[-1].split(':')[0]
    
52.         self.dom = '.'.join(host.split('.')[-2:])
    
53.     def get_page(self,url,media=False):
    
54.         'Download page & parse links,add to queue if nec'
    
55.         r=Retriever(url)
    
56.         fname=r.download()[0]
    
57.         if fname[0]=='*':
    
58.             print fname,'...skipping parse'
    
59.             return
    
60.         Crawler.count+=1
    
61.         print '\n(',Crawler.count,')'
    
62.         print 'URL:',url
    
63.         print 'FILE:',fname
    
64.         self.seen.add(url)
    
65.         ftype=os.path.splitext(fname)[1]
    
66.         if ftype not in ('.htm','.html'):
    
67.             return
    
68.         for link in r.parse_links():
    
69.             if link.startswith('mailto:'):
    
70.                 print '...discarded,mailto link'
    
71.                 continue
    
72.             if not media:
    
73.                 ftype=os.path.splitext(link)[1]
    
74.                 if ftype in ('.mp3','.mp4','.m4v','.wav'):
    
75.                     print '...discarded ,media file'
    
76.                     continue
    
77.             if not link.startswith('http://'):
    
78.                 link=urlparse.urljoin(url,link)
    
79.             print '*',link,
    
80.             if link not in self.seen:
    
81.                 if self.dom not in link:
    
82.                     print '...discarded,not in domain'
    
83.                 else:
    
84.                     if link not in link:
    
85.                         self.q.append(link)
    
86.                         print '...new,added to Q'
    
87.                     else:
    
88.                         print '...discarded,already in Q'
    
89.             else:
    
90.                 print '...discarded,already processed'
    
91.     def go(self,media=False):
    
92.         'Process next page in queue (if any)'
    
93.         while self.q:
    
94.             url=self.q.pop()
    
95.             self.get_page(url,media)
    
96. 
    
97. def main():
    
98.     if len(sys.argv)>1:
    
99.         url=sys.argv[1]
    
100.     else:
     
101.         try:
     
102.             url=raw_input('Enter starting URl:')
     
103.         except (KeyboardInterrupt,EOFError):
     
104.             url=''
     
105.     if not url:
     
106.         return
     
107.     if not url.startswith('http://') and not url.startswith('ftp://'):
     
108.         url='http://%s/' % url
     
109.     robot=Crawler(url)
     
110.     robot.go()
     
111. 
     
112. if __name__=='__main__':
     
113.     main()

复制代码

最佳答案

月排行榜 / 总排行榜

jerryxjr1220

2017-1-18 11:58:00

这个应该还是用python2写的，用的库也是python自带的urllib的标准库
如果你用python3+requests库写就不需要这么麻烦了
response.content 直接就是字节流
response.text 就是解码好的字符串
非常方便，不再需要用到StringIO 转换byte和str了

跳转到最佳答案楼层

jerryxjr1220

这个应该还是用python2写的，用的库也是python自带的urllib的标准库
如果你用python3+requests库写就不需要这么麻烦了
response.content 直接就是字节流
response.text 就是解码好的字符串
非常方便，不再需要用到StringIO 转换byte和str了

蛋炒饭妖妖

jerryxjr1220 发表于 2017-1-18 11:58
这个应该还是用python2写的，用的库也是python自带的urllib的标准库
如果你用python3+requests库写就不需 ...

这个字节流的含义能否理解为当前网页的内容？

蛋炒饭妖妖

追加一个问题 。

在这个程序里，可以识别当前页的其他链接。这个具体怎么实现的？没怎么理解。。

蛋炒饭妖妖

定~~~~