一段爬虫代码，不明白错在哪里了

小明EVO

1. import io
   
2. import formatter
   
3. import html.parser
   
4. import http.client
   
5. import os
   
6. import sys
   
7. import urllib.parse, urllib.request
   
8. 
   
9. class Retriever(object):
   
10.     __slots__ = ('url', 'file')
    
11.     def __init__(self, url):
    
12.         self.url, self.file = self.get_file(url)
    
13. 
    
14.     def get_file(self, url, default='index.html'):
    
15.         'Create usable lacal fielname from URL'
    
16.         parsed = urllib.parse.urlparse(url)
    
17.         host = parsed.netloc.split('@')[-1].split(':')[0]
    
18.         filepath = '%s%s' % (host, parsed.path)
    
19.         if not os.path.splitext(parsed.path)[1]:
    
20.             filepath = os.path.join(filepath, default)
    
21.         linkdir = os.path.dirname(filepath)
    
22.         if not os.path.isdir(linkdir):
    
23.             if os.path.exists(linkdir):
    
24.                 os.unlink(linkdir)
    
25.             os.makedirs(linkdir)
    
26.         return url, filepath
    
27. 
    
28.     def download(self):
    
29.         'Download URL to specific named file'
    
30.         try:
    
31.             retval = urllib.request.urlretrieve(self.url, self.file)
    
32.         except (IOError, http.client.InvalidURL) as e:
    
33.             retval = (('***ERROR: BAD URL "%s": %s ' % (self.url, e)),)
    
34.         return retval
    
35. 
    
36.     def parse_links(self):
    
37.         'Parse out the links found in downloaded HTML file'
    
38.         with open(self.file, 'r') as f:
    
39.             data = f.read()
    
40.         parser = html.parser.HTMLParser(formatter.AbstractFormatter(
    
41.             formatter.DumbWriter(io.StringIO())))
    
42.         parser.feed(data)
    
43.         parser.close()
    
44.         return parser.anchorlist
    
45. 
    
46. class Crawler(object):
    
47.     count = 0
    
48. 
    
49.     def __init__(self, url):
    
50.         self.q = [url]
    
51.         self.seen = set()
    
52.         parsed = urllib.parse.urlparse(url)
    
53.         host = parsed.netloc.split('@')[-1].split(':')[0]
    
54.         self.dom = '.'.join(host.split('.')[-2:])
    
55. 
    
56.     def get_page(self, url, media=False):
    
57.         'Download page and parse links, add to queue if nec'
    
58.         r = Retriever(url)
    
59.         fname = r.download()[0]
    
60.         if fname[0] == '*':
    
61.             print(fname, '... skipping parse')
    
62.             return
    
63.         Crawler.count += 1
    
64.         print('\n(', Crawler.count, ')')
    
65.         print('URL:', url)
    
66.         print('FILE:', fname)
    
67.         self.seen.add(url)
    
68.         ftype = os.path.splitext(fname)[1]
    
69.         if ftype not in ('.htm', '.html'):
    
70.             return
    
71. 
    
72.         for link in r.parse_links():
    
73.             if link.startswith('mailto'):
    
74.                 print('... discarded, mailto link')
    
75.                 continue
    
76.                 #忽略邮箱链接
    
77.             if not media:
    
78.                 ftype = os.path.splitext(link)[1]
    
79.                 if ftype in ('.mp3', '.mp4', '.m4v', '.wav'):
    
80.                     print('... discarded, media file')
    
81.                     continue
    
82.                     #忽略媒体文件
    
83.             if not link.startswith('http://'):
    
84.                 link = urllib.parse.urljoin(url, link)
    
85.             print('*', link, )
    
86.             #补全并打印正确的url
    
87.             if link not in self.seen:
    
88.                 if self.dom not in link:
    
89.                     print('... discarded, not in domain')
    
90.                 else:
    
91.                     if link not in self.q:
    
92.                         self.q.append(link)
    
93.                         print('... new, added to Q')
    
94.                     else:
    
95.                         print('... discarded, already in Q')
    
96.             else:
    
97.                     print('... discarded, already processed')
    
98. 
    
99.     def go(self, media=False):
    
100.         'Process next page in queue (if any)'
     
101.         while self.q:
     
102.             url = self.q.pop()
     
103.             self.get_page(url, media)
     
104. 
     
105. def main():
     
106.     if len(sys.argv) > 1:
     
107.         url = sys.argv[1]
     
108.     else:
     
109.         try:
     
110.             url = 'http://www.null.com/home/index.html'
     
111.         except KeyboardInterrupt as EOFError:
     
112.             url = ''
     
113.     if not url:
     
114.         return
     
115.     if not url.startswith('http://') and \
     
116.         not url.startswith('ftp://'):
     
117.         url = 'http://%s/' % url
     
118.     robot = Crawler(url)
     
119.     robot.go()
     
120. 
     
121. if __name__ == '__main__':
     
122.     main()
     

复制代码

这是核心编程第三版里的爬虫的例子，基本是照着敲了一遍，只不过原来是2我改成了3，报错如下：

1. ( 1 )
   
2. URL: [url]http://www.null.com/home/index.html[/url]
   
3. FILE: [url]www.null.com/home/index.html[/url]
   
4. Traceback (most recent call last):
   
5.   File "C:/Users/77409/PycharmProjects/untitled/crawl.py", line 122, in <module>
   
6.     main()
   
7.   File "C:/Users/77409/PycharmProjects/untitled/crawl.py", line 119, in main
   
8.     robot.go()
   
9.   File "C:/Users/77409/PycharmProjects/untitled/crawl.py", line 103, in go
   
10.     self.get_page(url, media)
    
11.   File "C:/Users/77409/PycharmProjects/untitled/crawl.py", line 72, in get_page
    
12.     for link in r.parse_links():
    
13.   File "C:/Users/77409/PycharmProjects/untitled/crawl.py", line 41, in parse_links
    
14.     formatter.DumbWriter(io.StringIO())))
    
15. TypeError: __init__() takes 1 positional argument but 2 were given

复制代码

我就不懂了。。。init返回的参数数量怎么和这里41行有关了。。。而且到底返回值是啥，怎么就数量不对了。。。求解

Teagle

是这样的这个参数使用的是命令行参数，假设你这个代码名师crawer.py
那么在cmd下面
python crawer.py url
这样，取crawer.py后面的第一个参数为url

小明EVO

Teagle 发表于 2017-10-22 23:19
是这样的这个参数使用的是命令行参数，假设你这个代码名师crawer.py
那么在cmd下面
python crawer.py url ...

可是，parse_link不是只在下面72行的判断语句中用到了吗，没有要他给init啊

小明EVO

核心编程这本书的例子好像都有点问题啊，有没有人看过啊