我的第一个爬虫

zm_selina

废话少说，先上图：

    在网上下载gho系统时，找到了一个叫技术员联盟的网站（http://www.jsgho.net)，有个图片的标签，点开一看，哇，全是美女（穿了衣服的），刚好学到爬虫，练练手吧。观察了一下，发现所有的图片都在www.jsgho.net/image/下面，查看了一上网页的源代码，图片在<li></li>标签的<img src里面，不过有个小问题就是网址不全，取下来后还要加上网站的地址，开工。（附全部网址），新人，代码写的很烂，请大神们多多指点，谢谢。

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. import os
   
5. 
   
6. 
   
7. def getHTMLText(url):
   
8.     try:
   
9.         headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
   
10.                                  '(KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}
    
11.         r = requests.get(url, headers=headers)
    
12.         r.raise_for_status()
    
13.         r.encoding = 'utf-8'
    
14.         return r.text
    
15.     except:
    
16.         return ''
    
17. 
    
18. def get_img(html):
    
19.     try:
    
20.         p = r'<li><img src="([^"]*\.jpg)"'
    
21.         imglist = re.findall(p, html)
    
22.         soup = BeautifulSoup(html, 'lxml')
    
23.         name = soup.title.text
    
24.         root = r"D:\Pictures//"
    
25.         path = root + name
    
26.     except:
    
27.         print("")
    
28. 
    
29.     try:
    
30.         os.mkdir(path)
    
31.     except FileExistsError:
    
32.         pass
    
33. 
    
34.     os.chdir(path)
    
35. 
    
36.     for each in imglist:
    
37.         filename = each.split('/')[-1]
    
38.         url = "http://www.jsgho.net"
    
39.         each = url + each
    
40.         r = requests.get(each)
    
41. 
    
42.         with open(filename, 'wb') as f:
    
43.             f.write(r.content)
    
44. 
    
45. def main(url):
    
46.     html = getHTMLText(url)
    
47.     get_img(html)
    
48. 
    
49. 
    
50. with open("C://Users//Administrator//Desktop//sitemap.txt") as f:
    
51.     urls = f.readlines()
    
52. 
    
53. for url in urls:
    
54.     url = url.strip('\n')
    
55.     main(url)

复制代码

czfasaoyou

Traceback (most recent call last):
  File "D:\python\test.py", line 2, in <module>
    from bs4 import BeautifulSoup
ModuleNotFoundError: No module named 'bs4'

请问这个错误是哪错了

zm_selina

czfasaoyou 发表于 2019-12-31 13:34
Traceback (most recent call last):
  File "D:\python\test.py", line 2, in
    from bs4 import Bea ...

没有 bs4 模块
需要安装，在命令行下运行：  pip install bs4

czfasaoyou

谢谢

czfasaoyou

UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 11: illegal multibyte sequence，这个又是哪里错了？谢谢

zm_selina

czfasaoyou 发表于 2019-12-31 16:30
UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 11: illegal multibyte sequence， ...

编码错误，把完整的异常提示发来看看。

czfasaoyou

Traceback (most recent call last):
  File "D:\python\test.py", line 52, in <module>
    urls = f.readlines()
UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 11: illegal multibyte sequence

zm_selina

czfasaoyou 发表于 2020-1-2 16:49
Traceback (most recent call last):
  File "D:\python\test.py", line 52, in
    urls = f.readlines ...

把这句with open("C://Users//Administrator//Desktop//sitemap.txt") as f:
改成with open("C://Users//Administarator//Desktop//sitemap.txt", encoding='utf-8') as f:看看

还有你要看看你下载的sitemap.txt文件的路径，把C://Users//Administarator//Desktop替换成你的sitemap.txt的路径。

czfasaoyou

谢谢，我试试

czfasaoyou

修改，运行的时候提出错误syntaxerror  invalid character in identifier ,光标停在encoding

zm_selina

czfasaoyou 发表于 2020-1-4 14:16
修改，运行的时候提出错误syntaxerror  invalid character in identifier ,光标停在encoding

直接复制的吗？看看有没有中文的空格。

czfasaoyou

直接复制的