我的第一个爬虫

zm_selina

废话少说，先上图：

    在网上下载gho系统时，找到了一个叫技术员联盟的网站（http://www.jsgho.net)，有个图片的标签，点开一看，哇，全是美女（穿了衣服的），刚好学到爬虫，练练手吧。观察了一下，发现所有的图片都在www.jsgho.net/image/下面，查看了一上网页的源代码，图片在<li></li>标签的<img src里面，不过有个小问题就是网址不全，取下来后还要加上网站的地址，开工。（附全部网址），新人，代码写的很烂，请大神们多多指点，谢谢。

import requests
from bs4 import BeautifulSoup
import re
import os


def getHTMLText(url):
    try:
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                                 '(KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return ''

def get_img(html):
    try:
        p = r'<li><img src="([^"]*\.jpg)"'
        imglist = re.findall(p, html)
        soup = BeautifulSoup(html, 'lxml')
        name = soup.title.text
        root = r"D:\Pictures//"
        path = root + name
    except:
        print("")

    try:
        os.mkdir(path)
    except FileExistsError:
        pass

    os.chdir(path)

    for each in imglist:
        filename = each.split('/')[-1]
        url = "http://www.jsgho.net"
        each = url + each
        r = requests.get(each)

        with open(filename, 'wb') as f:
            f.write(r.content)

def main(url):
    html = getHTMLText(url)
    get_img(html)


with open("C://Users//Administrator//Desktop//sitemap.txt") as f:
    urls = f.readlines()

for url in urls:
    url = url.strip('\n')
    main(url)

czfasaoyou

Traceback (most recent call last):
  File "D:\python\test.py", line 2, in <module>
    from bs4 import BeautifulSoup
ModuleNotFoundError: No module named 'bs4'

请问这个错误是哪错了

zm_selina

czfasaoyou 发表于 2019-12-31 13:34
Traceback (most recent call last):
  File "D:\python\test.py", line 2, in
    from bs4 import Bea ...

没有 bs4 模块
需要安装，在命令行下运行：  pip install bs4

czfasaoyou

谢谢

czfasaoyou

UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 11: illegal multibyte sequence，这个又是哪里错了？谢谢

zm_selina

czfasaoyou 发表于 2019-12-31 16:30
UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 11: illegal multibyte sequence， ...

编码错误，把完整的异常提示发来看看。

czfasaoyou

Traceback (most recent call last):
  File "D:\python\test.py", line 52, in <module>
    urls = f.readlines()
UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 11: illegal multibyte sequence

zm_selina

czfasaoyou 发表于 2020-1-2 16:49
Traceback (most recent call last):
  File "D:\python\test.py", line 52, in
    urls = f.readlines ...

把这句with open("C://Users//Administrator//Desktop//sitemap.txt") as f:
改成with open("C://Users//Administarator//Desktop//sitemap.txt", encoding='utf-8') as f:看看

还有你要看看你下载的sitemap.txt文件的路径，把C://Users//Administarator//Desktop替换成你的sitemap.txt的路径。

czfasaoyou

谢谢，我试试

czfasaoyou

修改，运行的时候提出错误syntaxerror  invalid character in identifier ,光标停在encoding

zm_selina

czfasaoyou 发表于 2020-1-4 14:16
修改，运行的时候提出错误syntaxerror  invalid character in identifier ,光标停在encoding

直接复制的吗？看看有没有中文的空格。

czfasaoyou

直接复制的