女朋友说想看电影,所以我用python写了一个电影爬取工具

yuxijian2020

雨后斜阳 发表于 2021-2-5 10:01
有这个是不是就不要会员了

是的

玩毛线

Traceback (most recent call last):
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\urllib3\response.py", line 438, in _error_catcher
    yield
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\urllib3\response.py", line 764, in read_chunked
    self._update_chunk_length()
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\urllib3\response.py", line 694, in _update_chunk_length
    line = self._fp.fp.readline()
  File "E:\Python38\lib\socket.py", line 669, in readinto
    return self._sock.recv_into(b)
  File "E:\Python38\lib\ssl.py", line 1241, in recv_into
    return self.read(nbytes, buffer)
  File "E:\Python38\lib\ssl.py", line 1099, in read
    return self._sslobj.read(len, buffer)
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\requests\models.py", line 753, in generate
    for chunk in self.raw.stream(chunk_size, decode_content=True):
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\urllib3\response.py", line 572, in stream
    for line in self.read_chunked(amt, decode_content=decode_content):
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\urllib3\response.py", line 793, in read_chunked
    self._original_response.close()
  File "E:\Python38\lib\contextlib.py", line 131, in __exit__
    self.gen.throw(type, value, traceback)
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\urllib3\response.py", line 455, in _error_catcher
    raise ProtocolError("Connection broken: %r" % e, e)
urllib3.exceptions.ProtocolError: ("Connection broken: ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None)", ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:/Users/lishi/PycharmProjects/pythonProject3/main.py", line 279, in <module>
    task.FindFilmAndDownload(film)
  File "C:/Users/lishi/PycharmProjects/pythonProject3/main.py", line 254, in FindFilmAndDownload
    if not self.SearchFilm(name):
  File "C:/Users/lishi/PycharmProjects/pythonProject3/main.py", line 84, in SearchFilm
    res = requests.get(self.searchUrl + name, headers=head)
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\requests\api.py", line 76, in get
    return request('get', url, params=params, **kwargs)
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\requests\api.py", line 61, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\requests\sessions.py", line 542, in request
    resp = self.send(prep, **send_kwargs)
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\requests\sessions.py", line 697, in send
    r.content
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\requests\models.py", line 831, in content
    self._content = b''.join(self.iter_content(CONTENT_CHUNK_SIZE)) or b''
  File "C:\Users\lishi\PycharmProjects\pythonProject3\venv\lib\site-packages\requests\models.py", line 756, in generate
    raise ChunkedEncodingError(e)
requests.exceptions.ChunkedEncodingError: ("Connection broken: ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None)", ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
这是报什么错呀

1431144

Traceback (most recent call last):
  File "E:\学习\Python\shipinzhuaqu.py", line 2, in <module>
    import requests
ModuleNotFoundError: No module named 'requests'

#请问这个错误是啥意思呢？win10  64位   python 3.91

yuxijian2020

1431144 发表于 2021-2-6 16:48
Traceback (most recent call last):
  File "E:\学习\Python\shipinzhuaqu.py", line 2, in
    import ...

没有requests模块
控制台输入 pip install requests 或 pip3 install requests安装
一般提示  No module named 'xxxxxx' 就是代表模块没有安装
用pip命令安装一下就好

yuxijian2020

1431144 发表于 2021-2-6 16:48
Traceback (most recent call last):
  File "E:\学习\Python\shipinzhuaqu.py", line 2, in
    import ...

既然第二行就开始报错了,  我估计我代码中import的模块你大部分都没有安装
所以提醒你一下,先把代码中开头处所有import后面的模块都安装一下

yuxijian2020

玩毛线 发表于 2021-2-6 11:04
Traceback (most recent call last):
  File "C:%users\lishi\PycharmProjects\pythonProject3\venv\lib\s ...

这个应该是爬虫速度过快所以被网站拦截了,你可以试着每次get网址之前加个延迟  时间设置长一点

yuxijian2020

思来想去还是把问题集中一下,整理一下问题吧...
目前看来有不少童鞋都出现了问题,我就整理一下
后面的童鞋可以现在这里找找能不能解决,这里没有再开贴问吧

1.这个脚本是通过视频解析网站解析主流视频网站上的视频,然后分析解析之后的视频再进行下载,所以是不需要会员的
但是也正因为是通过解析网站,所以视频画质什么的不能保证(毕竟主流视频网站也没那么容易爬取,我这里都没有用到什么IP代理那种麻烦的东西...)

2.不需要有女朋友也可以用

3.报错:   ModuleNotFoundError: No module named 'xxxxxx'
             这个错误的原因是没有安装xxxxxx模块
             在控制台利用命令pip install xxxxx来安装模块
             (代码开头部分所有import的模块都要安装！)

4.运行没反应
          确保你的电脑上有Python环境,运行脚本最好是弄个批处理或者在vscode、pycharm上运行(双击.py文件有时候真的不大好使)

5.报错:   requests.exceptions.SSLError
          报错出现上面这句话就说明是SSL认证失败,这时候可以关闭SSL认证试一试
          关闭SSL认证的方法是把所有的requests.get函数调用的地方 把verify参数设置为False
        

ressponse = requests.get(url, headers=head, verify=False)

6.已经安装了crypto模块却依然报错:    ModuleNotFoundError: No module named 'Crypto'
          crypto模块本身有些小问题
          找到你crypto模块的路径( {你的Python目录}/Lib/site-packages/下crypto文件夹 )
          把这个文件夹第一个字母改成大写

7.报错:   ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。
          可能是因为爬虫速度过快所以被网站暂时禁止连接了
          可以把代码里requests.get前面加上延时(time.sleep({这里参数单位为 秒 }))
          时间设置长一点....0.0

8.代码我自己在Python3.8.7和Python3.9.1上都测试通过的

祝大家使用愉快咯

crisfo

谢谢楼主的无私分享，学习爬虫的好案例

yywwf2003

膜拜大佬！！！

太阳总会升起

Daniel_Zhang 发表于 2021-1-30 23:18
然后女朋友不会用，转身包了一个会员

哈哈哈

太阳总会升起

楼主厉害

satisfaction

yuxijian2020 发表于 2021-2-6 21:34
思来想去还是把问题集中一下,整理一下问题吧...
目前看来有不少童鞋都出现了问题,我就整理一下
后面的童 ...

我这里出现了新的错误，报错如下：
    ValueError: too many file descriptors in select()
具体操作流程如下图：
file:///C:/Users/Administrator/Desktop/QQ0.png

satisfaction

satisfaction 发表于 2021-2-8 11:38
我这里出现了新的错误，报错如下：
    ValueError: too many file descriptors in select()
具体操作 ...

我天这个图片要怎么上传？？！

yuxijian2020

satisfaction 发表于 2021-2-8 11:39
我天这个图片要怎么上传？？！

你这个问题我都没遇到过诶...
就从字面意思上来说  是说select函数中文件描述符过多  是参数不对的意思？

sjpet

我佛了  ModuleNotFoundError: No module named 'Crypto.Cipher'

Crypto  安装且改了的

Amarantos

我安装完crypto之后，也把对应文件夹改成大写Crypto了，为啥还是No module named 'Crypto.Cipher'，求教

yuxijian2020

Amarantos 发表于 2021-2-9 18:08
我安装完crypto之后，也把对应文件夹改成大写Crypto了，为啥还是No module named 'Crypto.Cipher'，求教

没改之前试过吗？

Amarantos

yuxijian2020 发表于 2021-2-9 22:58
没改之前试过吗？

就是报错之后我又改的，改完还是不行，很奇怪

自得其乐

202 行    content = b'' 这是什么意思？
Local variable 'content' value is not used
大概是没用上吧？

自得其乐

报错了，嫩们怎么都说通过了