[已解决]关于爬虫

tiger吴

1. import urllib.request
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. 
   
5. def main():
   
6.     url='https://movie.douban.com/top250?start='  #基础网址
   
7.     data1=[]      #输出的列表数据
   
8.     #1获取网站信息
   
9.     for i in range(10):
   
10.         url=url+str(i*25)      #获取实际使用的网址
    
11.         html = get_html(url)   #获得每一页的html
    
12.         data=jx(html)          #把每一页需要的目标信息截取出来放在data里
    
13.         data1.append(data)     #把每一页的目标信息组成的列表放入一个新的列表里
    
14. 
    
15.     return data1
    
16. 
    
17.     #3保存目标信息
    
18. 
    
19. def get_html(url):
    
20.     headers={
    
21.     'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 83.0.4103.106Safari / 537.36'
    
22.     }
    
23.     req=urllib.request.Request(url,headers=headers)
    
24.     response=urllib.request.urlopen(req)
    
25.     html=response.read().decode('utf-8')
    
26.     return html
    
27. 
    
28. def jx(html):
    
29.     #使用BeautifulSoup解析html获得一个能直接使用正则表达式匹配的新文档
    
30.     soup=BeautifulSoup(html, 'html.parser')
    
31.     #创建获取目标信息的正则表达式规则
    
32.     findTitle=re.compile(r'<span class="title">(.*?)</span>')
    
33.     findBd=re.compile(r'<p class="">(.*?)</p>')
    
34.     findRating=re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')
    
35.     findRatingNumber=re.compile(r'<span>(.*?人评价)</span>')
    
36.     findlinl=re.compile(r'<a href="(.*?)" class="">')
    
37.     findimg=re.compile(r'<img width="100" alt="(?:.*?)" src="(.*?)" class="">')
    
38. 
    
39.     data=[]  #初始化一个存放目标信息的列表
    
40.     # 因为每一页有25个电影，使用for循环获取每一个电影的目标信息
    
41.     for i in range(25):
    
42.         item=re.findall(findTitle,soup)
    
43.         #问题：我看教程上面item[i]要先转换成字符串，不懂求解
    
44.         data.append(str(item[i]))
    
45. 
    
46.         item = re.findall(findBd, soup)
    
47.         data.append(str(item[i]))
    
48. 
    
49.         item = re.findall(findRating, soup)
    
50.         data.append(str(item[i]))
    
51. 
    
52.         item = re.findall(findRatingNumber, soup)
    
53.         data.append(str(item[i]))
    
54. 
    
55.         item = re.findall(findlinl, soup)
    
56.         data.append(str(item[i]))
    
57. 
    
58.         item = re.findall(findimg, soup)
    
59.         data.append(str(item[i]))
    
60. 
    
61.     return data
    
62. 
    
63. 
    
64. 
    
65. 
    
66. if __name__=='__main__':
    
67.     main()

复制代码

Traceback (most recent call last):
  File "C:/Users/tiger/PycharmProjects/spider/test能否爬取.py", line 74, in <module>
    main()
  File "C:/Users/tiger/PycharmProjects/spider/test能否爬取.py", line 19, in main
    data=jx(html)          #把每一页需要的目标信息截取出来放在data里
  File "C:/Users/tiger/PycharmProjects/spider/test能否爬取.py", line 49, in jx
    item=re.findall(findTitle,soup)
  File "C:\Users\tiger\Anaconda3\lib\re.py", line 223, in findall
    return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object

看完教程后自己试着写了下，大佬们：
1.这写的有什么问题
2.代码里有个提问麻烦解答下

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-8 16:26:15

1. soup=BeautifulSoup(html, 'html.parser')

复制代码

这里用 decode 转成字符串就好了

1. import urllib.request
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. 
   
5. 
   
6. def get_html(url):
   
7.     headers={
   
8.     'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 83.0.4103.106Safari / 537.36'
   
9.     }
   
10.     req=urllib.request.Request(url,headers=headers)
    
11.     response=urllib.request.urlopen(req)
    
12.     html=response.read().decode('utf-8')
    
13.     return html
    
14. 
    
15. def jx(html):
    
16.     #使用BeautifulSoup解析html获得一个能直接使用正则表达式匹配的新文档
    
17.     soup=BeautifulSoup(html, 'html.parser').decode()
    
18.     #创建获取目标信息的正则表达式规则
    
19.     findTitle=re.compile(r'<span class="title">(.*?)</span>')
    
20.     findBd=re.compile(r'<p class="">(.*?)</p>')
    
21.     findRating=re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')
    
22.     findRatingNumber=re.compile(r'<span>(.*?人评价)</span>')
    
23.     findlinl=re.compile(r'<a href="(.*?)" class="">')
    
24.     findimg=re.compile(r'<img width="100" alt="(?:.*?)" src="(.*?)" class="">')
    
25. 
    
26.     data=[]  #初始化一个存放目标信息的列表
    
27.     # 因为每一页有25个电影，使用for循环获取每一个电影的目标信息
    
28.     for i in range(25):
    
29.         item=re.findall(findTitle,soup)
    
30.         #问题1：我看教程上面item要先转换成字符串，不懂求解
    
31.         data.append(str(item))
    
32. 
    
33.         item = re.findall(findBd, soup)
    
34.         data.append(str(item))
    
35. 
    
36.         item = re.findall(findRating, soup)
    
37.         data.append(str(item))
    
38. 
    
39.         item = re.findall(findRatingNumber, soup)
    
40.         data.append(str(item))
    
41. 
    
42.         item = re.findall(findlinl, soup)
    
43.         data.append(str(item))
    
44. 
    
45.         item = re.findall(findimg, soup)
    
46.         data.append(str(item))
    
47. 
    
48.     return data
    
49. 
    
50. 
    
51. 
    
52. def main():
    
53.     url='https://movie.douban.com/top250?start='  #基础网址
    
54.     data1=[]      #输出的列表数据
    
55.     #1获取网站信息
    
56.     for i in range(10):
    
57.         url=url+str(i*25)      #获取实际使用的网址
    
58.         html = get_html(url)   #获得每一页的html
    
59.         data=jx(html)          #把每一页需要的目标信息截取出来放在data里
    
60.         data1.append(data)     #把每一页的目标信息组成的列表放入一个新的列表里
    
61. 
    
62.     return data1
    
63. 
    
64.     #3保存目标信息
    
65. 
    
66. 
    
67. if __name__=='__main__':
    
68.     print(main())

复制代码

跳转到最佳答案楼层

Twilight6

1. soup=BeautifulSoup(html, 'html.parser')

复制代码

这里用 decode 转成字符串就好了

1. import urllib.request
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. 
   
5. 
   
6. def get_html(url):
   
7.     headers={
   
8.     'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 83.0.4103.106Safari / 537.36'
   
9.     }
   
10.     req=urllib.request.Request(url,headers=headers)
    
11.     response=urllib.request.urlopen(req)
    
12.     html=response.read().decode('utf-8')
    
13.     return html
    
14. 
    
15. def jx(html):
    
16.     #使用BeautifulSoup解析html获得一个能直接使用正则表达式匹配的新文档
    
17.     soup=BeautifulSoup(html, 'html.parser').decode()
    
18.     #创建获取目标信息的正则表达式规则
    
19.     findTitle=re.compile(r'<span class="title">(.*?)</span>')
    
20.     findBd=re.compile(r'<p class="">(.*?)</p>')
    
21.     findRating=re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')
    
22.     findRatingNumber=re.compile(r'<span>(.*?人评价)</span>')
    
23.     findlinl=re.compile(r'<a href="(.*?)" class="">')
    
24.     findimg=re.compile(r'<img width="100" alt="(?:.*?)" src="(.*?)" class="">')
    
25. 
    
26.     data=[]  #初始化一个存放目标信息的列表
    
27.     # 因为每一页有25个电影，使用for循环获取每一个电影的目标信息
    
28.     for i in range(25):
    
29.         item=re.findall(findTitle,soup)
    
30.         #问题1：我看教程上面item要先转换成字符串，不懂求解
    
31.         data.append(str(item))
    
32. 
    
33.         item = re.findall(findBd, soup)
    
34.         data.append(str(item))
    
35. 
    
36.         item = re.findall(findRating, soup)
    
37.         data.append(str(item))
    
38. 
    
39.         item = re.findall(findRatingNumber, soup)
    
40.         data.append(str(item))
    
41. 
    
42.         item = re.findall(findlinl, soup)
    
43.         data.append(str(item))
    
44. 
    
45.         item = re.findall(findimg, soup)
    
46.         data.append(str(item))
    
47. 
    
48.     return data
    
49. 
    
50. 
    
51. 
    
52. def main():
    
53.     url='https://movie.douban.com/top250?start='  #基础网址
    
54.     data1=[]      #输出的列表数据
    
55.     #1获取网站信息
    
56.     for i in range(10):
    
57.         url=url+str(i*25)      #获取实际使用的网址
    
58.         html = get_html(url)   #获得每一页的html
    
59.         data=jx(html)          #把每一页需要的目标信息截取出来放在data里
    
60.         data1.append(data)     #把每一页的目标信息组成的列表放入一个新的列表里
    
61. 
    
62.     return data1
    
63. 
    
64.     #3保存目标信息
    
65. 
    
66. 
    
67. if __name__=='__main__':
    
68.     print(main())

复制代码

tiger吴

Twilight6 发表于 2020-7-8 16:26
这里用 decode 转成字符串就好了

还是报错啊

Twilight6

tiger吴 发表于 2020-7-8 16:56
还是报错啊

我的不报错 你代码复制过去运行看看

tiger吴

Twilight6 发表于 2020-7-8 16:26
这里用 decode 转成字符串就好了

啥了，没报错

tiger吴

Twilight6 发表于 2020-7-8 16:57
我的不报错 你代码复制过去运行看看

讲下代码格式操作问题吧，网页本身是什么码，然后写爬虫的时候那一步用什么把他转化成什么格式等等，
对编码好晕

Twilight6

tiger吴 发表于 2020-7-8 17:04
讲下代码格式操作问题吧，网页本身是什么码，然后写爬虫的时候那一步用什么把他转化成什么格式等等，
对 ...

主要你这里通过 BeautifulSoup(html, 'html.parser') 解析成一个 bs4 对象了，实际上我觉得这里多余了...你直接用 html 就行

tiger吴

Twilight6 发表于 2020-7-8 17:11
主要你这里通过 BeautifulSoup(html, 'html.parser') 解析成一个 bs4 对象了，实际上我觉得这里多余了... ...

大佬帮我把代码让我这个思路补全点吧，随便一改就是报错

Twilight6

tiger吴 发表于 2020-7-8 17:39
大佬帮我把代码让我这个思路补全点吧，随便一改就是报错

你的代码始终只能获取第一页的内容，帮你改完了：

1. import urllib.request
   
2. import re
   
3. 
   
4. def get_html(url):
   
5.     headers={
   
6.     'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 83.0.4103.106Safari / 537.36'
   
7.     }
   
8.     req=urllib.request.Request(url,headers=headers)
   
9.     response=urllib.request.urlopen(req)
   
10.     html=response.read().decode('utf-8')
    
11.     return html
    
12. 
    
13. def jx(html):
    
14.     #创建获取目标信息的正则表达式规则
    
15.     findTitle=re.compile(r'<span class="title">(.*?)</span>')
    
16.     findBd=re.compile(r'<p class="">(.*?)</p>')
    
17.     findRating=re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')
    
18.     findRatingNumber=re.compile(r'<span>(.*?人评价)</span>')
    
19.     findlinl=re.compile(r'<a href="(.*?)" class="">')
    
20.     findimg=re.compile(r'<img width="100" alt="(?:.*?)" src="(.*?)" class="">')
    
21. 
    
22.     data=[]  #初始化一个存放目标信息的列表
    
23.     item=re.findall(findTitle,html)
    
24.     # 利用 for 循环替换掉 &nbsp;/&nbsp; 字符
    
25.     for i in range(len(item)):
    
26.         item[i] = re.sub(r'&nbsp;/&nbsp;','',item[i])
    
27.     data.append(item)
    
28. 
    
29.     item = re.findall(findBd, html)
    
30.     data.append(item)
    
31. 
    
32.     item = re.findall(findRating, html)
    
33.     data.append(item)
    
34. 
    
35.     item = re.findall(findRatingNumber, html)
    
36.     data.append(item)
    
37. 
    
38.     item = re.findall(findlinl, html)
    
39.     data.append(item)
    
40. 
    
41.     item = re.findall(findimg, html)
    
42.     data.append(item)
    
43. 
    
44.     return data
    
45. 
    
46. 
    
47. 
    
48. def main():
    
49.     url='https://movie.douban.com/top250?start='  #基础网址
    
50.     data1=[]      #输出的列表数据
    
51.     #1获取网站信息
    
52.     for i in range(10):
    
53.         url1=url+str(i*25)      #获取实际使用的网址
    
54.         html = get_html(url1)   #获得每一页的html
    
55.         data=jx(html)          #把每一页需要的目标信息截取出来放在data里
    
56.         data1.append(data)     #把每一页的目标信息组成的列表放入一个新的列表里
    
57. 
    
58.     return data1
    
59. 
    
60. 
    
61. if __name__=='__main__':
    
62.     print(main())

复制代码

tiger吴

Twilight6 发表于 2020-7-8 18:04
你的代码始终只能获取第一页的内容，帮你改完了：

C:\Users\tiger\PycharmProjects\spider\venv\Scripts\python.exe C:/Users/tiger/PycharmProjects/spider/venv/备份.py
49
47
0
0
0
0
0
0
0
0
[['[\'肖申克的救赎\', \'\\xa0/\\xa0The Shawshank Redemption\', \'霸王别姬\', \'阿甘正传\', \'\\xa0/\\xa0Forrest Gump\', \'这个杀手不太冷\', \'\\xa0/\\xa0Léon\', \'美丽人生\', \'\\xa0/\\xa0La vita è bella\', \'泰坦尼克号\', \'\\xa0/\\xa0Titanic\', \'千与千寻\', \'\\xa0/\\xa0千と千尋の神隠し\', \'辛德勒的名单\', "\\xa0/\\xa0Schindler\'s List", \'盗梦空间\', \'\\xa0/\\xa0Inception\', \'忠犬八公的故事\', "\\xa0/\\xa0Hachi: A
如上，我用代码打出了十张网页标题的数量，问题来了前面两张网页的标题数量正常，后面的都是0了为什么，代码我没改，就是家了几行打印标题数量的代码

Twilight6

tiger吴 发表于 2020-7-8 22:13
C:%users\tiger\PycharmProjects\spider\venv\Scripts\python.exe C:/Users/tiger/PycharmProjects/spide ...

我上面一楼不是帮你差不多改好了嘛

tiger吴

Twilight6 发表于 2020-7-8 22:16
我上面一楼不是帮你差不多改好了嘛

结果不给力啊