[已解决]beautiful soup find_all()查找丢失部分内容

罗同学

帮女票爬一个小说（网上找不到资源），某乎连在的那种，这一页手动查看应该是有5个class = 'ContentItem-title'的标签的，可以从里面获取每一章的链接，但是不知道为啥每次find_all()只能返回前两个，后面的就给吞了，换别的页面也是只能找到前两个。求大佬帮助。


再默默问一嘴、正文里面带链接是会被和谐么、前面发了几次带链接的都发不出去，然后在“我的帖子”里面还会显示，但是帖子打不开。链接放1楼了。

最佳答案

月排行榜 / 总排行榜

疾风怪盗

2020-10-12 17:44:08

罗同学 发表于 2020-10-12 17:42
F12查看网页代码的时候确实是有的

你看到额网页源码和python获取额，不一定是一模一样的！

这个是一定要注意的

跳转到最佳答案楼层

罗同学

链接：https://www.zhihu.com/people/meng-wa-83-63/posts?page=3

疾风怪盗

这样可以了，用正则。。。。。。。。。。beautifulsoup不知道怎么用，正则有时更方便

1. import requests
   
2. import re
   
3. 
   
4. url = 'https://www.zhihu.com/people/meng-wa-83-63/posts?page=3'
   
5. headers = {
   
6.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 Edg/86.0.622.38'}
   
7. response = requests.get(url=url, headers=headers)
   
8. html_str = response.content.decode()
   
9. 
   
10. partten = r'"content":"(.*?)","commentCount"'
    
11. data = re.findall(partten, html_str)
    
12. 
    
13. # print(data)
    
14. # print(len(data))
    
15. with open('test.txt', 'w', encoding='utf-8') as f:
    
16.     for i in data:
    
17.         a = i.replace(r'\u003Cp\u003E', '\n').replace(r'\u003C\u002Fp\u003E', '\n').replace(
    
18.             r'\u003Cp class="ztext-empty-paragraph"\u003E\u003Cbr\u002F\u003E', '\n')
    
19.         f.write(a)
    
20.         f.write('\n')
    
21.         f.write('\n')
    

复制代码

罗同学

疾风怪盗 发表于 2020-10-12 17:17
这样可以了，用正则。。。。。。。。。。beautifulsoup不知道怎么用，正则有时更方便

大佬、刚跑了一下代码、这个是直接保存了小说、是想爬那个链接里面有的好几章的地址、正则太难了、但还是谢谢大佬。

疾风怪盗

罗同学 发表于 2020-10-12 17:31
大佬、刚跑了一下代码、这个是直接保存了小说、是想爬那个链接里面有的好几章的地址、正则太难了、但还是 ...

你确定你获取的网页信息中有你要的数据？你看到额网页源码和python获取额，不一定是一模一样的，你要在python获取的源码里找数据
只找到两个链接，另外两个链接没有获取到，所以你find_all也没找到

1. link_parrten=r'class="ContentItem-title"><a href="//(.*?)" target="_blank"'
   
2. link_data=re.findall(link_parrten, html_str)
   
3. print(link_data)

复制代码

['zhuanlan.zhihu.com/p/73599879', 'zhuanlan.zhihu.com/p/72621342']

罗同学

疾风怪盗 发表于 2020-10-12 17:41
你确定你获取的网页信息中有你要的数据？你看到额网页源码和python获取额，不一定是一模一样的，你要在 ...

F12查看网页代码的时候确实是有的

疾风怪盗

罗同学 发表于 2020-10-12 17:42
F12查看网页代码的时候确实是有的

你看到额网页源码和python获取额，不一定是一模一样的！

这个是一定要注意的