[已解决]爬虫爬了一半信息，就结束了也不报错

月魔同学

1. import requests
   
2. import bs4
   
3. import time
   
4. 
   
5. def open_url(url):
   
6.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400'}
   
7.     res = requests.get(url, headers=headers)
   
8.     return  res
   
9. 
   
10. def find_phone(res):
    
11.     soup=bs4.BeautifulSoup(res.text, 'html.parser')
    
12. 
    
13.     #手机名
    
14.     names=[]
    
15.     name=soup.find_all('div',class_="p-name p-name-type-3")
    
16.     for each in name:
    
17.         names.append(each.a.em.text)
    
18. 
    
19.     #将找到的每一页的内容放进result中
    
20.     result = []
    
21.     length = len(names)
    
22.     for i in range(length):
    
23.         result.append(names[i] + '\n')
    
24.     return result
    
25. def main():
    
26.     result=[]
    
27.     url='https://list.jd.com/list.html?cat=9987%2C653%2C655&page=1&s=1&click=0'
    
28.     res = open_url(url)
    
29.     result.extend(find_phone(res))
    
30.    
    
31.     with open("E:\京东手机.txt", "w", encoding="utf-8") as f:
    
32.         for each in result:
    
33.             f.write(each)
    
34.     time.sleep(1)
    
35.         
    
36. if __name__ == "__main__":
    
37.     main()
    

复制代码

（1）.爬取京东上的手机信息，结果测试只爬取第一页手机名字的时候，爬出来的信息只有一半，后半部分没有信息。
（2）.我本来

以为是标签

变了，结果标签并没有变。
          然后我发现了问题，就是当我打开链接那个的页面的时候，实际就只先出来能爬出来的手机信息，剩下的要把页面拉下去才会刷新出现，
所以我想问下（1）的问题的原因是（2）吗？如果是应该要怎么解决？如果不是，又是什么原因？又要怎样解决？

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-8-9 15:09:01

对的， 少数据的原因就是因为后半部分需要重新加载

这应该属于 Ajax 现象，去开发者模式里面看下 XHR 中的 url 有没有什么规律，爬取这个含有规律的 url 即可

跳转到最佳答案楼层

Twilight6

对的， 少数据的原因就是因为后半部分需要重新加载

这应该属于 Ajax 现象，去开发者模式里面看下 XHR 中的 url 有没有什么规律，爬取这个含有规律的 url 即可

陈尚涵

Twilight6 发表于 2020-8-9 17:02
对的， 少数据的原因就是因为后半部分需要重新加载

这应该属于 Ajax 现象，去开发者模式里面看下 XHR  ...

表示赞同！