[已解决]爬虫爬了一半信息，就结束了也不报错

月魔同学

import requests
import bs4
import time

def open_url(url):
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400'}
    res = requests.get(url, headers=headers)
    return  res

def find_phone(res):
    soup=bs4.BeautifulSoup(res.text, 'html.parser')

    #手机名
    names=[]
    name=soup.find_all('div',class_="p-name p-name-type-3")
    for each in name:
        names.append(each.a.em.text)

    #将找到的每一页的内容放进result中
    result = []
    length = len(names)
    for i in range(length):
        result.append(names[i] + '\n')
    return result
def main():
    result=[]
    url='https://list.jd.com/list.html?cat=9987%2C653%2C655&page=1&s=1&click=0'
    res = open_url(url)
    result.extend(find_phone(res))
    
    with open("E:\京东手机.txt", "w", encoding="utf-8") as f:
        for each in result:
            f.write(each)
    time.sleep(1)
        
if __name__ == "__main__":
    main()

（1）.爬取京东上的手机信息，结果测试只爬取第一页手机名字的时候，爬出来的信息只有一半，后半部分没有信息。
（2）.我本来

以为是标签

变了，结果标签并没有变。
          然后我发现了问题，就是当我打开链接那个的页面的时候，实际就只先出来能爬出来的手机信息，剩下的要把页面拉下去才会刷新出现，
所以我想问下（1）的问题的原因是（2）吗？如果是应该要怎么解决？如果不是，又是什么原因？又要怎样解决？

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-8-9 15:09:01

对的， 少数据的原因就是因为后半部分需要重新加载

这应该属于 Ajax 现象，去开发者模式里面看下 XHR 中的 url 有没有什么规律，爬取这个含有规律的 url 即可

跳转到最佳答案楼层

Twilight6

对的， 少数据的原因就是因为后半部分需要重新加载

这应该属于 Ajax 现象，去开发者模式里面看下 XHR 中的 url 有没有什么规律，爬取这个含有规律的 url 即可

陈尚涵

Twilight6 发表于 2020-8-9 17:02
对的， 少数据的原因就是因为后半部分需要重新加载

这应该属于 Ajax 现象，去开发者模式里面看下 XHR  ...

表示赞同！