爬虫爬了一半信息，就结束了也不报错
import requestsimport bs4
import time
def open_url(url):
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400'}
res = requests.get(url, headers=headers)
returnres
def find_phone(res):
soup=bs4.BeautifulSoup(res.text, 'html.parser')
#手机名
names=[]
name=soup.find_all('div',class_="p-name p-name-type-3")
for each in name:
names.append(each.a.em.text)
#将找到的每一页的内容放进result中
result = []
length = len(names)
for i in range(length):
result.append(names + '\n')
return result
def main():
result=[]
url='https://list.jd.com/list.html?cat=9987%2C653%2C655&page=1&s=1&click=0'
res = open_url(url)
result.extend(find_phone(res))
with open("E:\京东手机.txt", "w", encoding="utf-8") as f:
for each in result:
f.write(each)
time.sleep(1)
if __name__ == "__main__":
main()
（1）.爬取京东上的手机信息，结果测试只爬取第一页手机名字的时候，爬出来的信息只有一半，后半部分没有信息。
（2）.我本来以为是标签变了，结果标签并没有变。
然后我发现了问题，就是当我打开链接那个的页面的时候，实际就只先出来能爬出来的手机信息，剩下的要把页面拉下去才会刷新出现，
所以我想问下（1）的问题的原因是（2）吗？如果是应该要怎么解决？如果不是，又是什么原因？又要怎样解决？
对的， 少数据的原因就是因为后半部分需要重新加载
这应该属于 Ajax 现象，去开发者模式里面看下 XHR 中的 url 有没有什么规律，爬取这个含有规律的 url 即可 Twilight6 发表于 2020-8-9 17:02
对的， 少数据的原因就是因为后半部分需要重新加载
这应该属于 Ajax 现象，去开发者模式里面看下 XHR...
表示赞同！
页:
[1]