爬取动态网页

哈岁NB

请问各位大佬，这个https://www.jianshu.com/网页是动态加载，手动下滑才可以显示出下面的东西，我这个代码该怎么修改一下才可以获取全部文章的url呢

1. import logging
   
2. import asyncio
   
3. from pyppeteer import launch
   
4. from pyppeteer.errors import TimeoutError
   
5. 
   
6. logging.basicConfig(level=logging.INFO,format = '%(asctime)s - %(levelname)s: %(message)s')
   
7. index_url = 'https://www.jianshu.com/'
   
8. PAGE = 1
   
9. TIMEOUT = 10
   
10. #设置宽高
    
11. WINDOW_WIDTH,WINDOW_HIGHT = 1366,768
    
12. HEADLESS = False
    
13. 
    
14. #初始化方法
    
15. brower,tab = None,None
    
16. 
    
17. async def init():
    
18.     global brower,tab
    
19.     brower = await launch(headless = HEADLESS,args=['--disable-infobars',f'--window-size={WINDOW_WIDTH},{WINDOW_HIGHT}'])
    
20.     tab = await brower.newPage()
    
21.     await tab.evaluateOnNewDocument('Object.defineProperty(navigator,"webdriver",{get:()=>undefined})')
    
22.     await tab.setViewport({'width':WINDOW_WIDTH,'height':WINDOW_HIGHT})
    
23. 
    
24. 
    
25. #定义一个通用爬取
    
26. async def scrape_url(url,selector):
    
27.     logging.info(f'正在爬取{url}')
    
28.     try:
    
29.         await tab.goto(url)
    
30.         await tab.waitForSelector(selector,options={
    
31.             'timeout':TIMEOUT * 1000
    
32.         })
    
33.     except TimeoutError:
    
34.         logging.error(f'爬取{url}出现错误',exc_info=True)
    
35. 
    
36. #爬取列表页
    
37. async def scrape_index():
    
38.     await scrape_url(url=index_url,selector='.title')
    
39. 
    
40. 
    
41. 
    
42. #解析出详情页url
    
43. async def parse_url():
    
44.     return await tab.querySelectorAllEval('.title','nodes => nodes.map(node => node.href)')
    
45. 
    
46. async def main():
    
47.     await init()
    
48.     try:
    
49.         await scrape_index()
    
50.         detail = await parse_url()
    
51.         logging.info(f'url is {detail}')
    
52.     finally:
    
53.         await brower.close()
    
54. 
    
55. 
    
56. if __name__ == '__main__':
    
57.     asyncio.get_event_loop().run_until_complete(main())

复制代码

陶远航

要爬取动态网页并获取全部文章的URL，你可以使用Selenium WebDriver和Chrome浏览器来模拟用户操作下滑页面。这是修改后的代码示例：

1. import logging
   
2. from selenium import webdriver
   
3. from selenium.webdriver.common.keys import Keys
   
4. from selenium.webdriver.chrome.options import Options
   
5. import time
   
6. 
   
7. logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
   
8. 
   
9. index_url = 'https://www.jianshu.com/'
   
10. 
    
11. # 设置Chrome浏览器选项
    
12. chrome_options = Options()
    
13. chrome_options.add_argument('--disable-infobars')
    
14. chrome_options.add_argument('--window-size=1366,768')
    
15. # 如果不想看到浏览器界面，则使用无头模式
    
16. # chrome_options.add_argument('--headless')
    
17. 
    
18. # 初始化WebDriver
    
19. driver = webdriver.Chrome(options=chrome_options)
    
20. 
    
21. # 打开网页
    
22. driver.get(index_url)
    
23. 
    
24. # 模拟下滑操作
    
25. while True:
    
26.     # 下滑到页面底部
    
27.     driver.find_element_by_tag_name('body').send_keys(Keys.END)
    
28.     time.sleep(1)  # 等待页面加载
    
29. 
    
30.     # 判断是否已经滑到了底部
    
31.     if driver.execute_script('return window.innerHeight + window.pageYOffset >= document.body.offsetHeight'):
    
32.         break
    
33. 
    
34. # 获取全部文章的URL
    
35. urls = []
    
36. elements = driver.find_elements_by_css_selector('.title')
    
37. for element in elements:
    
38.     urls.append(element.get_attribute('href'))
    
39. 
    
40. # 输出结果
    
41. logging.info(f'URLs: {urls}')
    
42. 
    
43. # 关闭浏览器
    
44. driver.quit()
    

复制代码

请注意，这个解决方案使用了Selenium库和Chrome浏览器驱动程序。确保你已经安装了相应的库并下载了对应版本的Chrome驱动程序。另外，你也可以根据需要调整代码中的延时时间和其他设置。
如果问题已经解决，请设置最佳答案

ab16838123

mongoole

自己在浏览器上抓包看一下数据是从哪里来的。再进一步往下分析呢。

天之恨

用Reqable提取出来的数据内容太多了，我只想要电话和号码归属地

天之恨

"https://thirdwx.qlogo.cn/mmopen/vi_32/DYAIOgq83er6n6kl9MnttwOYHhOvudQ8XAk1PDxRtJI9R7MTUClMxictGTOMSicHFialB849rb6ib48291xIp196UQ/132",
        "mobilePhone": "13606068124",
        "birthdate": null,
        "teacherName": null,
        "tag": null,
        "saleGrade": null,
        "wechatUserId": 61,
        "saleUserId": 171213,
        "disTime": "2023-12-30 20:12:02",
        "wxAddType": "1",
        "remark": "删",
        "intentionId": 305185,
        "teacherQwUserId": null,
        "intention": null,
        "intentionTime": null,
        "nickname": "***",
        "wxName": "***",
        "type": 2,
        "addAsk": false,
        "phoneOne": false,
        "phoneTwo": false,
        "workPhoneNum": 0,
        "msgNum": 0,
        "unionId": "oJJijuFMRwSO4d_pciJRAEYpFwHA",
        "modelLabel": null,
        "brandLabel": "未知",
        "gradeLabel": null,
        "saleGradeLabel": null,
        "platformLabel": "IOS手机",
        "sourcePlatformLabel": "IOS手机",
        "distributionLabel": null,
        "genderLabel": null,
        "tagLabel": null,
        "wxAddTypeLabel": "主动添加",
        "intentionLabel": null,
        "isMyAccount": true,
        "workNum": 0,
        "dateWorkNum": 0,
        "bpVO": {
          "id": 303752,
          "userId": 305377,
          "t": 33,
          "a": 0,
          "b": 2,
          "c": 1,
          "d": 30,
          "isDeleted": false,
          "createTime": "2023-12-30 20:12:03"
        },
        "qwList": null,
        "msgCount": null,
        "invitation": null,
        "toDoInfo": null,
        "repeatCount": null,
        "portrait": null,
        "learnNum": 1,
        "wareNum": 11
      }
    ],
    "total": 16237,
    "size": 100,
    "current": 1,
    "orders": [],
    "optimizeCountSql": true,
    "searchCount": true,
    "countId": null,
    "maxLimit": null,
    "pages": 163
  }
}