求教

寄意寒星丶

要求：爬取简书网“推荐作者”信息
http://www.jianshu.com/recommendations/users
爬取信息包括：作者URL、作者ID、最近更新文章、作者类型以及“关注、粉丝、文章、字数和收获喜欢”，并最终保存到一个文件夹中。这个爬虫怎么写啊。

shake_a_tree@16

不自己先试试？

新手·ing

回答预定，
给点时间

新手·ing

1. from bs4 import BeautifulSoup as bs
   
2. import requests
   
3. import lxml
   
4. import re
   
5. 
   
6. 
   
7. writer = []
   
8. own_page = []
   
9. recent = []
   
10. prize = []
    
11. headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
    
12. url = 'https://www.jianshu.com/recommendations/users'
    
13. #见了个鬼，有的用户数字后面带w
    
14. pat = re.compile('<p>(\d+(?:\.\dw)?)</p>')
    
15. 
    
16. page = requests.get(url, headers=headers).content
    
17. soup = bs(page, 'lxml')
    
18. names = soup.find_all('h4', class_='name')
    
19. titles = soup.find_all('div', class_='recent-update')
    
20. # 作者名
    
21. for name in names:
    
22.     writer.append(name.get_text())
    
23. # 最近更新
    
24. for title in titles:
    
25.     recent.append([title.a.get_text()])
    
26. # 个人主页
    
27. for name in names:
    
28.     own_page.append('https://www.jianshu.com'+name.parent.attrs['href'])
    
29. # 关注 粉丝 文章 字数 喜欢
    
30. for each_url in own_page:
    
31.     wrap = []
    
32.     page = requests.get(each_url, headers=headers).content
    
33.     soup = bs(page, 'lxml')
    
34.     for data in soup.find_all('div', class_='meta-block'):
    
35.         info = re.findall(pat, str(list(data.children)[1]))
    
36.         wrap.append(info[0])
    
37.     prize.append(wrap)
    

复制代码

新手·ing

至于简书的动态加载，我实在不敢恭维，
你看下f12就会发现，请求的地址是有规律的，
你要是爬取全部，就封装一下我的代码。