[已解决]爬不同页的新闻时不同页的网址没有什么规律

chunguang

怎样爬取不同页面的数据
我的第一页的网址是  http://www.echinatobacco.com/html/site27/ynzlyns/index.html
第二页的网址是  http://www.echinatobacco.com/html/site27/ynzlyns/index_2.html
第三页的网址是  http://www.echinatobacco.com/html/site27/ynzlyns/index_3.html
........
感觉没有什么规律，求大神

1. import requests
   
2. import json
   
3. import re
   
4. from multiprocessing import Pool
   
5. from requests.exceptions import RequestException
   
6. 
   
7. def get_one_page(url):
   
8.     headers={
   
9.         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
   
10.     }
    
11.     try:
    
12.         response=requests.get(url,headers=headers)
    
13.         if response.status_code==200:
    
14.             return response.text
    
15.         return None
    
16.     except RequestException:
    
17.         return None
    
18. 
    
19. def parse_one_page(html):
    
20.     pattern=re.compile('<li>.*?blank">(.*?)</a></em><span>(.*?)</span></li>',re.S)
    
21.     items=re.findall(pattern,html)
    
22.     for item in items:
    
23.         yield{
    
24.             'title':item[0],
    
25.             'time':item[1]
    
26.         }
    
27. 
    
28. def main(page):
    
29.     url='http://www.echinatobacco.com/html/site27/ynzlyns/index'+'_'+str(page)+'.html'
    
30.     html=get_one_page(url)
    
31.     for item in parse_one_page(html):
    
32.         print(item)
    
33. 
    
34. if __name__=='__main__':
    
35.     pool=Pool()
    
36.     pool.map(main,[i+2 for i in range(53)])

复制代码

最佳答案

月排行榜 / 总排行榜

无符号整形

2018-8-6 15:44:18

chunguang 发表于 2018-8-6 15:41
出现这样的错误
而且第一页并没有被爬下来

1. import requests
   
2. import json
   
3. import re
   
4. from multiprocessing import Pool
   
5. from requests.exceptions import RequestException
   
6. 
   
7. def get_one_page(url):
   
8.     headers={
   
9.         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
   
10.     }
    
11.     try:
    
12.         response=requests.get(url,headers=headers)
    
13.         if response.status_code==200:
    
14.             return response.text
    
15.         return None
    
16.     except RequestException:
    
17.         return None
    
18. 
    
19. def parse_one_page(html):
    
20.     pattern=re.compile('<li>.*?blank">(.*?)</a></em><span>(.*?)</span></li>',re.S)
    
21.     items=re.findall(pattern,html)
    
22.     for item in items:
    
23.         yield{
    
24.             'title':item[0],
    
25.             'time':item[1]
    
26.         }
    
27. 
    
28. def main(page):
    
29.     if page != 1:#第一页不用_page的形式
    
30.         url='http://www.echinatobacco.com/html/site27/ynzlyns/index'+'_'+str(page)+'.html'
    
31.     else:
    
32.         url='http://www.echinatobacco.com/html/site27/ynzlyns/index.html'
    
33.     html=get_one_page(url)
    
34.     for item in parse_one_page(html):
    
35.         print(item)
    
36. 
    
37. if __name__=='__main__':
    
38.     pool=Pool()
    
39.     pool.map(main,[i+2 for i in range(53)])
    

复制代码

试试这个？我好像忘记设置page==1的时候的url了。

跳转到最佳答案楼层

无符号整形

应该ok？

1. import requests
   
2. import json
   
3. import re
   
4. from multiprocessing import Pool
   
5. from requests.exceptions import RequestException
   
6. 
   
7. def get_one_page(url):
   
8.     headers={
   
9.         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
   
10.     }
    
11.     try:
    
12.         response=requests.get(url,headers=headers)
    
13.         if response.status_code==200:
    
14.             return response.text
    
15.         return None
    
16.     except RequestException:
    
17.         return None
    
18. 
    
19. def parse_one_page(html):
    
20.     pattern=re.compile('<li>.*?blank">(.*?)</a></em><span>(.*?)</span></li>',re.S)
    
21.     items=re.findall(pattern,html)
    
22.     for item in items:
    
23.         yield{
    
24.             'title':item[0],
    
25.             'time':item[1]
    
26.         }
    
27. 
    
28. def main(page):
    
29.     if page != 1:#第一页不用_page的形式
    
30.         url='http://www.echinatobacco.com/html/site27/ynzlyns/index'+'_'+str(page)+'.html'
    
31.     html=get_one_page(url)
    
32.     for item in parse_one_page(html):
    
33.         print(item)
    
34. 
    
35. if __name__=='__main__':
    
36.     pool=Pool()
    
37.     pool.map(main,[i+2 for i in range(53)])
    

复制代码

chunguang

无符号整形 发表于 2018-8-6 15:22
应该ok？

怎么样连第一页的也爬取出来

无符号整形

chunguang 发表于 2018-8-6 15:31
怎么样连第一页的也爬取出来

我终于注意到了i+2……

1. import requests
   
2. import json
   
3. import re
   
4. from multiprocessing import Pool
   
5. from requests.exceptions import RequestException
   
6. 
   
7. def get_one_page(url):
   
8.     headers={
   
9.         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
   
10.     }
    
11.     try:
    
12.         response=requests.get(url,headers=headers)
    
13.         if response.status_code==200:
    
14.             return response.text
    
15.         return None
    
16.     except RequestException:
    
17.         return None
    
18. 
    
19. def parse_one_page(html):
    
20.     pattern=re.compile('<li>.*?blank">(.*?)</a></em><span>(.*?)</span></li>',re.S)
    
21.     items=re.findall(pattern,html)
    
22.     for item in items:
    
23.         yield{
    
24.             'title':item[0],
    
25.             'time':item[1]
    
26.         }
    
27. 
    
28. def main(page):
    
29.     if page != 1:#第一页不用_page的形式
    
30.         url='http://www.echinatobacco.com/html/site27/ynzlyns/index'+'_'+str(page)+'.html'
    
31.     html=get_one_page(url)
    
32.     for item in parse_one_page(html):
    
33.         print(item)
    
34. 
    
35. if __name__=='__main__':
    
36.     pool=Pool()
    
37.     pool.map(main,[i+1 for i in range(53)])
    

复制代码

无符号整形

chunguang 发表于 2018-8-6 15:31
怎么样连第一页的也爬取出来

4楼的代码应该可以运行了吧？

chunguang

无符号整形 发表于 2018-8-6 15:32
我终于注意到了i+2……

出现这样的错误
而且第一页并没有被爬下来

无符号整形

chunguang 发表于 2018-8-6 15:41
出现这样的错误
而且第一页并没有被爬下来

1. import requests
   
2. import json
   
3. import re
   
4. from multiprocessing import Pool
   
5. from requests.exceptions import RequestException
   
6. 
   
7. def get_one_page(url):
   
8.     headers={
   
9.         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
   
10.     }
    
11.     try:
    
12.         response=requests.get(url,headers=headers)
    
13.         if response.status_code==200:
    
14.             return response.text
    
15.         return None
    
16.     except RequestException:
    
17.         return None
    
18. 
    
19. def parse_one_page(html):
    
20.     pattern=re.compile('<li>.*?blank">(.*?)</a></em><span>(.*?)</span></li>',re.S)
    
21.     items=re.findall(pattern,html)
    
22.     for item in items:
    
23.         yield{
    
24.             'title':item[0],
    
25.             'time':item[1]
    
26.         }
    
27. 
    
28. def main(page):
    
29.     if page != 1:#第一页不用_page的形式
    
30.         url='http://www.echinatobacco.com/html/site27/ynzlyns/index'+'_'+str(page)+'.html'
    
31.     else:
    
32.         url='http://www.echinatobacco.com/html/site27/ynzlyns/index.html'
    
33.     html=get_one_page(url)
    
34.     for item in parse_one_page(html):
    
35.         print(item)
    
36. 
    
37. if __name__=='__main__':
    
38.     pool=Pool()
    
39.     pool.map(main,[i+2 for i in range(53)])
    

复制代码

试试这个？我好像忘记设置page==1的时候的url了。

chunguang

1. def write_to_file(content):
   
2.     with open(r'C:\Users\lenovo\Desktop\爬虫\烟草\烟草咨询.csv','a',encoding='utf-8') as f:
   
3.         f.write(json.dumps(content,ensure_ascii=False)+'\n')
   
4.         f.close()

复制代码

我还想弱弱的问一句，怎样将他储存到csv文件中