[已解决]关于爬虫获取下一页的问题求助！！！

haski1991

额- -事情是这样的，今天拿了个段子网站练手，爬去里面的段子，当前页面的用户名和段子的爬去都木有问题，但获取下一页的段子时就出问题了，一直重复着第一页的内容，求大神们指点一下额。感激不尽T^T

1. import urllib.request
   
2. import re
   
3. 
   
4. 
   
5. def url_open(url):
   
6. 
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
   
9.     dakai = urllib.request.urlopen(req)
   
10.     html = dakai.read().decode('utf-8')
    
11. 
    
12.     return html
    
13. 
    
14. 
    
15. def get_page(html):
    
16. 
    
17.     link = r'<a href="http://www.fanjian.net/(.+)">'
    
18.     find_link = re.findall(link,html)
    
19.     link_url = []
    
20.    
    
21. 
    
22.     for each in find_link:
    
23.         
    
24.         link_url.append(each)
    
25.     return link_url
    
26.         
    
27.    
    
28. def get_duan(html):
    
29. 
    
30.     user = r'target="_blank" title="(.*?)" class="fc-gblue"'
    
31.     find_user = re.findall(user,html)
    
32. 
    
33.     cont = r'<div class="joke-list-txt">(.+)</div>'
    
34.     find_cont = re.findall(cont,html)
    
35. 
    
36.    
    
37.     x = 1
    
38.    
    
39.     for content in find_cont:
    
40.         content=content.replace("\n","")
    
41.         
    
42.         name="content"+str(x)
    
43.          
    
44.         exec(name+'=content')
    
45.         x+=1
    
46.    
    
47.     y = 1
    
48.     for user in find_user:
    
49.         name="content" + str(y)
    
50.         print(user+ ':')
    
51.         exec("print("+name+")")
    
52.         print("\n")
    
53.         y+=1
    
54. 
    
55. 
    
56. if __name__ == '__main__':
    
57. 
    
58.     url = 'http://www.fanjian.net/duanzi'
    
59.     urllist = get_page(url_open(url))
    
60.    
    
61.     for i in urllist:
    
62.         get_duan(url_open(url))
    
63. 
    
64.         
    
65. 
    

复制代码

最佳答案

月排行榜 / 总排行榜

ooxx7788

2017-4-26 09:48:09

其实你这个根本就不需要第一段，前面getpage里面的毫无作用。

1. if __name__ == '__main__':
   
2.     for i in range(1, 10):
   
3.         url = 'http://www.fanjian.net/duanzi-'+str(i)
   
4.         # urllist = get_page(url_open(url))
   
5.         # print(urllist)
   
6.         # for i in urllist:
   
7.         # print(i)
   
8.         get_duan(url_open(url))

复制代码

最后改成这个就行了。之所以之前改的你感觉没用，是因为要把前面那个重复很多遍，才能刷到第二页。

跳转到最佳答案楼层

新手·ing

1.需要分析网页在翻页是提交的post表单数据
2.分析服务器的返回的数据（是html的，还是json的，还是xml的）
3.使用urllib2模块或者requests模块发送post表单，并接受服务器的响应

注释：
分析网页提交的post数据时候，可以用chrome浏览器，按F12，查看headers就可以了

ooxx7788

1. if __name__ == '__main__':
   
2.         for i in range(1,100):
   
3.               url = 'http://www.fanjian.net/duanzi-'+str(i)
   
4.               urllist = get_page(url_open(url))
   
5.    
   
6.               for i in urllist:
   
7.                   get_duan(url_open(url))

复制代码

haski1991

ooxx7788 发表于 2017-4-25 22:04

额- -不行额大神，一样只是重复着第一页的内容额

gopythoner

最后一句难道不应该是这样？

1. for i in urllist:
   
2.         get_duan(url_open(i))

复制代码

这里明明是i，你却写成url，那你这个i都没用到，当然会一直重复打开第一次打开的url，段子当然是重复的
如果你这里改成i还不行的话，那就是你获取页面的函数有问题，需要改
我发现你获取网页链接的函数式错误的，改成这样

1. def get_page(html):
   
2.     link = '<a href="(http://www.fanjian.net/duanzi-\d*?)">'
   
3.     link_url = re.findall(link,html)
   
4.     return link_url

复制代码

ooxx7788

其实你这个根本就不需要第一段，前面getpage里面的毫无作用。

1. if __name__ == '__main__':
   
2.     for i in range(1, 10):
   
3.         url = 'http://www.fanjian.net/duanzi-'+str(i)
   
4.         # urllist = get_page(url_open(url))
   
5.         # print(urllist)
   
6.         # for i in urllist:
   
7.         # print(i)
   
8.         get_duan(url_open(url))

复制代码

最后改成这个就行了。之所以之前改的你感觉没用，是因为要把前面那个重复很多遍，才能刷到第二页。

gopythoner

gopythoner 发表于 2017-4-26 09:26
最后一句难道不应该是这样？

不过，你上面只能得到6页的段子，如果你要得到所有页面（目前是108页，但是这个是可变的）的段子，那可以这样改一下

1. def get_page(html):
   
2.     link = '<span class="fc-gray">共(\d+)页，跳至<input'
   
3.     pages = int(re.findall(link,html)[0])
   
4.     link_url = ["http://www.fanjian.net/duanzi-"+str(i) for i in range(1,pages+1)]
   
5.     return link_url

复制代码

把这个函数改成这样就可以得到所有页面的链接

haski1991

gopythoner 发表于 2017-4-26 09:53
不过，你上面只能得到6页的段子，如果你要得到所有页面（目前是108页，但是这个是可变的）的段子，那可以 ...

感谢大神指导！又学到东西了

haski1991

ooxx7788 发表于 2017-4-26 09:48
其实你这个根本就不需要第一段，前面getpage里面的毫无作用。

谢谢大神的指点！试了下大神的方法的却不加那段也照样可以爬取后面的