看了爬虫视频自己做了一个爬煎蛋网新闻标题并保存到news.txt文件中

crxliy

看了爬虫视频自己做了一个爬煎蛋网新闻标题并保存到news.txt文件中，看来不是爬MM这类的提问少有人解答呀，还好，自己粗心在一个地方弄错了参数自己解决了！丢出来给大伙分享交流吧！下次计划用正则表达式写个爬取全网最优惠机票的玩玩，结合点先进点的自动获取代理IP并联网验证，练手完就开始搞股票量化及自动交易！

（另外看了小甲虫的爬煎蛋妹子的代码觉得应该是有个地方写错了，个人认为page_num-=i应该改为page_num-=1才对，不然就不会按设置的page页数爬而是跳页来爬MM图了，当然，不影响爬图，只是不按设置的page页数来爬而已）

1. 
   
2. 
   
3. import urllib.request,os,time
   
4. 
   
5. def url_open(url):
   
6.     req=urllib.request.Request(url)
   
7.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36')
   
8.     resp=urllib.request.urlopen(req)
   
9. 
   
10.     html=resp.read()
    
11. 
    
12.     return html
    
13. 
    
14. 
    
15. def find_news(url):
    
16.     html=url_open(url).decode('utf-8')
    
17.     news_txts=[]
    
18.    
    
19.     a=html.find('.html" target="_blank">')
    
20.     while a!=-1:
    
21.         b=html.find('</a>',a,a+93)
    
22.         if b!=-1:
    
23.             news_txts.append(html[a+23:b])
    
24.         else:
    
25.             b=a+23
    
26. 
    
27.         a=html.find('.html" target="_blank">',b)
    
28.     return news_txts
    
29.     #for i in news_txts:
    
30.     #     print(i)
    
31.     #     print()
    
32. 
    
33. 
    
34. def save_txt(folder,news_txts):
    
35.     with open(r'news.txt','a') as f:
    
36.         for i in news_txts:
    
37.             f.write(str(i)+'\r\n')
    
38.             #time.sleep(1)
    
39.             print(i)
    
40.          
    
41. 
    
42. 
    
43. 
    
44. '''
    
45.             for i in range(len(news_txts)):
    
46.                     f.write(news_txts[i]+"\r\n")
    
47.                     print(news_txts[i])
    
48. '''
    
49. 
    
50. def download_news(folder='news',page=input('请输入需要获取煎蛋网新闻标题的页数（前几页）:')):
    
51.     page=int(page)
    
52.     os.mkdir(folder)
    
53.     os.chdir(folder)
    
54.    
    
55.     url='http://jandan.net/page/'
    
56.     for i in range(page):
    
57.             page=i+1
    
58.             page_url=url+str(page)
    
59. 
    
60.             news_txts=find_news(page_url)
    
61.             
    
62.             #print(news_txts)
    
63.    
    
64.             save_txt(folder,news_txts)
    
65. 
    
66. 
    
67. if __name__=='__main__':
    
68.     download_news()
    
69. 
    

复制代码

crxliy

实在不懂问题出在哪了，在save_txt(folder,news_txts)函数里加了个输出都是正常的，难道是速度太快写入速度跟不上只能写进最后一页数据？不可能啊！

1. def save_txt(folder,news_txts):
   
2.         #for each in news_txts:
   
3.                 with open(r'news.txt','w') as f:
   
4.                     for i in news_txts:
   
5.                             f.write(i+"\n")
   
6.                             print(i)

复制代码

crxliy

open参数弄错，自己解决了！还是得靠自己呀！