[已解决]网页爬取 print可以输出内容，但存为csv时只存了前三个网页的内容，后面都没了

hhhsm

1. import requests
   
2. import re
   
3. import bs4
   
4. from bs4 import BeautifulSoup as soup
   
5. import time
   
6. import pandas as pd
   
7. 
   
8. url1 = 'https://www.muniao.com/'
   
9. url2 = '/null-0-0-0-0-0-0-0-'
   
10. url3 = '.html?tn=mn19091015'
    
11. city1 = ['beijing','shanghai','qinhuangdao','qingdao'  ,'xiamen'   ,
    
12.          'chengdu','hangzhou','dalian'     ,'chongqing','guangzhou',
    
13.          'nanjing','xian'    ,'sanya'      ,'shenzhen' ,'weihai'   ,
    
14.          'wuhan'  ,'yantai'  ,'suzhou'      ,'tianjin'  ,'changsha'  ]       #热门城市名称
    
15. citychinese = ['北京', '上海', '秦皇岛', '青岛', '厦门',
    
16.                '成都', '杭州', '大连',  '重庆', '广州',
    
17.                '南京', '西安', '三亚',  '深圳', '威海',
    
18.                '武汉', '烟台', '苏州',  '天津', '长沙']
    
19. 
    
20. def Qingxi(na, ca, ad):       #数据清洗
    
21.     na1 = ' '.join('%s'%id for id in   na)      #列表转为字符串
    
22.     name = re.findall(r'>(.*?)</a>',na1)        #遍历字符串截取名称内容
    
23.     #print(name)
    
24.     ca1 = ' '.join('%s'%id for id in   ca)
    
25.     #print(ca1)
    
26.     case = re.findall(r'<span>(.*?)</',ca1)     #取出条件部分
    
27.     case1 = ' '.join('%s'%id for id in  case)
    
28.     case2 = []
    
29.     for i in case:
    
30.         j = re.findall(r'.*?评论',str(i))     #去除case里包含的评论条数
    
31.         if j == []:
    
32.             case2.append(i)
    
33.     #print(case2)
    
34.     #print(case)
    
35.     ad1 = ' '.join('%s' % id for id in ad)
    
36.     address = re.findall(r'地址：(.*?)\r', ad1 ,re.S)      #取出地址部分
    
37.     #print(address)
    
38.     Chucun(name,case2,address)
    
39. 
    
40. def Gethtml(city, k):          #爬取网页
    
41.     for x in range(1,11):     #循环嵌套网址换页
    
42.             time.sleep(1)           #延时
    
43.             url = url1+city+url2+str(x)+url3         #网页url
    
44.             print(url)
    
45.             print('正在爬取'+citychinese[k]+'市的第'+str(x)+'页租房信息')
    
46.             r = requests.get(url)
    
47.             s = soup(r.text, 'lxml')        #解析网页
    
48.             name = s.select("a[class=s_mn_house_t1]")       #名称解析
    
49.             case = s.select('p span')        #条件解析
    
50.             address = s.select("div[class=list_address]")     #地址获取
    
51.             Qingxi(name, case, address)
    
52. 
    
53. def Chengshi():         #更换城市
    
54.     k = 0
    
55.     for i in city1:
    
56.         Gethtml(i, k)
    
57.         k += 1
    
58. 
    
59. def Chucun(na,ca,ad):
    
60.     ca1 = []        #居室
    
61.     ca2 = []        #出租情况
    
62.     ca3 = []        #居住人数
    
63.     for i in ca[::3]:       #将case分成三个部分，居室，出租情况，居住人数
    
64.         ca1.append(i)
    
65.     #print(ca1)
    
66.     for i in ca[1::3]:
    
67.         ca2.append(i)
    
68.     #print(ca2)
    
69.     for i in ca[2::3]:
    
70.         ca3.append(i)
    
71.     #print(ca3)
    
72.     data1 = {'名称':na, '居室':ca1, '出租情况':ca2, '居住人数':ca3,'地址':ad}
    
73.     df1 = pd.DataFrame(data1)
    
74.     df1.to_csv('E:/木鸟短租热门城市爬取.csv', index=None)     #csv文件的写入位置
    
75. Chengshi()

复制代码

存的表格里面只有前三页网页的内容，帮忙看一下谢谢

最佳答案

月排行榜 / 总排行榜

路神

2021-6-7 22:10:41

to_csv()不会追加，每次都会覆写

跳转到最佳答案楼层

路神

to_csv()不会追加，每次都会覆写

hhhsm

路神 发表于 2021-6-7 22:10
to_csv()不会追加，每次都会覆写

谢谢，刚刚查了一下，加个mode='a'就好了，谢谢