lpp25621832 发表于 2020-6-18 14:17:42

如何将爬虫爬下来的数据储存成csv文件

def parse_detail_page(self, source):
      html = etree.HTML(source)
      driver = self.driver
      element = driver.find_element_by_xpath('//*[@id="datalist"]/table')
      ta_content = element.find_elements_by_xpath('//*[@id="datalist"]/table/tbody/tr/td')
      tb_content = element.find_elements_by_xpath('//*[@id="datalist"]/table/tbody/tr/td')
      lst1 = []
      for ta in ta_content:
            lst1.append(ta.text)
            print(lst1)
      lst2 = []
      for tb in tb_content:
            lst2.append(tb.text)
            print(lst2)
       self.write_to_csv()

def write_to_csv(lst1,lst2):
      headers = ['name','data']
      values =
      with open('try.csv', 'w', newline='',encoding='utf-8') as fp:
            writer = csv.writer(fp)
            writer.writerow(headers)
            writer.writerows(values)

结果csv里的却是:
        name,num
      (,l,s,t,1,),(,l,s,t,2,)

而lst1和lst2里面原本应该是提取的数值。

请教各位大神,怎么才能把提取的数值存入到csv里面呢???


       

Twilight6 发表于 2020-6-18 14:26:22



最简单的就直接按照 txt 写入的方法 你写入 csv 就好了,逗号分割值下

csv 本质就是 txt 文件

lpp25621832 发表于 2020-6-18 14:32:56

Twilight6 发表于 2020-6-18 14:26
最简单的就直接按照 txt 写入的方法 你写入 csv 就好了,逗号分割值下

csv 本质就是 txt 文件

我写了,但是数据存不进去啊,就是想请问 怎么把lst1里面的数据存入文件,是不是我写的代码少了什么还是错了哪里,请指教。我是个新手,真是不知道哪里写的不对啊。但感觉是不是我差个什么语句?才能把lst里面的数据给存入csv?

Twilight6 发表于 2020-6-18 14:42:39

lpp25621832 发表于 2020-6-18 14:32
我写了,但是数据存不进去啊,就是想请问 怎么把lst1里面的数据存入文件,是不是我写的代码少了什么还是 ...

完整代码发下吧
页: [1]
查看完整版本: 如何将爬虫爬下来的数据储存成csv文件