[已解决]爬取豆瓣某一页的电影名称并保存为csv文件

私はり

采用urllib爬取https://movie.douban.com/chart 页面下的电影名称，将其保存在movie.csv文件中

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-11-29 19:30:18

私はり 发表于 2020-11-29 19:24
竖着·排列怎么变

竖着排列

1. import requests
   
2. from lxml import etree
   
3. import csv
   
4. 
   
5. def main():
   
6.     url = 'https://movie.douban.com/chart'
   
7.     headers = {'user-agent': 'firefox'}
   
8.     r = requests.get(url, headers=headers)
   
9.     html = etree.HTML(r.text)
   
10.     result = html.xpath('//span[@style="font-size:13px;"]/text()')
    
11.     print(result)
    
12.     with open('movies.csv', 'w', encoding='utf-8', newline='') as csvfile:   # 注意多了一个newline参数，防止空行出现。
    
13.         writer = csv.writer(csvfile)
    
14.         for item in result:
    
15.             writer.writerow([item])
    
16.     print('done')
    
17. 
    
18. 
    
19. if __name__ == '__main__':
    
20.     main()
    

复制代码

跳转到最佳答案楼层

suchocolate

1. from urllib import request
   
2. from lxml import etree
   
3. import csv
   
4. 
   
5. 
   
6. def main():
   
7.     headers = {'User-Agent': 'Firefox'}
   
8.     req = request.Request('https://movie.douban.com/chart', headers=headers)
   
9.     r = request.urlopen(req)
   
10.     html = etree.HTML(r.read().decode('utf-8'))
    
11.     result = html.xpath('//span[@style="font-size:13px;"]/text()')
    
12.     print(result)
    
13.     with open('movies.csv', 'w', encoding='utf-8') as csvfile:
    
14.         writer = csv.writer(csvfile)
    
15.         writer.writerow(result)
    
16.     print('done')
    
17. 
    
18. 
    
19. if __name__ == '__main__':
    
20.     main()
    

复制代码

1. import requests
   
2. from lxml import etree
   
3. import csv
   
4. 
   
5. def main():
   
6.     url = 'https://movie.douban.com/chart'
   
7.     headers = {'user-agent': 'firefox'}
   
8.     r = requests.get(url, headers=headers)
   
9.     html = etree.HTML(r.text)
   
10.     result = html.xpath('//span[@style="font-size:13px;"]/text()')
    
11.     print(result)
    
12.     with open('movies.csv', 'w', encoding='utf-8') as csvfile:
    
13.         writer = csv.writer(csvfile)
    
14.         writer.writerow(result)
    
15.     print('done')
    
16. 
    
17. 
    
18. if __name__ == '__main__':
    
19.     main()
    

复制代码

私はり

suchocolate 发表于 2020-11-28 17:14

竖着·排列怎么变

私はり

suchocolate 发表于 2020-11-28 17:14

那个正则表达式怎么写的，最后那个两行代码是什么意思呢 ，大佬

suchocolate

私はり 发表于 2020-11-29 19:24
竖着·排列怎么变

竖着排列

1. import requests
   
2. from lxml import etree
   
3. import csv
   
4. 
   
5. def main():
   
6.     url = 'https://movie.douban.com/chart'
   
7.     headers = {'user-agent': 'firefox'}
   
8.     r = requests.get(url, headers=headers)
   
9.     html = etree.HTML(r.text)
   
10.     result = html.xpath('//span[@style="font-size:13px;"]/text()')
    
11.     print(result)
    
12.     with open('movies.csv', 'w', encoding='utf-8', newline='') as csvfile:   # 注意多了一个newline参数，防止空行出现。
    
13.         writer = csv.writer(csvfile)
    
14.         for item in result:
    
15.             writer.writerow([item])
    
16.     print('done')
    
17. 
    
18. 
    
19. if __name__ == '__main__':
    
20.     main()
    

复制代码

suchocolate

私はり 发表于 2020-11-29 19:26
那个正则表达式怎么写的，最后那个两行代码是什么意思呢 ，大佬

那个是xpath，是用来解析html的，你网上搜一下就知道了。
if __name__ == '__main__'当模块被直接运行时，以下代码块将被运行，当模块是被导入时，代码块不被运行。
习惯性写法，养成好习惯。

私はり

suchocolate 发表于 2020-11-29 19:41
那个是xpath，是用来解析html的，你网上搜一下就知道了。
if __name__ == '__main__'当模块被直接运行时 ...

好的 多谢

私はり

suchocolate 发表于 2020-11-28 17:14

import requests
from bs4 import BeautifulSoup
url2="https://movie.douban.com/chart"
hs={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36',}
res = requests.get(url2, headers=hs)
print(res.status_code)
text = res.text
#print(text)
soup = BeautifulSoup(text,'html.parser')
tags = soup('img')
for li in tags:
  result=li['alt']
  print(result)
我这个代码 的 alt  那几行代码是干什么的呀
tags = soup('img')
for li in tags:
  result=li['alt']
  print(result)

suchocolate

私はり 发表于 2020-11-29 20:19
import requests
from bs4 import BeautifulSoup
url2="https://movie.douban.com/chart"

img元素的alt属性的内容，以后不知道内容多打印一下就知道了，学会自己分析。