[已解决]python爬虫 文件写入问题

黑盒子

1. import urllib.request
   
2. import re
   
3. import os
   
4. 
   
5. def url_open(url):
   
6.     #添加头文件
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36')
   
9. 
   
10.     #访问网址
    
11.     response = urllib.request.urlopen(req)
    
12.     html = response.read()
    
13. 
    
14.     return html
    
15.    
    
16. def get_url(url):
    
17.     html = url_open(url).decode('utf-8')
    
18.     #获取电影地址
    
19.     a = r'<a class="stui-vodlist__thumb lazyload" href="([^"]+\.html)"'
    
20.     mov_addrs = re.findall(a, html)
    
21.     #获取电影名称
    
22.     b = r'<a class="stui-vodlist__thumb lazyload" href="[^"]+\.html" title="([^"]+)"'
    
23.     mov_title = re.findall(b, html)
    
24. 
    
25.     #电影名与网址对应
    
26.     mov_dict = dict(zip(mov_title, mov_addrs))
    
27.     return mov_dict
    
28. 
    
29. #保存到文档中
    
30. def save_url(folder, mov_dict):
    
31.     for each in mov_dict:
    
32.         with open('movies.txt', 'a') as f:
    
33.             f.write('%s  ' % each)
    
34.             url = 'https://www.4480qpg.net/'
    
35.             f.write('%s\n' % (url + mov_dict[each]))
    
36.         
    
37. def download_movs(folder='mov'):
    
38.     #创建文件夹
    
39.     os.mkdir(folder)
    
40.     #保存文件夹
    
41.     os.chdir(folder)
    
42. 
    
43.     url = 'https://www.4480qpg.net/'
    
44. 
    
45.     #获取电影地址
    
46.     mov_url = get_url(url)
    
47. 
    
48.     #保存到指定文件夹
    
49.     save_url(folder, mov_url)
    
50. 
    
51. if __name__ == '__main__':
    
52.     download_movs()
    

复制代码

自己写的一个小爬虫，爬的是4480青苹果影院https://www.4480qpg.net/
#保存到文档中
这一步，怎么把电影名称和电影地址直接同时（直接字典不用分开）写入TXT文档中呢，还是说像我那样写也还不错，有没有更好的写入方法呢，求教
还有就是，比如爬取网址后缀为.html的，是不是一般方法爬不了呢，求教求解释

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-8-28 09:45:14

1）第一个问题：

1. url = 'https://www.4480qpg.net/'   # 变量赋值一次即可
   
2. with open('movies.txt', 'a') as f:   # 文件打开一次即可
   
3.     for key,value in mov_dict.items():    # items()可以同时取key和value。
   
4.         movie_url = url + value
   
5.         f.write('%s  %s\n' % (key, movie_url))
   
6. 
   

复制代码

2）第二个问题：页面主要由HTML（主题框架），Javascript（网页行为），css组成（网页样式）组成，光看url是html无法判断网页能不能直接爬取，需要根据实际情况分析。
有的网站设置加密，有的网站要求登录，有的网站数据需要发起ajax。这个4480网站我看没有过多使用ajax，应该可以直接爬取。

3）你的代码还有其他可以优化的地方，不过还是交给你自己练习吧。

跳转到最佳答案楼层

suchocolate

1）第一个问题：

1. url = 'https://www.4480qpg.net/'   # 变量赋值一次即可
   
2. with open('movies.txt', 'a') as f:   # 文件打开一次即可
   
3.     for key,value in mov_dict.items():    # items()可以同时取key和value。
   
4.         movie_url = url + value
   
5.         f.write('%s  %s\n' % (key, movie_url))
   
6. 
   

复制代码

2）第二个问题：页面主要由HTML（主题框架），Javascript（网页行为），css组成（网页样式）组成，光看url是html无法判断网页能不能直接爬取，需要根据实际情况分析。
有的网站设置加密，有的网站要求登录，有的网站数据需要发起ajax。这个4480网站我看没有过多使用ajax，应该可以直接爬取。

3）你的代码还有其他可以优化的地方，不过还是交给你自己练习吧。