[已解决]文本写入

jump_p

1. import requests, os
   
2. from lxml import etree
   
3. from fake_useragent import UserAgent
   
4. import time
   
5. 
   
6. if not os.path.exists('妖怪'):
   
7.     os.mkdir('妖怪')
   
8. 
   
9. class goblin(object):
   
10.     def __init__(self):
    
11.         self.url = "http://www.cbaigui.com/?paged={}"
    
12.         ua = UserAgent(verify_ssl=False) #是否跳过证书验证，有些网站需要验证才能访问，但你跳过验证就可以正常访问
    
13.         self.headers = {
    
14.                 'User-Agent': ua.random, #可生成不同浏览器的UA头，UserAgent().chrome 可生成随机谷歌UA头
    
15.                 'Host': 'www.cbaigui.com',
    
16.                 'Referer': 'http://www.cbaigui.com /?paged=36'  #Referer说明你从哪个网页跳转过来的
    
17.             }
    
18. 
    
19.     '''发送请求  获取响应'''
    
20. 
    
21.     def get_page(self, url):
    
22.         res = requests.get(url=url, headers=self.headers)
    
23.         html = res.content.decode("utf-8")
    
24.         return html
    
25.         '''解析数据'''
    
26. 
    
27.     #
    
28.     def parse_page(self, html):
    
29.         parse_html = etree.HTML(html)
    
30.         t = parse_html.xpath('//div[@class="post-inner post-hover"]/h2')
    
31.         for i in t:
    
32.             goblin_herf = i.xpath('./a/@href')[0].strip()  # 二级页面链接
    
33.             name = i.xpath('./a/text()')[0].strip()  # 对应文件夹的名字
    
34.             print(name, goblin_herf)
    
35.             html2 = self.get_page(goblin_herf)  # 第二个发生请求
    
36.             parse_html2 = etree.HTML(html2)
    
37.             r = parse_html2.xpath('//div[@class="entry"]/p/text()')
    
38.             for rte in r:
    
39.                 # print(rte)w
    
40.                 try:
    
41.                     with open("./妖怪/汇总.txt", "a", encoding='utf-8') as f:
    
42.                         f.write(rte)  # 把内容存储到对应名字的文件里
    
43.                 except OSError:
    
44.                     pass
    
45.                 continue
    
46. 
    
47.     def main(self):
    
48.         startPage = int(input("起始页:"))
    
49.         endPage = int(input("终止页:"))
    
50.         for page in range(startPage, endPage + 1):
    
51.             url = self.url.format(page)
    
52.             print(url)
    
53.             html = self.get_page(url)
    
54.             self.parse_page(html)
    
55.             time.sleep(1)
    
56.             print("======================第%s页爬取成功！！！！=======================" % page)
    
57. 
    
58. 
    
59. if __name__ == '__main__':
    
60.     imageSpider = goblin()
    
61.     imageSpider.main()

复制代码

第42行，有办法按不同的name在同一个文档中对不同的文本进行换行切分吗？

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-6-10 19:04:51

jump_p 发表于 2020-6-10 18:58
在一个文档里区分

1. import requests, os
   
2. from lxml import etree
   
3. from fake_useragent import UserAgent
   
4. import time
   
5. 
   
6. if not os.path.exists('妖怪'):
   
7.     os.mkdir('妖怪')
   
8. 
   
9. class goblin(object):
   
10.     def __init__(self):
    
11.         self.url = "http://www.cbaigui.com/?paged={}"
    
12.         ua = UserAgent(verify_ssl=False) #是否跳过证书验证，有些网站需要验证才能访问，但你跳过验证就可以正常访问
    
13.         self.headers = {
    
14.                 'User-Agent': ua.random, #可生成不同浏览器的UA头，UserAgent().chrome 可生成随机谷歌UA头
    
15.                 'Host': 'www.cbaigui.com',
    
16.                 'Referer': 'http://www.cbaigui.com /?paged=36'  #Referer说明你从哪个网页跳转过来的
    
17.             }
    
18. 
    
19.     '''发送请求  获取响应'''
    
20. 
    
21.     def get_page(self, url):
    
22.         res = requests.get(url=url, headers=self.headers)
    
23.         html = res.content.decode("utf-8")
    
24.         return html
    
25.         '''解析数据'''
    
26. 
    
27.     #
    
28.     def parse_page(self, html):
    
29.         parse_html = etree.HTML(html)
    
30.         t = parse_html.xpath('//div[@class="post-inner post-hover"]/h2')
    
31.         for i in t:
    
32.             goblin_herf = i.xpath('./a/@href')[0].strip()  # 二级页面链接
    
33.             name = i.xpath('./a/text()')[0].strip()  # 对应文件夹的名字
    
34.             print(name, goblin_herf)
    
35.             html2 = self.get_page(goblin_herf)  # 第二个发生请求
    
36.             parse_html2 = etree.HTML(html2)
    
37.             r = parse_html2.xpath('//div[@class="entry"]/p/text()')
    
38.             r = ''.join(r)
    
39.             try:
    
40.                 with open("./妖怪/汇总.txt", "a", encoding='utf-8') as f:
    
41.                     f.write(f'{name}\n{r}\n')  # 把内容存储到对应名字的文件里
    
42.             except OSError:
    
43.                 pass
    
44.             continue
    
45. 
    
46.     def main(self):
    
47.         startPage = int(input("起始页:"))
    
48.         endPage = int(input("终止页:"))
    
49.         for page in range(startPage, endPage + 1):
    
50.             url = self.url.format(page)
    
51.             print(url)
    
52.             html = self.get_page(url)
    
53.             self.parse_page(html)
    
54.             time.sleep(1)
    
55.             print("======================第%s页爬取成功！！！！=======================" % page)
    
56. 
    
57. 
    
58. if __name__ == '__main__':
    
59.     imageSpider = goblin()
    
60.     imageSpider.main()

复制代码

跳转到最佳答案楼层

Twilight6

是不同种文件名嘛？

jump_p

Twilight6 发表于 2020-6-10 18:52
是不同种文件名嘛？

在一个文档里区分

Stubborn

你都是打开一个文本，又没分文件夹，一个文本，你想怎么保存内容？画个文件树出来，看你具体想怎么保存

Twilight6

jump_p 发表于 2020-6-10 18:58
在一个文档里区分

1. import requests, os
   
2. from lxml import etree
   
3. from fake_useragent import UserAgent
   
4. import time
   
5. 
   
6. if not os.path.exists('妖怪'):
   
7.     os.mkdir('妖怪')
   
8. 
   
9. class goblin(object):
   
10.     def __init__(self):
    
11.         self.url = "http://www.cbaigui.com/?paged={}"
    
12.         ua = UserAgent(verify_ssl=False) #是否跳过证书验证，有些网站需要验证才能访问，但你跳过验证就可以正常访问
    
13.         self.headers = {
    
14.                 'User-Agent': ua.random, #可生成不同浏览器的UA头，UserAgent().chrome 可生成随机谷歌UA头
    
15.                 'Host': 'www.cbaigui.com',
    
16.                 'Referer': 'http://www.cbaigui.com /?paged=36'  #Referer说明你从哪个网页跳转过来的
    
17.             }
    
18. 
    
19.     '''发送请求  获取响应'''
    
20. 
    
21.     def get_page(self, url):
    
22.         res = requests.get(url=url, headers=self.headers)
    
23.         html = res.content.decode("utf-8")
    
24.         return html
    
25.         '''解析数据'''
    
26. 
    
27.     #
    
28.     def parse_page(self, html):
    
29.         parse_html = etree.HTML(html)
    
30.         t = parse_html.xpath('//div[@class="post-inner post-hover"]/h2')
    
31.         for i in t:
    
32.             goblin_herf = i.xpath('./a/@href')[0].strip()  # 二级页面链接
    
33.             name = i.xpath('./a/text()')[0].strip()  # 对应文件夹的名字
    
34.             print(name, goblin_herf)
    
35.             html2 = self.get_page(goblin_herf)  # 第二个发生请求
    
36.             parse_html2 = etree.HTML(html2)
    
37.             r = parse_html2.xpath('//div[@class="entry"]/p/text()')
    
38.             r = ''.join(r)
    
39.             try:
    
40.                 with open("./妖怪/汇总.txt", "a", encoding='utf-8') as f:
    
41.                     f.write(f'{name}\n{r}\n')  # 把内容存储到对应名字的文件里
    
42.             except OSError:
    
43.                 pass
    
44.             continue
    
45. 
    
46.     def main(self):
    
47.         startPage = int(input("起始页:"))
    
48.         endPage = int(input("终止页:"))
    
49.         for page in range(startPage, endPage + 1):
    
50.             url = self.url.format(page)
    
51.             print(url)
    
52.             html = self.get_page(url)
    
53.             self.parse_page(html)
    
54.             time.sleep(1)
    
55.             print("======================第%s页爬取成功！！！！=======================" % page)
    
56. 
    
57. 
    
58. if __name__ == '__main__':
    
59.     imageSpider = goblin()
    
60.     imageSpider.main()

复制代码