[已解决]多列表合并一个列表

我不是第一个

我采集了一个网站的封面页，获取了多个列表页
然后获取的文章是多个列表页，如何把这些列表合并为一个

请求频道页地址     A表示【频道页地址】
A

获取多个列表页    列表中的字母表示独立的 【列表页地址】
[a,b,c,d]

请求列表页获取文章页面；列表里面的数字代表的是独立的 【文章地址】
文章列表a
[1,2,3,4,5,6,7,8,9]

文章列表b
[1,2,3,4,5,6,7,8,9]

文章列表c
[1,2,3,4,5,6,7,8,9]

文章列表d
[1,2,3,4,5,6,7,8,9]


我现在用for循环取出来的是一个一个的列表。列表里面是文章地址。如何用for循环把这些文章列表合并为一个列表。

最佳答案

月排行榜 / 总排行榜

Twilight6

2021-6-12 11:09:57

我不是第一个 发表于 2021-6-12 09:18
我知道写加，但是不知道怎么写代码。。       我用的 +=  好像不管用。应该是写错了。贴代码给你看下。。

[b]
for 循环这里直接改成这样就行 ：

1. for k in h:
   
2.     arc_href.extend([k])

复制代码

或者用加号：

1. for k in h:
   
2.     arc_href += [k]

复制代码

你直接对一个字符串使用 extend 肯定会将字符串先转化为列表后与列表合并的，导致你链接字符串全部被拆分开来，参考代码：

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. 
   
5. 
   
6. class Zw:
   
7.     def __init__(self):
   
8.         self.index_url="http://www.zuowen.com/gaozhong/"
   
9.         self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.71 Safari/537.36"}
   
10. 
    
11.     def list_href(self,response): #请求封面页
    
12.         index_str=response.xpath("//div[@class='taglist']/ul")
    
13.         list_url=[]
    
14.         for li in index_str:
    
15.             list_url=li.xpath(".//a[@target='_blank']/@href")
    
16.             # print(list_url)
    
17.         return list_url
    
18. 
    
19.     def arc_next(self,list_url): #请求列表页
    
20.         arc_href=[]
    
21.         for i in list_url:
    
22.             list_str=requests.get(i,headers=self.headers)
    
23.             list_str1 = etree.HTML(list_str.text)
    
24.             list_str2=list_str1.xpath("//div[@class='artlist']/div[@class='artlist_l']")
    
25.             for arc in list_str2:
    
26.                 h=arc.xpath("./div/div[@class='artbox_l_t']/a/@href")
    
27.                 arc_href +=h
    
28.                 for k in h:
    
29.                     arc_href.extend([k])
    
30.                     
    
31.         return arc_href
    
32. 
    
33.     def arc_body(self,arc_href): #请求详情页
    
34.         for url in arc_href:
    
35.             html1=requests.get(url)
    
36.             html1.encoding='gb2312'
    
37.             html = etree.HTML(html1.text)
    
38.             title=html.xpath("//h1[@class='h_title']/text()")
    
39.             #data=re.findall("<p style="text-align:center;padding:10px">20\d{2}-\d{2}-\d{2}.*?</p>",html1)
    
40.             body=''.join(html.xpath("//div[@class='con_content']/*/text()")).strip()
    
41.             # print(title)
    
42.             # print(body)
    
43.             print('----------')
    
44.         return title,body
    
45. 
    
46. 
    
47.     def run(self):
    
48.         #1 获取封面网址
    
49.         index_str=requests.get(self.index_url,headers=self.headers)
    
50.         response=etree.HTML(index_str.text)
    
51.         #2 获取多个列表网址
    
52.         list_url=self.list_href(response)
    
53.         #3获取多个文章网址列表
    
54.         arc_href=self.arc_next(list_url)
    
55.         #4 获取数据
    
56.         title,body=self.arc_body(arc_href)
    
57.         #5 保存数据
    
58. 
    
59. if __name__ == "__main__":
    
60.     zuowen=Zw()
    
61.     zuowen.run()
    

复制代码

[/b]

跳转到最佳答案楼层

qq1151985918

为啥非要用for？直接相加就好了。

我不是第一个

我知道写加，但是不知道怎么写代码。。       我用的 +=  好像不管用。应该是写错了。贴代码给你看下。。

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. 
   
5. 
   
6. class Zw:
   
7.     def __init__(self):
   
8.         self.index_url="http://www.zuowen.com/gaozhong/"
   
9.         self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.71 Safari/537.36"}
   
10. 
    
11.     def list_href(self,response): #请求封面页
    
12.         index_str=response.xpath("//div[@class='taglist']/ul")
    
13.         list_url=[]
    
14.         for li in index_str:
    
15.             list_url=li.xpath(".//a[@target='_blank']/@href")
    
16.             # print(list_url)
    
17.         return list_url
    
18. 
    
19.     def arc_next(self,list_url): #请求列表页
    
20.         arc_href=[]
    
21.         for i in list_url:
    
22.             list_str=requests.get(i,headers=self.headers)
    
23.             list_str1 = etree.HTML(list_str.text)
    
24.             list_str2=list_str1.xpath("//div[@class='artlist']/div[@class='artlist_l']")
    
25.             for arc in list_str2:
    
26.                 h=arc.xpath("./div/div[@class='artbox_l_t']/a/@href")
    
27.                 arc_href +=h
    
28.                 print(arc_href)
    
29.                 # for k in h:
    
30.                 #     # arc_href.extend(k)
    
31.                 #     print(k)
    
32.                 #     # arc_href +=k
    
33.                 #     # print(arc_href)
    
34.         return arc_href
    
35. 
    
36.     def arc_body(self,arc_href): #请求详情页
    
37.         for url in arc_href:
    
38.             html1=requests.get(url)
    
39.             html1.encoding='gb2312'
    
40.             html = etree.HTML(html1.text)
    
41.             title=html.xpath("//h1[@class='h_title']/text()")
    
42.             #data=re.findall("<p style="text-align:center;padding:10px">20\d{2}-\d{2}-\d{2}.*?</p>",html1)
    
43.             body=''.join(html.xpath("//div[@class='con_content']/*/text()")).strip()
    
44.             # print(title)
    
45.             # print(body)
    
46.             print('----------')
    
47.         return title,body
    
48. 
    
49. 
    
50.     def run(self):
    
51.         #1 获取封面网址
    
52.         index_str=requests.get(self.index_url,headers=self.headers)
    
53.         response=etree.HTML(index_str.text)
    
54.         #2 获取多个列表网址
    
55.         list_url=self.list_href(response)
    
56.         #3获取多个文章网址列表
    
57.         arc_href=self.arc_next(list_url)
    
58.         #4 获取数据
    
59.         title,body=self.arc_body(arc_href)
    
60.         #5 保存数据
    
61. 
    
62. if __name__ == "__main__":
    
63.     zuowen=Zw()
    
64.     zuowen.run()
    

复制代码

我不是第一个

qq1151985918 发表于 2021-6-12 08:29
为啥非要用for？直接相加就好了。

问题出在请求列表 这块下面， 不知道怎么写了

wp231957

我不是第一个 发表于 2021-6-12 09:56
问题出在请求列表 这块下面， 不知道怎么写了

>>> a=[1,2,3]
>>> b=[5,6,7]
>>> a.extend(b)
>>> a
[1, 2, 3, 5, 6, 7]
>>> b.extend(a)
>>> b
[5, 6, 7, 1, 2, 3, 5, 6, 7]
>>> a.extend(b)
>>> a
[1, 2, 3, 5, 6, 7, 5, 6, 7, 1, 2, 3, 5, 6, 7]
>>>

Twilight6

我不是第一个 发表于 2021-6-12 09:18
我知道写加，但是不知道怎么写代码。。       我用的 +=  好像不管用。应该是写错了。贴代码给你看下。。

[b]
for 循环这里直接改成这样就行 ：

1. for k in h:
   
2.     arc_href.extend([k])

复制代码

或者用加号：

1. for k in h:
   
2.     arc_href += [k]

复制代码

你直接对一个字符串使用 extend 肯定会将字符串先转化为列表后与列表合并的，导致你链接字符串全部被拆分开来，参考代码：

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. 
   
5. 
   
6. class Zw:
   
7.     def __init__(self):
   
8.         self.index_url="http://www.zuowen.com/gaozhong/"
   
9.         self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.71 Safari/537.36"}
   
10. 
    
11.     def list_href(self,response): #请求封面页
    
12.         index_str=response.xpath("//div[@class='taglist']/ul")
    
13.         list_url=[]
    
14.         for li in index_str:
    
15.             list_url=li.xpath(".//a[@target='_blank']/@href")
    
16.             # print(list_url)
    
17.         return list_url
    
18. 
    
19.     def arc_next(self,list_url): #请求列表页
    
20.         arc_href=[]
    
21.         for i in list_url:
    
22.             list_str=requests.get(i,headers=self.headers)
    
23.             list_str1 = etree.HTML(list_str.text)
    
24.             list_str2=list_str1.xpath("//div[@class='artlist']/div[@class='artlist_l']")
    
25.             for arc in list_str2:
    
26.                 h=arc.xpath("./div/div[@class='artbox_l_t']/a/@href")
    
27.                 arc_href +=h
    
28.                 for k in h:
    
29.                     arc_href.extend([k])
    
30.                     
    
31.         return arc_href
    
32. 
    
33.     def arc_body(self,arc_href): #请求详情页
    
34.         for url in arc_href:
    
35.             html1=requests.get(url)
    
36.             html1.encoding='gb2312'
    
37.             html = etree.HTML(html1.text)
    
38.             title=html.xpath("//h1[@class='h_title']/text()")
    
39.             #data=re.findall("<p style="text-align:center;padding:10px">20\d{2}-\d{2}-\d{2}.*?</p>",html1)
    
40.             body=''.join(html.xpath("//div[@class='con_content']/*/text()")).strip()
    
41.             # print(title)
    
42.             # print(body)
    
43.             print('----------')
    
44.         return title,body
    
45. 
    
46. 
    
47.     def run(self):
    
48.         #1 获取封面网址
    
49.         index_str=requests.get(self.index_url,headers=self.headers)
    
50.         response=etree.HTML(index_str.text)
    
51.         #2 获取多个列表网址
    
52.         list_url=self.list_href(response)
    
53.         #3获取多个文章网址列表
    
54.         arc_href=self.arc_next(list_url)
    
55.         #4 获取数据
    
56.         title,body=self.arc_body(arc_href)
    
57.         #5 保存数据
    
58. 
    
59. if __name__ == "__main__":
    
60.     zuowen=Zw()
    
61.     zuowen.run()
    

复制代码

[/b]

我不是第一个

Twilight6 发表于 2021-6-12 11:09
for 循环这里直接改成这样就行 ：

谢谢，搞定了

我不是第一个

wp231957 发表于 2021-6-12 10:12
>>> a=[1,2,3]
>>> b=[5,6,7]
>>> a.extend(b)

谢谢。。。

我不是第一个

Twilight6 发表于 2021-6-12 11:09
for 循环这里直接改成这样就行 ：

大佬，我在代码原基础上加了获取列表分页，报错了。不知道什么原因能帮忙看下吗。。？

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. 
   
5. 
   
6. class Zw:
   
7.     def __init__(self):
   
8.         self.index_url="http://www.zuowen.com/gaozhong/"
   
9.         self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.71 Safari/537.36"}
   
10. 
    
11.     def list_href(self,response): #请求封面页  获取列表页
    
12.         index_str=response.xpath("//div[@class='taglist']/ul")
    
13.         list_allurl=[]
    
14.         for li in index_str:
    
15.             list_url=li.xpath(".//a[@target='_blank']/@href")
    
16. 
    
17.             for all_li in list_url:  # 获取列表分页
    
18.                 list_all_str = requests.get(all_li, headers=self.headers)
    
19.                 list_all_str1 = etree.HTML(list_all_str.text)
    
20.                 fysum=list_all_str1.xpath("//div[@class='artpage']/a/text()")[-2]
    
21.                 for fnum in range(1,int(fysum)+1):
    
22.                     if fnum==1:
    
23.                         list_allurl=all_li
    
24.                     else:
    
25.                         list_allurl=all_li+'index_'+str(fnum)+'.shtml'
    
26.                     print(list_allurl)
    
27.         return list_allurl
    
28. 
    
29. 
    
30. 
    
31.     def arc_next(self,list_allurl): #请求列表页  获取文章页
    
32.         arc_href=[]
    
33.         for i in list_allurl:
    
34.             list_str=requests.get(i,headers=self.headers)
    
35.             list_str1 = etree.HTML(list_str.text)
    
36.             list_str2=list_str1.xpath("//div[@class='artlist']/div[@class='artlist_l']")
    
37.             for arc in list_str2:
    
38.                 h=arc.xpath("./div/div[@class='artbox_l_t']/a/@href")
    
39.                 # print(h)
    
40.                 for k in h:
    
41.                     arc_href.extend([k])
    
42.                     # arc_href += [k]
    
43.         print(arc_href)
    
44.         return arc_href
    
45. 
    
46.     def arc_body(self,arc_href): #请求详情页   获取内容
    
47.         for url in arc_href:
    
48.             html1=requests.get(url)
    
49.             html1.encoding='gb2312'
    
50.             html = etree.HTML(html1.text)
    
51.             title=html.xpath("//h1[@class='h_title']/text()")
    
52.             #data=re.findall("<p style="text-align:center;padding:10px">20\d{2}-\d{2}-\d{2}.*?</p>",html1)
    
53.             body=''.join(html.xpath("//div[@class='con_content']/*/text()")).strip()
    
54.             # print(title)
    
55.             # print(body)
    
56.             print('----------')
    
57.         return title,body
    
58. 
    
59. 
    
60.     def run(self):
    
61.         #1 获取封面网址
    
62.         index_str=requests.get(self.index_url,headers=self.headers)
    
63.         response=etree.HTML(index_str.text)
    
64.         #2 获取多个列表网址
    
65.         list_allurl=self.list_href(response)
    
66.         #3获取多个文章网址列表
    
67.         arc_href=self.arc_next(list_allurl)
    
68.         #4 获取数据
    
69.         title,body=self.arc_body(arc_href)
    
70.         #5 保存数据
    
71. 
    
72. if __name__ == "__main__":
    
73.     zuowen=Zw()
    
74.     zuowen.run()

复制代码