[已解决]关于html内容提取问题？

wangwang123

1. baseurl = 'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/'
   
2. 
   
3. 
   
4. findorder = re.compile(r'<td>(\d*)</td>')
   
5. findstockcode = re.compile(r'<a.*target="_blank">(\d{6})</a>')
   
6. findincrease = re.compile(r'<tr>.*<td class="c-rise">(.*)</td>.*<tr>',re.S)
   
7. 
   
8. # 获取url
   
9. def getdata(baseurl):
   
10.     for page in range(1, 2):
    
11.         url = baseurl + str(page)
    
12.         html = gethtml(url)
    
13.         print("得到第%d页html"%page, url)
    
14.         soup = BeautifulSoup(html, "html.parser")
    
15.         data = []
    
16.         item = str(soup.find_all("tr"))   # 问题在这，由于要是用re.findall，后面都变成了文本，用正则的时候就很难用， 比如 我想找涨幅数据，要用c_rise 找到位置，可是有4个c_rise.就没法指定到我想要的那个数据，甚至下面都有其他的c_rise,怎么解决呢？或者 可以告诉我怎么去指定特定标签内的标签去查找内容，比如说这个案例里，要在 tr标签里的td标签去查找内容，我的最终目的就是想把涨跌幅数据提取出来，然后和对应的股票代码结合一起。希望大佬可以帮忙解决~谢谢~卡我半天的 实在想不出来了~
    
17.         # 序号
    
18.         order = re.findall(findorder, item)
    
19.         data.append(order)
    
20. 
    
21.         # 股票代码
    
22.         stockcode = re.findall(findstockcode, item)
    
23.         data.append(stockcode)
    
24. 
    
25.         # 涨幅
    
26.         stockincrease = re.findall(findincrease, item)
    
27.         data.append(stockincrease)
    
28.         print(stockincrease)
    
29.         print(len(stockincrease))
    
30. 
    
31. # 获取html
    
32. def gethtml(url):
    
33.     header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
    
34.                             'Chrome/94.0.4606.81 Safari/537.36'}
    
35.     request = urllib.request.Request(url, headers=header)
    
36.     response = urllib.request.urlopen(request)
    
37.     html = response.read().decode("GBK")
    
38.     return html
    
39. 
    
40. getdata(baseurl)

复制代码

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-11-3 18:08:38

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     headers = {'user-agent': 'firefox'}
   
8.     pn = int(input('输入想爬取的页数：'))
   
9.     result = []  # 存结果
   
10.     for i in range(1, pn + 1):
    
11.         url = f'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/{i}'
    
12.         r = requests.get(url, headers=headers)
    
13.         html = etree.HTML(r.text)
    
14.         trs = html.xpath('//tbody/tr')
    
15.         for tr in trs:
    
16.             data = {
    
17.                 'id': tr.xpath('./td[1]/text()')[0],
    
18.                 'code': tr.xpath('./td[2]/a/text()')[0],
    
19.                 'name': tr.xpath('./td[3]/a/text()')[0],
    
20.                 'cur_price': tr.xpath('./td[4]/text()')[0],
    
21.                 'up_down': tr.xpath('./td[5]/text()')[0]
    
22.             }
    
23.             result.append(data)
    
24.     print(result)
    
25. 
    
26. 
    
27. if __name__ == '__main__':
    
28.     main()
    

复制代码

跳转到最佳答案楼层

wp231957

我感觉，做爬虫的，用正则并不是狠多
推荐你用lxml的etree

wangwang123

wp231957 发表于 2021-11-3 17:33
我感觉，做爬虫的，用正则并不是狠多
推荐你用lxml的etree

有推荐的视频可以看的嘛？ 现在 就感觉 找不到一个很系统的爬虫方向的教学视频~

suchocolate

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     headers = {'user-agent': 'firefox'}
   
8.     pn = int(input('输入想爬取的页数：'))
   
9.     result = []  # 存结果
   
10.     for i in range(1, pn + 1):
    
11.         url = f'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/{i}'
    
12.         r = requests.get(url, headers=headers)
    
13.         html = etree.HTML(r.text)
    
14.         trs = html.xpath('//tbody/tr')
    
15.         for tr in trs:
    
16.             data = {
    
17.                 'id': tr.xpath('./td[1]/text()')[0],
    
18.                 'code': tr.xpath('./td[2]/a/text()')[0],
    
19.                 'name': tr.xpath('./td[3]/a/text()')[0],
    
20.                 'cur_price': tr.xpath('./td[4]/text()')[0],
    
21.                 'up_down': tr.xpath('./td[5]/text()')[0]
    
22.             }
    
23.             result.append(data)
    
24.     print(result)
    
25. 
    
26. 
    
27. if __name__ == '__main__':
    
28.     main()
    

复制代码

wangwang123

suchocolate 发表于 2021-11-3 18:08

感觉我的问题 都是被你解决的 哈哈 感激

kaohsing

正则处理一下

1. 
   
2. import requests
   
3. import re
   
4. 
   
5. 
   
6. def req(url):
   
7.     headers = {
   
8.         'user-agent': 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
   
9.     response = requests.get(url, headers=headers)
   
10.     return response.text
    
11. 
    
12. 
    
13. def reWay(reg, s):
    
14.     m = re.findall(reg, s)
    
15.     return list(m)
    
16. 
    
17. 
    
18. def main():
    
19.     pn = 1  # int(input('输入想爬取的页数：'))
    
20. 
    
21.     rgeStr = r"<tr>\s*<td>(\d*)</td>\s*<td.*>(.*?)</a></td>\s*<td.*>(.*?)</a></td>\s*<td.*?>(.*?)</td>\s*<td.*?>(.*?)</td>\s*<td.*?>(.*?)</td>\s*<td.*?>(.*?)</td>\s*<td.*?>(.*?)</td>\s*<td.*?>(.*?)</td>\s*<td.*?>(.*?)</td>\s*<td.*?>(.*?)</td>\s*<td.*?>(.*?)</td>\s*<td.*?>(.*?)</td>\s*"
    
22.     for i in range(1, pn + 1):
    
23.         url = f'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/{i}'
    
24.         PrintData(reWay(rgeStr, req(url)))
    
25. 
    
26. 
    
27. def PrintData(l):
    
28.     '''simple show'''
    
29.     for i in l:
    
30.         print(i)
    
31. 
    
32. 
    
33. if __name__ == '__main__':
    
34.     main()
    

复制代码