爬虫_同花顺行情中心股票数据-回复有彩蛋

xiaoflyfly · 发表于 2019-1-7 18:05:25

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

import json
import requests
from bs4 import BeautifulSoup
import time
import pandas as pd
def get_one_page(url):
try:
headers = {
'Host': 'q.10jqka.com.cn',
'Referer': 'http//q.10jqka.com.cn/',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
return None
except RequestException:
return None
def parse_one_page(html):
soup = BeautifulSoup(html, 'lxml')
tr_list = soup.select('tbody tr')
yeji = []
for each_tr in tr_list:
td_list = each_tr.select('td')
data = {
'股票价格': td_list[1].text,
'股票简称': td_list[2].text,
'现价': td_list[3].text,
'涨幅': td_list[4].text,
'涨跌': td_list[5].text,
'涨速': td_list[6].text,
'换手': td_list[7].text
}
yeji.append(data)
return yeji
def main(offset):
url = 'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/%s/ajax/1/'%offset
html = get_one_page(url)
data.extend(parse_one_page(html))
if __name__ == '__main__':
data = []
for i in range(1, 10):
main(offset=i)
time.sleep(10)
json_result = json.dumps(data)
with open('data.json', 'w') as f:
f.write(json_result)
with open('data.json', 'r') as f:
data = f.read()
data = json.loads(data)
df = pd.DataFrame(data, columns=['股票价格', '股票简称', '现价', '涨幅', '涨跌', '涨速', '换手'])
df.to_csv("data1.csv", index=False, encoding='utf_8_sig')

复制代码

游客，如果您要查看本帖隐藏内容请回复

alphamast · 发表于 2019-1-7 19:52:23

本帖最后由 alphamast 于 2019-1-8 01:32 编辑

bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?

xiaoflyfly · 发表于 2019-1-8 08:45:35

alphamast 发表于 2019-1-7 19:52
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need ...

你得安装bs4库就可以了

野老盟客 · 发表于 2019-1-8 20:45:54

彩蛋在哪里

fiore · 发表于 2019-1-12 19:31:00

一个比一个优秀，秀得我头皮发麻

ljy5201314 · 发表于 2019-1-12 21:16:15

沉迷include · 发表于 2019-1-14 04:27:10

看我四条A

守望星星 · 发表于 2019-1-14 08:23:15

见识一下

Alpha哈哈哈哈哈 · 发表于 2019-1-14 15:07:32

小白请教楼主，这个爬下来，之后还要做数据清洗和筛选的吧

夏日浅陌 · 发表于 2019-1-14 18:01:29

大佬666

xhui28 · 发表于 2019-1-17 18:41:10

好东西，谢谢楼主

LuckyKie · 发表于 2019-1-26 16:54:48

感謝大大

zenghuangjie · 发表于 2019-1-28 13:37:07

彩蛋是输出的结果吗？

panying1990 · 发表于 2019-1-28 15:02:50

就是想看一看

wf85 · 发表于 2019-1-29 11:57:16

想看想看，向您学习

苦参解毒酒 · 发表于 2019-4-1 14:31:35

yesterday0931 · 发表于 2019-4-4 20:53:56

学习学习

boz7460 · 发表于 2019-4-8 15:45:44

boz7460 · 发表于 2019-4-8 16:00:07

运行后无结果，

boz7460 · 发表于 2019-4-8 21:46:14

你好，我运行了您的代码没有报错，也没有输出结果

账号		自动登录	找回密码
密码			立即注册

[技术交流] 爬虫_同花顺行情中心股票数据-回复 有彩蛋

马上注册，结交更多好友，享用更多功能^_^

[技术交流] 爬虫_同花顺行情中心股票数据-回复有彩蛋