xiaoflyfly 发表于 2019-1-7 18:05:25

爬虫_同花顺行情中心股票数据-回复 有彩蛋

import json
import requests
from bs4 import BeautifulSoup
import time
import pandas as pd

def get_one_page(url):
    try:
      headers = {
            'Host': 'q.10jqka.com.cn',
            'Referer': 'http//q.10jqka.com.cn/',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36',
            'X-Requested-With': 'XMLHttpRequest'
      }
      response = requests.get(url, headers=headers)
      if response.status_code == 200:
            return response.text
      return None
    except RequestException:
      return None

def parse_one_page(html):
    soup = BeautifulSoup(html, 'lxml')
    tr_list = soup.select('tbody tr')
    yeji = []
    for each_tr in tr_list:
      td_list = each_tr.select('td')
      data = {
            '股票价格': td_list.text,
            '股票简称': td_list.text,
            '现价': td_list.text,
            '涨幅': td_list.text,
            '涨跌': td_list.text,
            '涨速': td_list.text,
            '换手': td_list.text
      }
      yeji.append(data)
    return yeji

def main(offset):
    url = 'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/%s/ajax/1/'%offset
    html = get_one_page(url)
    data.extend(parse_one_page(html))

if __name__ == '__main__':
    data = []
    for i in range(1, 10):
      main(offset=i)
      time.sleep(10)
    json_result = json.dumps(data)
    with open('data.json', 'w') as f:
      f.write(json_result)
    with open('data.json', 'r') as f:
      data = f.read()
    data = json.loads(data)
    df = pd.DataFrame(data, columns=['股票价格', '股票简称', '现价', '涨幅', '涨跌', '涨速', '换手'])
    df.to_csv("data1.csv", index=False, encoding='utf_8_sig')**** Hidden Message *****

alphamast 发表于 2019-1-7 19:52:23

本帖最后由 alphamast 于 2019-1-8 01:32 编辑

bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?

xiaoflyfly 发表于 2019-1-8 08:45:35

alphamast 发表于 2019-1-7 19:52
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need ...

你得安装bs4库就可以了

野老盟客 发表于 2019-1-8 20:45:54

彩蛋在哪里

fiore 发表于 2019-1-12 19:31:00

一个比一个优秀，秀得我头皮发麻

ljy5201314 发表于 2019-1-12 21:16:15

123

沉迷include 发表于 2019-1-14 04:27:10

看我四条A

守望星星 发表于 2019-1-14 08:23:15

见识一下

Alpha哈哈哈哈哈 发表于 2019-1-14 15:07:32

小白请教楼主，这个爬下来，之后还要做数据清洗和筛选的吧

夏日浅陌 发表于 2019-1-14 18:01:29

大佬666

xhui28 发表于 2019-1-17 18:41:10

好东西，谢谢楼主

LuckyKie 发表于 2019-1-26 16:54:48

感謝大大

zenghuangjie 发表于 2019-1-28 13:37:07

彩蛋是输出的结果吗？

panying1990 发表于 2019-1-28 15:02:50

就是想看一看

wf85 发表于 2019-1-29 11:57:16

想看想看，向您学习

苦参解毒酒 发表于 2019-4-1 14:31:35

45

yesterday0931 发表于 2019-4-4 20:53:56

学习学习

boz7460 发表于 2019-4-8 15:45:44

66

boz7460 发表于 2019-4-8 16:00:07

运行后无结果，

boz7460 发表于 2019-4-8 21:46:14

你好，我运行了您的代码没有报错，也没有输出结果
页: [1] 2 3 4 5 6 7 8 9 10
查看完整版本: 爬虫_同花顺行情中心股票数据-回复 有彩蛋