鱼C论坛

 找回密码
 立即注册
查看: 816|回复: 2

爬取数据不全 求解!谢谢!

[复制链接]
发表于 2018-12-1 20:49:21 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
def get_url(url):
    res = requests.get(url)
        #将网页编码gbk转换成utf-8
    soup = BeautifulSoup(res.text.encode('iso-8859-1').decode('gbk'), 'lxml')
    tables = soup.select('table')
   
    table = tables[3]
    df_list = []

    df_list.append(pd.concat(pd.read_html(table.prettify())))
    df_n = pd.concat(df_list)
    return df_n
ssss= get_url('http://qq.ip138.com/train/guangdong/guangzhounan.htm')
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2018-12-1 20:55:06 | 显示全部楼层
[941 rows x 9 columns]是不全么,没去网页数
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-12-2 01:37:33 | 显示全部楼层
我在你另外一个帖子里已经贴出代码了。有940的数据
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-1-11 08:39

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表