鱼C论坛

 找回密码
 立即注册
查看: 1631|回复: 2

爬取地图某个区域的教育或者其他数据,运行的结尾不太满意,就帮忙!

[复制链接]
发表于 2020-8-25 14:15:27 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
# -*-coding:UTF-8-*-
'''根据行政区域查询'''
import json
import csv
import sys
import requests  # 导入requests库,这是一个第三方库,把网页上的内容爬下来用的

ty = sys.getfilesystemencoding()
# print(ty)#这个可以获取文件系统的编码形式
import time

las = 1  # 给las一个值1
ak = 'Eugu5mRqawvsoNRwl9VOmzl0bOOB0eip'
# push=r'D:\python'
out = open('school.csv', 'a', newline='')
csv_write = csv.writer(out, dialect='excel')
print(time.time())
print('开始')
urls = []  # 声明一个数组列表
que = '美食'
ta = '餐厅,火锅,食堂'

for i in range(0, 20):
    page_num = str(i)
    url = 'http://api.map.baidu.com/place/v2/search?query=' + que + '&' \
                                                                    'tag=' + ta + '®ion=宁波&page_size=20&page_num=' + str(
        page_num) + '&output=json&ak=' + ak
    urls.append(url)
# urls.append(url)的意思是,将url添加入urls这个列表中。
# f=open(r'D:\python\guiyangxuexiao.csv','a',encoding='utf-8'
print('url列表读取完成')
for url in urls:
    time.sleep(5)  # 为了防止并发量报警,设置了一个5秒的休眠。
    print(url)
    html = requests.get(url)  # 获取网页信息
    data = html.json()  # 获取网页信息的json格式数据
    print(data)
    for item in data['results']:
        jname1 = item['province']
        jname2 = item['city']
        jname3 = item['area']
        jname4 = item['name']
        jname = jname1 + jname2 + jname3 + jname4
        j_uid = item['uid']
        jstreet_id = item.get('street_id')
        jlat = item['location']['lat']
        jlon = item['location']['lng']
        jaddress = item['address']
        jphone = item.get('telephone')
        j_str = (jname, j_uid, jstreet_id, str(jlat), str(jlon), jaddress, jphone)
        print(j_str)
        csv_write.writerow(j_str)
        print("write over")
    #  f.write(j_str)
    print(time.time())
# f.close()
print('完成')
a875c73b2994c8f0968ad8f86aa0c81.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-8-25 14:17:51 | 显示全部楼层
此帖仅作者可见
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com

使用道具 举报

发表于 2020-8-25 14:18:55 | 显示全部楼层
此帖仅作者可见
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-19 03:08

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表