鱼C论坛

 找回密码
 立即注册
查看: 3993|回复: 3

python爬虫在复制网站的params后如何将其封装为字典

[复制链接]
发表于 2019-8-18 11:18:14 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import requests
#引入requests
headers={'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
#封装headers
url='https://www.zhihu.com/api/v4/members/zhang-jia-wei/articles?'
#写入网址



params={
    'include':'data
  • .comment_count,suggest_edit,is_normal,thumbnail_extra_info,thumbnail,can_comment,comment_permission,admin_closed_comment,content,voteup_count,created,updated,upvoted_followees,voting,review_info,is_labeled,label_info;data
  • .author.badge[?(type=best_answerer)].topics',
        'offset':'10',
        'limit':'20',
        'sort_by':'voteups',
        }
    #封装参数

    res=requests.get(url,headers=headers,params=params)
    #发送请求,并把响应内容赋值到变量res里面
    print(res.status_code)
    #确认请求成功

    我们复制来的params是一行一行的,如何将其封装为字典呢
  • 如何实现将右图的框内内容封装为左图的内容

    如何实现将右图的框内内容封装为左图的内容
    小甲鱼最新课程 -> https://ilovefishc.com
    回复

    使用道具 举报

    发表于 2019-8-19 10:49:59 | 显示全部楼层
    本帖最后由 傻纸 于 2019-8-19 10:51 编辑

    res=requests.get(url,headers=headers,params=params),这个params应该不是你说的那样用的,起码吧不应该把右边图片方框的内容,做成字典传递给params参数

    params这个是对url地址追加的一些查询参数,比方,张家玮的文章,看到一个这样的链接,知乎url+api/v4/members/zhang-jia-wei/activities?limit=7&session_id=1132661731209666560&after_id=1565005073&desktop=True
    那么params可以这样设置
    1. params = {
    2.             "limit": "7",
    3.             "session_id": "1132661731209666560",
    4.             "after_id":"1565005073",
    5.             "desktop"="True"
    6.         }
    复制代码


    你如果设置了parmars那么,url就应该写成 知乎url+api/v4/members/zhang-jia-wei/activities

    当然如果你的url写成   url+api/v4/members/zhang-jia-wei/activities?limit=7&session_id=1132661731209666560&after_id=1565005073&desktop=True  那么parmas就不要设置了吧

    。。。这个是我个人理解,错了也别怪我呀 我也是个新手
    小甲鱼最新课程 -> https://ilovefishc.com
    回复 支持 反对

    使用道具 举报

    发表于 2019-8-19 10:59:47 | 显示全部楼层
    另外知乎还有一个问题,它获取的网站html内容是个unicode编码
    转化成汉字,不妨试下这样转码
    decode("unicode_escape")
    小甲鱼最新课程 -> https://ilovefishc.com
    回复 支持 反对

    使用道具 举报

    发表于 2019-8-28 12:52:05 | 显示全部楼层
    fgd
    小甲鱼最新课程 -> https://ilovefishc.com
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

    GMT+8, 2026-1-17 17:31

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表