鱼C论坛

 找回密码
 立即注册
查看: 2004|回复: 0

[学习笔记] 豆瓣电影热门类简单爬取电影名字和网址01

[复制链接]
发表于 2019-4-6 09:04:56 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 木木不哭like 于 2019-4-6 12:43 编辑

#首先导入库
import requests
import json
from urllib.parse import urlencode
target_url="https://movie.douban.com/j/search_subjects?"#目标网站前一部分地址
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36',
}
pararms={
    'type':'movie',
    'tag':'热门',
    'page_limit':'50',
    'page_start':'0'
}
url=target_url+urlencode(pararms)#拼接地址
# print(url)
response=requests.get(url,headers=headers)
#写入文件中
with open('reping.txt','w')as file:
    file.write(response.text)
#打开文件
a=open('reping.txt')
string=json.loads(a.read())#将文件内容转为字符串
#提取内容
s=string["subjects"]
for i in s:
    print(i["title"]+':'+i["url"])
#关闭文件
a.close()
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-5-17 11:16

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表