豆瓣电影热门类简单爬取电影名字和网址01
本帖最后由 木木不哭like 于 2019-4-6 12:43 编辑#首先导入库
import requests
import json
from urllib.parse import urlencode
target_url="https://movie.douban.com/j/search_subjects?"#目标网站前一部分地址
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36',
}
pararms={
'type':'movie',
'tag':'热门',
'page_limit':'50',
'page_start':'0'
}
url=target_url+urlencode(pararms)#拼接地址
# print(url)
response=requests.get(url,headers=headers)
#写入文件中
with open('reping.txt','w')as file:
file.write(response.text)
#打开文件
a=open('reping.txt')
string=json.loads(a.read())#将文件内容转为字符串
#提取内容
s=string["subjects"]
for i in s:
print(i["title"]+':'+i["url"])
#关闭文件
a.close()
页:
[1]