鱼C论坛

 找回密码
 立即注册
查看: 1804|回复: 1

请问下 我的代码里爬取的内容怎么都是空白?多谢了

[复制链接]
发表于 2019-12-18 23:18:00 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
mport requests
import re
from lxml import etree
import time

headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}

def get_movie_url(url):
    html=requests.get(url,headers=headers)
    selector=etree.HTML(html.text)
    movie_hrefs=selector.xpath('//div[@class="hd"]/a/@href')
    for movie_href in movie_hrefs:
        #print(movie_href)
        get_movie_info(url)

def get_movie_info(url):
    html=requests.get(url,headers=headers)
    selector=etree.HTML(html.text)

    try:
        names=selector.xpath('//*[@id="content"]/h1/span[1]/text()')[0]
        directors=selector.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')[0]
        actors=re.findall('<span class="attrs"><span>.*?>(.*?)</a>',html.text,re.S)
        stypes=re.findall('<span property="v:genre">(.*?)</span>',html.text,re.S)[0]
        countrys=re.findall('<span class="pl">制片国家/地区:</span>(.*?)<br />',html.text,re.S)[0]
        release_times=re.findall('上映日期:</span>.*?>(.*?)</span>',html.text,re.S)[0]
        movie_times=re.findall('片长:</span>.*?>(.*?)</span>',html.text,re.S)[0]
        scores=selector.xpath('//*[@id="interest_sectl"]/div[1]/div[2]/strong/text()')[0]


        for name,director,actor,stype,country,release_time,movie_time,score in zip(names,directors,actors,stypes,countrys,release_times,movie_times,scores):
            info={
                'name':name,
                'director':director,
                'actor':actor,
                'stype':stype,
                'country':country,
                'realse_time':release_time,
                'movie_time':movie_time,
                'score':score
                }
            print(info)
    except IndexError:
        pass
if __name__=="__main__":
    urls=['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25)]
    for url in urls:
        print(url)
        get_movie_url(url)
        time.sleep(2
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2019-12-19 09:23:20 | 显示全部楼层
估计是被反爬了,在html=requests.get(url,headers=headers)后面加一句print(html.status_code)可以看到
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-1-21 11:08

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表