鱼C论坛

 找回密码
 立即注册
查看: 1781|回复: 2

mac运行的python爬虫问题

[复制链接]
发表于 2019-9-6 15:33:31 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
用mac写了一个爬虫,运行后没有报错,但也没有生成文件,要如何解决?代码是小甲鱼课上打的代码,在windows系统下测试已成功,代码无误
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2019-9-6 15:38:27 | 显示全部楼层
问题是啥你贴个代码啊,大家一起玩猜猜看么
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-9-6 16:02:44 | 显示全部楼层
import requests
import bs4
import re

def open_url(url):
    headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'}
    res = requests.get(url,headers=headers)
    return res

def find_books(res):
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    #书名
    books = []
    targets = soup.find_all('div', class_='p12')
    for each in targets:
        books.append(each.a.span.text)
    #评分
    ranks = []
    targets = soup.find_all('span', class_='rating num')
    for each in targets:
        ranks.append('评分:%s' % each.text)
    #评价
    messages = []
    targets = soup.find_all('span', class_='inq')
    for each in targets:
        try:
            messages.append(each.p.text.split('\n')[1].strip() + \
                            each.parent.text.split('\n')[2].strip())
        except:
            continue

    result = []
    length = len(books)
    for i in range(length):
        result.append(books[i] + ranks[i] + messages[i] + '\n')
    return result

    #找出一共有多少个页面
    def find_depth(res):
        soup = bs4.BeautifulSoup(res.text, 'html.parser')
        depth = soup.find('span', class_='next').previous_sibling.previous_sibling.text
        return int(depth)

    def main():
        host = 'https://book.douban.com/top250'
        res = open_url(host)
        depth = find_depth(res)

        result = []

        for i in range(depth):
            url = host + '/start=' + str(25*i)
            res = open_url(url)
            result.extend(find_movies(res))

        with open('豆瓣TOP250电影.txt','w', encoding ='utf-8') as f:
            for each in result:
                f.write(each)

    if __name__ == '__main__':
        main()
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-1-18 02:14

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表