[已解决]爬虫输出问题

tq1258

from urllib.parse import urlencode
import requests
import os
from multiprocessing import Pool
import time


base_url = 'https://www.toutiao.com/api/search/content/?'
headers = {
    'Referer':'https://www.toutiao.com/search/?keyword=%E5%9B%BE%E7%89%87',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
    'X-Requested-With':'XMLHttpRequest'
}


def get_page(offset):
    params = {
        'aid': 24,
        'app_name': 'web_search',
        'offset': offset,
        'format': 'json',
        'keyword': '街拍',
        'count': 20,
        'en_qc': 1,
        'cur_tab': 1,
        'from': 'search_tab',
        'pd': 'synthesis',
        'timestamp': '1584520318379'
    }
    url = base_url + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        response.encoding = response.apparent_encoding
        return response.json()
    except requests.ConnectionError as e:
        print('Error', e.args)


def get_images(json):
    if json.get('data'):
        for item in json.get('data'):
            title = item.get('title')
            images = item.get('image_list')
            for image in images:
                yield {
                    'image':image.get('url'),
                    'title':title
                }


def save_image(item):
    if not os.path.exists(item.get('title')):
        os.mkdir(item.get('title'))
    try:
        response = requests.get(item.get('image'))
        if response.status_code == 200:
            file_path = '{0}/{1}.{2}'.format(item.get('title'), time.time(), 'jpg')
            if not os.path.exists(file_path):
                with open(file_path, 'wb', encoding='utf8') as f:
                    f.write(response.content)
            else:
                print('已经存在', file_path)
    except requests.ConnectionError:
        print('下载不成功')


def main(offset):
    json = get_page(offset)
    for item in get_images(json):
        print(item)
        save_image(item)


GROUP_START = 1
GROUP_END = 10


if __name__ == '__main__':
    pool = Pool()
    groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
    pool.map(main, groups)
    pool.close()

麻烦请教大神，我在爬头条图片时，代码成功完成了，但是并没有输出任何东西，值显示    Process finished with exit code 0
网上查了后还是解决不了，是python解释器设置问题么？还是其他

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-3-18 21:31:38

。。。
二进制写入数据还有encoding？？？

from urllib.parse import urlencode
import requests
import os
from multiprocessing import Pool
import time


base_url = 'https://www.toutiao.com/api/search/content/?'
headers = {
    'Referer':'https://www.toutiao.com/search/?keyword=%E5%9B%BE%E7%89%87',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
    'X-Requested-With':'XMLHttpRequest'
}


def get_page(offset):
    params = {
        'aid': 24,
        'app_name': 'web_search',
        'offset': offset,
        'format': 'json',
        'keyword': '街拍',
        'count': 20,
        'en_qc': 1,
        'cur_tab': 1,
        'from': 'search_tab',
        'pd': 'synthesis',
        'timestamp': '1584520318379'
    }
    url = base_url + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        response.encoding = response.apparent_encoding
        return response.json()
    except requests.ConnectionError as e:
        print('Error', e.args)


def get_images(json):
    if json.get('data'):
        for item in json.get('data'):
            title = item.get('title')
            images = item.get('image_list')
            for image in images:
                yield {
                    'image':image.get('url'),
                    'title':title
                }


def save_image(item):
    if not os.path.exists(item.get('title')):
        os.mkdir(item.get('title'))
    try:
        response = requests.get(item.get('image'))
        if response.status_code == 200:
            file_path = '{0}/{1}.{2}'.format(item.get('title'), time.time(), 'jpg')
            if not os.path.exists(file_path):
                with open(file_path, 'wb') as f:
                    f.write(response.content)
            else:
                print('已经存在', file_path)
    except requests.ConnectionError:
        print('下载不成功')


def main(offset):
    json = get_page(offset)
    for item in get_images(json):
        print(item)
        save_image(item)


GROUP_START = 1
GROUP_END = 10


if __name__ == '__main__':
    pool = Pool()
    groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
    pool.map(main, groups)
    pool.close()

跳转到最佳答案楼层

qiuyouzhi

。。。
二进制写入数据还有encoding？？？

from urllib.parse import urlencode
import requests
import os
from multiprocessing import Pool
import time


base_url = 'https://www.toutiao.com/api/search/content/?'
headers = {
    'Referer':'https://www.toutiao.com/search/?keyword=%E5%9B%BE%E7%89%87',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
    'X-Requested-With':'XMLHttpRequest'
}


def get_page(offset):
    params = {
        'aid': 24,
        'app_name': 'web_search',
        'offset': offset,
        'format': 'json',
        'keyword': '街拍',
        'count': 20,
        'en_qc': 1,
        'cur_tab': 1,
        'from': 'search_tab',
        'pd': 'synthesis',
        'timestamp': '1584520318379'
    }
    url = base_url + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        response.encoding = response.apparent_encoding
        return response.json()
    except requests.ConnectionError as e:
        print('Error', e.args)


def get_images(json):
    if json.get('data'):
        for item in json.get('data'):
            title = item.get('title')
            images = item.get('image_list')
            for image in images:
                yield {
                    'image':image.get('url'),
                    'title':title
                }


def save_image(item):
    if not os.path.exists(item.get('title')):
        os.mkdir(item.get('title'))
    try:
        response = requests.get(item.get('image'))
        if response.status_code == 200:
            file_path = '{0}/{1}.{2}'.format(item.get('title'), time.time(), 'jpg')
            if not os.path.exists(file_path):
                with open(file_path, 'wb') as f:
                    f.write(response.content)
            else:
                print('已经存在', file_path)
    except requests.ConnectionError:
        print('下载不成功')


def main(offset):
    json = get_page(offset)
    for item in get_images(json):
        print(item)
        save_image(item)


GROUP_START = 1
GROUP_END = 10


if __name__ == '__main__':
    pool = Pool()
    groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
    pool.map(main, groups)
    pool.close()

tq1258

qiuyouzhi 发表于 2020-3-18 21:31
。。。
二进制写入数据还有encoding？？？

改了之后还是不行。。。

tq1258

from urllib.parse import urlencode
import requests
import os
import time
from multiprocessing import Pool
from hashlib import md5



base_url = 'https://www.toutiao.com/api/search/content/?'
headers = {
    'Referer': 'https://www.toutiao.com/search/?keyword=%E5%9B%BE%E7%89%87',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
    'Cookie': 'tt_webid=6804026100667581959; WEATHER_CITY=%E5%8C%97%E4%BA%AC; tt_webid=6804026100667581959; csrftoken=bd43b1b47601e4d2a2e1e143418d047a; ttcid=b334bc3935ae486cacecaeb90c43c7bd27; SLARDAR_WEB_ID=6be7deee-3b7e-4fc3-b933-80b9ef3e934a; s_v_web_id=verify_k7y17xvx_JXDn3y0R_pd7H_47Ow_9dG3_yShA8wX7QWCz; __tasessionId=p53vp50rz1584578659164; tt_scid=ElNCkMU3P.LmI.6-x09lMgCsRockEtxdx5a50beaePY7m3r7ne9z4Rz7.YeDofWY1e89'
}


def get_page(offset):
    timestamp = int(time.time())
    params = {
        'aid': 24,
        'app_name': 'web_search',
        'offset': offset,
        'format': 'json',
        'autoload':'true',
        'keyword': '街拍',
        'count': 20,
        'en_qc': 1,
        'cur_tab': 1,
        'from': 'search_tab',
        'pd': 'synthesis',
        'timestamp': timestamp
    }
    url = base_url + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            response.encoding = response.apparent_encoding
            return response.json()
        return None
    except requests.ConnectionError as e:
        print('Error', e.args)
        return None


def get_images(html):
    if html.get('data'):
        html = html.get('data')
        for item in html:
            if item.get('title'):
                title = item.get('title').replace(' |', ' ').replace('\\', ' ')
            if item.get('image_list'):
                for image_urls in item.get('image_list'):
                    image_url = image_urls['url']
                    yield {
                        'title': title,
                        'image': image_url
                    }
    else:
        print('没有获取到数据')


def save_image(item):
    img_path = 'images' + '/' + item.get('title')
    if not os.path.exists(img_path):
        try:
            os.mkdir(img_path)
        except OSError:
            print('文件命名错误')
    try:
        response = requests.get(item.get('image'))
        if response.status_code == 200:
            file_path = '{0}/{1}.{2}'.format(img_path, md5(response.content).hexdigest(), 'jpg')
            if not os.path.exists(file_path):
                with open(file_path, 'wb') as f:
                    f.write(response.content)
            else:
                print('已经存在', file_path)
    except requests.ConnectionError:
        print('下载不成功')
    except OSError:
        print('图片名称格式不对')


def main(offset):
    html = get_page(offset)
    for item in get_images(html):
        print(item)
        save_image(item)


GROUP_START = 0
GROUP_END = 10


if __name__ == '__main__':
    pool = Pool()
    group = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
    pool.map(main, group)
    pool.close()
    pool.join()

已经解决了