设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 爬虫输出问题
返回列表 发新帖
查看: 1832|回复: 3

[已解决]爬虫输出问题

[复制链接]
tq1258
发表于 2020-3-18 21:25:08 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
  1. from urllib.parse import urlencode
  2. import requests
  3. import os
  4. from multiprocessing import Pool
  5. import time


  8. base_url = 'https://www.toutiao.com/api/search/content/?'
  9. headers = {
  10.     'Referer':'https://www.toutiao.com/search/?keyword=%E5%9B%BE%E7%89%87',
  11.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
  12.     'X-Requested-With':'XMLHttpRequest'
  13. }


  16. def get_page(offset):
  17.     params = {
  18.         'aid': 24,
  19.         'app_name': 'web_search',
  20.         'offset': offset,
  21.         'format': 'json',
  22.         'keyword': '街拍',
  23.         'count': 20,
  24.         'en_qc': 1,
  25.         'cur_tab': 1,
  26.         'from': 'search_tab',
  27.         'pd': 'synthesis',
  28.         'timestamp': '1584520318379'
  29.     }
  30.     url = base_url + urlencode(params)
  31.     try:
  32.         response = requests.get(url, headers=headers)
  33.         response.raise_for_status()
  34.         response.encoding = response.apparent_encoding
  35.         return response.json()
  36.     except requests.ConnectionError as e:
  37.         print('Error', e.args)


  40. def get_images(json):
  41.     if json.get('data'):
  42.         for item in json.get('data'):
  43.             title = item.get('title')
  44.             images = item.get('image_list')
  45.             for image in images:
  46.                 yield {
  47.                     'image':image.get('url'),
  48.                     'title':title
  49.                 }


  52. def save_image(item):
  53.     if not os.path.exists(item.get('title')):
  54.         os.mkdir(item.get('title'))
  55.     try:
  56.         response = requests.get(item.get('image'))
  57.         if response.status_code == 200:
  58.             file_path = '{0}/{1}.{2}'.format(item.get('title'), time.time(), 'jpg')
  59.             if not os.path.exists(file_path):
  60.                 with open(file_path, 'wb', encoding='utf8') as f:
  61.                     f.write(response.content)
  62.             else:
  63.                 print('已经存在', file_path)
  64.     except requests.ConnectionError:
  65.         print('下载不成功')


  68. def main(offset):
  69.     json = get_page(offset)
  70.     for item in get_images(json):
  71.         print(item)
  72.         save_image(item)


  75. GROUP_START = 1
  76. GROUP_END = 10


  79. if __name__ == '__main__':
  80.     pool = Pool()
  81.     groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
  82.     pool.map(main, groups)
  83.     pool.close()
复制代码


麻烦请教大神，我在爬头条图片时，代码成功完成了，但是并没有输出任何东西，值显示    Process finished with exit code 0
网上查了后还是解决不了，是python解释器设置问题么？还是其他
最佳答案
月排行榜 / 总排行榜
qiuyouzhi
2020-3-18 21:31:38
。。。
二进制写入数据还有encoding？？？
  1. from urllib.parse import urlencode
  2. import requests
  3. import os
  4. from multiprocessing import Pool
  5. import time


  8. base_url = 'https://www.toutiao.com/api/search/content/?'
  9. headers = {
  10.     'Referer':'https://www.toutiao.com/search/?keyword=%E5%9B%BE%E7%89%87',
  11.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
  12.     'X-Requested-With':'XMLHttpRequest'
  13. }


  16. def get_page(offset):
  17.     params = {
  18.         'aid': 24,
  19.         'app_name': 'web_search',
  20.         'offset': offset,
  21.         'format': 'json',
  22.         'keyword': '街拍',
  23.         'count': 20,
  24.         'en_qc': 1,
  25.         'cur_tab': 1,
  26.         'from': 'search_tab',
  27.         'pd': 'synthesis',
  28.         'timestamp': '1584520318379'
  29.     }
  30.     url = base_url + urlencode(params)
  31.     try:
  32.         response = requests.get(url, headers=headers)
  33.         response.raise_for_status()
  34.         response.encoding = response.apparent_encoding
  35.         return response.json()
  36.     except requests.ConnectionError as e:
  37.         print('Error', e.args)


  40. def get_images(json):
  41.     if json.get('data'):
  42.         for item in json.get('data'):
  43.             title = item.get('title')
  44.             images = item.get('image_list')
  45.             for image in images:
  46.                 yield {
  47.                     'image':image.get('url'),
  48.                     'title':title
  49.                 }


  52. def save_image(item):
  53.     if not os.path.exists(item.get('title')):
  54.         os.mkdir(item.get('title'))
  55.     try:
  56.         response = requests.get(item.get('image'))
  57.         if response.status_code == 200:
  58.             file_path = '{0}/{1}.{2}'.format(item.get('title'), time.time(), 'jpg')
  59.             if not os.path.exists(file_path):
  60.                 with open(file_path, 'wb') as f:
  61.                     f.write(response.content)
  62.             else:
  63.                 print('已经存在', file_path)
  64.     except requests.ConnectionError:
  65.         print('下载不成功')


  68. def main(offset):
  69.     json = get_page(offset)
  70.     for item in get_images(json):
  71.         print(item)
  72.         save_image(item)


  75. GROUP_START = 1
  76. GROUP_END = 10


  79. if __name__ == '__main__':
  80.     pool = Pool()
  81.     groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
  82.     pool.map(main, groups)
  83.     pool.close()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

qiuyouzhi
发表于 2020-3-18 21:31:38 | 显示全部楼层    本楼为最佳答案   
。。。
二进制写入数据还有encoding？？？
  1. from urllib.parse import urlencode
  2. import requests
  3. import os
  4. from multiprocessing import Pool
  5. import time


  8. base_url = 'https://www.toutiao.com/api/search/content/?'
  9. headers = {
  10.     'Referer':'https://www.toutiao.com/search/?keyword=%E5%9B%BE%E7%89%87',
  11.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
  12.     'X-Requested-With':'XMLHttpRequest'
  13. }


  16. def get_page(offset):
  17.     params = {
  18.         'aid': 24,
  19.         'app_name': 'web_search',
  20.         'offset': offset,
  21.         'format': 'json',
  22.         'keyword': '街拍',
  23.         'count': 20,
  24.         'en_qc': 1,
  25.         'cur_tab': 1,
  26.         'from': 'search_tab',
  27.         'pd': 'synthesis',
  28.         'timestamp': '1584520318379'
  29.     }
  30.     url = base_url + urlencode(params)
  31.     try:
  32.         response = requests.get(url, headers=headers)
  33.         response.raise_for_status()
  34.         response.encoding = response.apparent_encoding
  35.         return response.json()
  36.     except requests.ConnectionError as e:
  37.         print('Error', e.args)


  40. def get_images(json):
  41.     if json.get('data'):
  42.         for item in json.get('data'):
  43.             title = item.get('title')
  44.             images = item.get('image_list')
  45.             for image in images:
  46.                 yield {
  47.                     'image':image.get('url'),
  48.                     'title':title
  49.                 }


  52. def save_image(item):
  53.     if not os.path.exists(item.get('title')):
  54.         os.mkdir(item.get('title'))
  55.     try:
  56.         response = requests.get(item.get('image'))
  57.         if response.status_code == 200:
  58.             file_path = '{0}/{1}.{2}'.format(item.get('title'), time.time(), 'jpg')
  59.             if not os.path.exists(file_path):
  60.                 with open(file_path, 'wb') as f:
  61.                     f.write(response.content)
  62.             else:
  63.                 print('已经存在', file_path)
  64.     except requests.ConnectionError:
  65.         print('下载不成功')


  68. def main(offset):
  69.     json = get_page(offset)
  70.     for item in get_images(json):
  71.         print(item)
  72.         save_image(item)


  75. GROUP_START = 1
  76. GROUP_END = 10


  79. if __name__ == '__main__':
  80.     pool = Pool()
  81.     groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
  82.     pool.map(main, groups)
  83.     pool.close()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

tq1258
 楼主| 发表于 2020-3-18 21:33:09 | 显示全部楼层
qiuyouzhi 发表于 2020-3-18 21:31
。。。
二进制写入数据还有encoding？？？

改了之后还是不行。。。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

tq1258
 楼主| 发表于 2020-3-19 11:10:04 | 显示全部楼层
  1. from urllib.parse import urlencode
  2. import requests
  3. import os
  4. import time
  5. from multiprocessing import Pool
  6. from hashlib import md5



  10. base_url = 'https://www.toutiao.com/api/search/content/?'
  11. headers = {
  12.     'Referer': 'https://www.toutiao.com/search/?keyword=%E5%9B%BE%E7%89%87',
  13.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
  14.     'X-Requested-With': 'XMLHttpRequest',
  15.     'Cookie': 'tt_webid=6804026100667581959; WEATHER_CITY=%E5%8C%97%E4%BA%AC; tt_webid=6804026100667581959; csrftoken=bd43b1b47601e4d2a2e1e143418d047a; ttcid=b334bc3935ae486cacecaeb90c43c7bd27; SLARDAR_WEB_ID=6be7deee-3b7e-4fc3-b933-80b9ef3e934a; s_v_web_id=verify_k7y17xvx_JXDn3y0R_pd7H_47Ow_9dG3_yShA8wX7QWCz; __tasessionId=p53vp50rz1584578659164; tt_scid=ElNCkMU3P.LmI.6-x09lMgCsRockEtxdx5a50beaePY7m3r7ne9z4Rz7.YeDofWY1e89'
  16. }


  19. def get_page(offset):
  20.     timestamp = int(time.time())
  21.     params = {
  22.         'aid': 24,
  23.         'app_name': 'web_search',
  24.         'offset': offset,
  25.         'format': 'json',
  26.         'autoload':'true',
  27.         'keyword': '街拍',
  28.         'count': 20,
  29.         'en_qc': 1,
  30.         'cur_tab': 1,
  31.         'from': 'search_tab',
  32.         'pd': 'synthesis',
  33.         'timestamp': timestamp
  34.     }
  35.     url = base_url + urlencode(params)
  36.     try:
  37.         response = requests.get(url, headers=headers)
  38.         if response.status_code == 200:
  39.             response.encoding = response.apparent_encoding
  40.             return response.json()
  41.         return None
  42.     except requests.ConnectionError as e:
  43.         print('Error', e.args)
  44.         return None


  47. def get_images(html):
  48.     if html.get('data'):
  49.         html = html.get('data')
  50.         for item in html:
  51.             if item.get('title'):
  52.                 title = item.get('title').replace(' |', ' ').replace('\\', ' ')
  53.             if item.get('image_list'):
  54.                 for image_urls in item.get('image_list'):
  55.                     image_url = image_urls['url']
  56.                     yield {
  57.                         'title': title,
  58.                         'image': image_url
  59.                     }
  60.     else:
  61.         print('没有获取到数据')


  64. def save_image(item):
  65.     img_path = 'images' + '/' + item.get('title')
  66.     if not os.path.exists(img_path):
  67.         try:
  68.             os.mkdir(img_path)
  69.         except OSError:
  70.             print('文件命名错误')
  71.     try:
  72.         response = requests.get(item.get('image'))
  73.         if response.status_code == 200:
  74.             file_path = '{0}/{1}.{2}'.format(img_path, md5(response.content).hexdigest(), 'jpg')
  75.             if not os.path.exists(file_path):
  76.                 with open(file_path, 'wb') as f:
  77.                     f.write(response.content)
  78.             else:
  79.                 print('已经存在', file_path)
  80.     except requests.ConnectionError:
  81.         print('下载不成功')
  82.     except OSError:
  83.         print('图片名称格式不对')


  86. def main(offset):
  87.     html = get_page(offset)
  88.     for item in get_images(html):
  89.         print(item)
  90.         save_image(item)


  93. GROUP_START = 0
  94. GROUP_END = 10


  97. if __name__ == '__main__':
  98.     pool = Pool()
  99.     group = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
  100.     pool.map(main, group)
  101.     pool.close()
  102.     pool.join()
复制代码


已经解决了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-9 06:24

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表