[已解决]关于代码无法触发for循环的问题

风尘岁月

1. #导包
   
2. import requests
   
3. import time
   
4. import os
   
5. import threading
   
6. import parsel
   
7. 
   
8. 
   
9. if not os.path.exists('image'):
   
10.     os.mkdir('image')
    
11. 
    
12. 
    
13. base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'
    
14. 
    
15. headers = {
    
16.     'User-Agent':
    
17.         'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
    
18. }
    
19. 
    
20. 
    
21. 
    
22. def get(url,headers,cookie):
    
23.     '''请求数据'''
    
24.     response = requests.get(url,headers)
    
25.     html_data = response.text
    
26.     return html_data
    
27. 
    
28. 
    
29. def parsel_data(html_data):
    
30.     '''筛选数据'''
    
31.     selector = parsel.Selector(html_data)
    
32.     result_list = selector.xpath('//span[@class="img_block_big"]')
    
33. 
    
34.     for result in result_list:
    
35.         image_url = result.xpath('./a/picture/source/img/@src').extract_first()
    
36.         image_id = result.xpath('./a/picture/source/img/@id').extract_first()
    
37. 
    
38.         img_url = 'https:' + image_url #手动拼url
    
39. 
    
40.         all_title = img_url
    
41. 
    
42.         img_data = requests.get(url = all_title,headers = headers).content
    
43. 
    
44.         return all_title,image_id,img_data
    
45. 
    
46. 
    
47. def save(all_title,image_id,img_data):
    
48.     '''保存数据'''
    
49.     try:
    
50.         with open('image\\' + all_title,  mode='wb') as f:
    
51.             print('保存成功:', image_id)
    
52.             f.write(img_data)
    
53. 
    
54.     except:
    
55.         pass
    
56.         print('保存失败')
    
57. 
    
58. 
    
59. def sleep(time):
    
60.     '''休眠'''
    
61.     time.sleep(time)
    
62. 
    
63. 
    
64. 
    
65. for _ in  range(0,100):
    
66.     html_data = get(url=base_url, headers=headers)
    
67.     image_data = parsel_data(html_data = html_data)
    
68. 
    
69.     all_title = image_data[0] #url https://xxxxxxx...
    
70.     img_id = image_data[1] #ID号
    
71.     img_data = image_data[2] #数据
    
72. 
    
73.     print(all_title,img_id,img_data)
    
74. 
    

复制代码

如果调试的话 会发现他一直在重复同一个图片的数据

最佳答案

月排行榜 / 总排行榜

yjsx86

2020-7-21 10:49:21

让parsel_data函数变成生成器就行

1. # 导包
   
2. import requests
   
3. import time
   
4. import os
   
5. import threading
   
6. import parsel
   
7. 
   
8. if not os.path.exists('image'):
   
9.     os.mkdir('image')
   
10. 
    
11. base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'
    
12. 
    
13. headers = {
    
14.     'User-Agent':
    
15.         'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
    
16. }
    
17. 
    
18. 
    
19. def get(url, headers):
    
20.     '''请求数据'''
    
21.     response = requests.get(url, headers)
    
22.     html_data = response.text
    
23.     return html_data
    
24. 
    
25. 
    
26. def parsel_data(html_data):
    
27.     '''筛选数据'''
    
28.     selector = parsel.Selector(html_data)
    
29.     result_list = selector.xpath('//span[@class="img_block_big"]')
    
30. 
    
31.     for result in result_list:
    
32.         image_url = result.xpath('./a/picture/source/img/@src').extract_first()
    
33.         image_id = result.xpath('./a/picture/source/img/@id').extract_first()
    
34. 
    
35.         img_url = 'https:' + image_url  # 手动拼url
    
36. 
    
37.         all_title = img_url
    
38. 
    
39.         img_data = requests.get(url=all_title, headers=headers).content
    
40. 
    
41.         # return 改 yield
    
42.         yield all_title, image_id, img_data
    
43. 
    
44. 
    
45. def save(all_title, image_id, img_data):
    
46.     '''保存数据'''
    
47.     try:
    
48.         with open('image\\' + all_title, mode='wb') as f:
    
49.             print('保存成功:', image_id)
    
50.             f.write(img_data)
    
51. 
    
52.     except:
    
53.         pass
    
54.         print('保存失败')
    
55. 
    
56. 
    
57. def sleep(time):
    
58.     '''休眠'''
    
59.     time.sleep(time)
    
60. 
    
61. 
    
62. if __name__ == '__main__':
    
63.     html_data = get(url=base_url, headers=headers)
    
64.     for image_data in parsel_data(html_data):
    
65.         all_title = image_data[0]  # url https://xxxxxxx...
    
66.         img_id = image_data[1]  # ID号
    
67.         img_data = image_data[2]  # 数据
    
68.         print(all_title, img_id, img_data)
    

复制代码

                               
登录/注册后可看大图

跳转到最佳答案楼层

风尘岁月

如果各位鱼油调试的话 会发现parsel_data()的提取图片没用 提出来的都是同一个图片数据

风尘岁月

调试过后 发现的是parsel_data()函数内的return没有进行循环 一直返还同一个图片数据 其他的参数目前正常

Levin-e

1. 
   
2. def parsel_data(html_data):
   
3.     '''筛选数据'''
   
4.     selector = parsel.Selector(html_data)
   
5.     result_list = selector.xpath('//span[@class="img_block_big"]')
   
6. 
   
7.     for result in result_list:
   
8.         image_url = result.xpath('./a/picture/source/img/@src').extract_first()
   
9.         image_id = result.xpath('./a/picture/source/img/@id').extract_first()
   
10. 
    
11.         img_url = 'https:' + image_url #手动拼url
    
12. 
    
13.         all_title = img_url
    
14. 
    
15.         img_data = requests.get(url = all_title,headers = headers).content
    
16. 
    
17.         return all_title,image_id,img_data

复制代码

首先我自己这里尝试了一下，可能是因为版本的原因，你的代码还缺少cookie
然后这段代码貌似有些问题
你的return写在了循环里面，在一个方法里，你使用了return，代码运行到这个地方就停止了

然后再给你个简单的例子，自己试验一下

1. 
   
2. names = ['Michael', 'Bob', 'Tracy']
   
3. 
   
4. def name():
   
5.     for name in names:
   
6.         # print(name)
   
7.         sn = name
   
8.         return sn
   
9. 
   
10. 
    
11. if __name__ == '__main__':
    
12.     a = name()
    
13.     print(a)

复制代码

在这个例子里你就可以知道为什么循环只执行一次就没有了

yjsx86

让parsel_data函数变成生成器就行

1. # 导包
   
2. import requests
   
3. import time
   
4. import os
   
5. import threading
   
6. import parsel
   
7. 
   
8. if not os.path.exists('image'):
   
9.     os.mkdir('image')
   
10. 
    
11. base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'
    
12. 
    
13. headers = {
    
14.     'User-Agent':
    
15.         'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
    
16. }
    
17. 
    
18. 
    
19. def get(url, headers):
    
20.     '''请求数据'''
    
21.     response = requests.get(url, headers)
    
22.     html_data = response.text
    
23.     return html_data
    
24. 
    
25. 
    
26. def parsel_data(html_data):
    
27.     '''筛选数据'''
    
28.     selector = parsel.Selector(html_data)
    
29.     result_list = selector.xpath('//span[@class="img_block_big"]')
    
30. 
    
31.     for result in result_list:
    
32.         image_url = result.xpath('./a/picture/source/img/@src').extract_first()
    
33.         image_id = result.xpath('./a/picture/source/img/@id').extract_first()
    
34. 
    
35.         img_url = 'https:' + image_url  # 手动拼url
    
36. 
    
37.         all_title = img_url
    
38. 
    
39.         img_data = requests.get(url=all_title, headers=headers).content
    
40. 
    
41.         # return 改 yield
    
42.         yield all_title, image_id, img_data
    
43. 
    
44. 
    
45. def save(all_title, image_id, img_data):
    
46.     '''保存数据'''
    
47.     try:
    
48.         with open('image\\' + all_title, mode='wb') as f:
    
49.             print('保存成功:', image_id)
    
50.             f.write(img_data)
    
51. 
    
52.     except:
    
53.         pass
    
54.         print('保存失败')
    
55. 
    
56. 
    
57. def sleep(time):
    
58.     '''休眠'''
    
59.     time.sleep(time)
    
60. 
    
61. 
    
62. if __name__ == '__main__':
    
63.     html_data = get(url=base_url, headers=headers)
    
64.     for image_data in parsel_data(html_data):
    
65.         all_title = image_data[0]  # url https://xxxxxxx...
    
66.         img_id = image_data[1]  # ID号
    
67.         img_data = image_data[2]  # 数据
    
68.         print(all_title, img_id, img_data)
    

复制代码

                               
登录/注册后可看大图

风尘岁月

yjsx86 发表于 2020-7-21 10:49
让parsel_data函数变成生成器就行

我早上也确实改成了yiled 但是就没法切片了

风尘岁月

yjsx86 发表于 2020-7-21 10:49
让parsel_data函数变成生成器就行

感谢大佬的帮助 本帖还没完呢 待会可能有新bug