[已解决]请教一个多线程的问题！！悬赏20

hjx123hjx

先贴下我的代码

1. import requests
   
2. import threading
   
3. 
   
4. def threaded_crawler(max_threads=5):
   
5.     def get_text(data):
   
6.         nonlocal i
   
7.         i += 1
   
8. 
   
9.         url = 'http://httpbin.org/post'
   
10.         print('old offset ', data['offset'])
    
11.         resp = requests.post(url, data=data)
    
12.         print('new offset ', data['offset'])
    
13. 
    
14. 
    
15.     i = 0
    
16.     threads = []
    
17.     while True:
    
18.         # 检查线程池
    
19.         for thread in threads:
    
20.             if not thread.is_alive():
    
21.                 # 移除执行完毕的线程
    
22.                 threads.remove(thread)
    
23.         # 小于最大线程数时添加线程
    
24.         while len(threads) < max_threads:
    
25.             data['offset'] += 1
    
26.             thread = threading.Thread(target=get_text, args=(data,))
    
27.             thread.setDaemon(True)
    
28.             thread.start()
    
29.             threads.append(thread)
    
30.         # 堵塞线程
    
31.         for thread in threads:
    
32.             thread.join()
    
33. 
    
34.         # 退出循环
    
35.         if i == 8:
    
36.             break
    
37.             
    
38. def main():
    
39.     threaded_crawler()
    
40. 
    
41. data = {
    
42.     'offset': 0
    
43. }
    
44. main()
    
45. input()
    

复制代码

执行效果如下图：

我想要的效果是每次传入的data['offset']参数分别为1-8，执行效果可以看到传入requests.post之前还是不同的，传入的时候就变成统一的5和8了。。
这是怎么回事？为什么在requests.post这里几个线程要卡住然后再一起执行？希望大佬解释一下多线程的执行步骤。。谢谢！！
方便的话提点一下怎么改才能达到我想要的效果。。

最佳答案

月排行榜 / 总排行榜

2012277033

2019-6-4 11:15:25

你声明了nonlocal i,所以当多线程执行的时候，不同线程的i的值会互相影响

跳转到最佳答案楼层

2012277033

你声明了nonlocal i,所以当多线程执行的时候，不同线程的i的值会互相影响

hjx123hjx

2012277033 发表于 2019-6-4 15:29
你声明了nonlocal i,所以当多线程执行的时候，不同线程的i的值会互相影响

额。。我设置i只是设置一个退出条件。。data是我要传给网站的参数。
不过你的思路没错。外面传入的一个data确实在不同线程中会相互影响。所以我给网站传参前在各个线程中copy一份，这样就能保证要传的参数不变了。

1. def get_text(data):
   
2.     nonlocal i
   
3.     i += 1
   
4. 
   
5.     formdata = data.copy()
   
6.     url = 'http://httpbin.org/post'
   
7.     print('old offset ', formdata)
   
8.     resp = requests.post(url, data=formdata)
   
9.     print(resp.text)

复制代码

感谢大佬提供的思路！！呃，我还有一个小问题，新的执行效果图在原问题上。
为何在post前执行print('old offset ', formdata)时会按顺序执行，之后执行print(resp.text)就不按顺序了，我应该对线程同步执行有一些疑问。。希望大佬能帮我解答一下！谢谢！

2012277033

hjx123hjx 发表于 2019-6-4 17:23
额。。我设置i只是设置一个退出条件。。data是我要传给网站的参数。
不过你的思路没错。外面传入的一个d ...

额，因为网络请求有快有慢的，多线程下，可能B线程访问的请求快于A线程，那么B线程的打印就会在A线程之前了。

hjx123hjx

2012277033 发表于 2019-6-4 17:38
额，因为网络请求有快有慢的，多线程下，可能B线程访问的请求快于A线程，那么B线程的打印就会在A线程之前 ...

嗯。有些明白了，谢谢大佬解惑！