表中的内容

介绍

• What is Concurrency
• Why is Concurrency Important?
• Problems in Concurrency.
• What are Threads?
• What is a Threadpool?

线程与线程池

• Definition
• Usage
• Pros & Cons
• Difference b/w Threads and Threadpools

在Python中实现ThreadPool

• Various methods available in Threadpools
  • submit()方法
  • map()方法
  • shutdown()方法
  • result()方法
• Creating a Threadpool
• Quick fixes
• Best practices for using thread pools
• When to use thread pools vs threads

尾巴

• What is a Queue?
• Implementing a Task Management System with a Queue

结论

• Summary of Key Points
• Takeaway

参考

• References

介绍

Python是一种流行的编程语言，用于构建可扩展和并发应用程序。 Python的关键功能之一是能够创建和管理多个执行线程。线程可以帮助您利用多核处理器并通过允许您同时执行多个任务来加快程序。但是，管理线程可能很复杂，并且由于在线程之间创建和切换所涉及的开销而创建太多线程可能会导致性能问题。

并发

• 并发是现代软件开发的关键方面，允许程序同时执行多个任务并利用多核处理器。 Python是一种流行的编程语言，它支持使用线程的并发编程。但是，管理线程可能很复杂，如果操作不正确，可能会导致性能问题。为了应对其中一些挑战，Python提供了创建和管理线程池的机制。在本文中，我们将探讨Python中线程池和线程之间的差异，并讨论何时使用每种方法来实现更好的性能。到本文结束时，您将对Python中的线程池与线程有清晰的了解以及如何为您的特定需求选择正确的方法。
• 以简单的术语，并发启用多个进程或线程同时执行。

并发的重要性

• 它可以通过允许多个任务并行执行而不是顺序执行。
• 它可以通过允许其在等待其他任务完成的同时执行非阻滞操作来使程序更快。
• 它可以通过使程序更好地利用可用的CPU和I/O资源来改善资源利用率。
• 它可以通过更大的模块化和灵活性来启用更复杂和复杂的程序设计。
• 对于某些类型的程序，例如实时系统或分布式系统，它需要并发执行才能满足其性能和可伸缩性要求。

并发问题

1. 僵局和种族条件：当多个线程同时访问共享资源时，可能会发生僵局和种族条件。这可能导致不可预测的行为和程序崩溃。

2. 过多的资源用法：创建太多线程会导致过多的资源使用，导致性能问题。

3. 缓慢的性能：由于管理多个线程所涉及的间接费用，并发程序有时会比顺序程序慢。

4. 难以调试：调试并发程序可能具有挑战性，因为线程的行为可能是无法预测的。

5. GIL限制：Python中的全球解释器锁（GIL）可以限制涉及CPU结合任务的并发程序的性能。

什么是线程？

线程是一系列指令，可以与同一程序中的其他线程同时执行。 Python线程轻巧，这意味着它们比成熟的过程所需的内存更少，资源少。您可以使用螺纹模块在Python中创建线程。这是在Python中创建线程的示例：

import threading
def my_func():
    print("Hello from thread!")

if __name__ == '__main__':
    t = threading.Thread(target=my_func)
    t.start()

在此代码段中，我们定义一个函数 my_func ，它只是打印消息。然后，我们通过将此功能作为目标传递到螺纹构造函数来创建一个新线程。最后，我们使用 start 方法开始线程。

什么是线程池？

线程池是预先创建的线程的集合，可以重复使用以执行任务，而不是每次需要执行任务时创建新线程。线程池可以通过更有效地限制创建的线程数量并管理其生命周期来帮助提高性能并减少开销。在Python中，您可以使用 confurrent.futures 模块创建一个线程池。这是在Python中使用线程池的示例：

import concurrent.futures
def my_func():
    print("Hello from thread!")

if __name__ == '__main__':
    with concurrent.futures.ThreadPoolExecutor(max_workers=2) as executor:
        executor.submit(my_func)

在这里，我们定义一个函数 my_func ，只需打印消息即可。然后，我们使用类创建一个新的线程池，从 conturrent.futures 模块创建一个新线程池。我们使用 max_workers 参数将最大数量的工人设置为2。最后，我们使用提交方法向线程池提交 my_func 函数。

线程vs threadpools

定义

• 线程：线程是程序中最小的执行单位。这是一个轻巧的过程，可以在较大程序的上下文中独立执行。多个线程可以在同一过程中同时运行，从而允许并行性和提高性能。线程共享与父进程相同的内存空间和资源，这可能导致同步和种族条件问题。

• threadpool ：threadpool是一组工作线程的集合，由ThreadPool Manager提前创建并维护。 ThreadPool的目的是通过减少与创建和破坏线程相关的开销来提高性能。线程池可以重复使用现有线程，而不是为每个任务创建新线程，这可以减少线程创建和破坏的开销。

用法

• 线程通常用于需要并发和并发的程序，例如服务器，科学模拟和多媒体应用。它们也可以在GUI应用中用于提高响应能力和性能。

• threadpools 通常用于需要执行多个独立任务的程序，例如Web服务器或数据库应用程序。通过使用ThreadPool，该程序可以通过减少线程创建和破坏的开销来提高性能和可伸缩性。

Pros＆Cons

PROS：
线程池比Python中的线程具有多个优点：

• 资源管理：线程池可以限制创建的线程数量，从而可以减少资源使用情况并提高性能。通过更有效地管理线程的生命周期，线程池也可以防止线程泄漏等问题。

• 可伸缩性：：线程池可以通过使用固定数量的线程同时处理任务来提高可扩展性。这可以减少与创建和管理多个线程相关的开销。

• 调试：线程池可以通过允许您使用特定于池的日志记录机构跟踪任务执行任务，从而使调试变得更加容易。这可以帮助您确定线程同步或共享资源访问的任何问题。

cons：

• 性能：如果线程池中的工作螺纹数量太低，则性能比直接使用线程较慢。这是因为线程池可能在管理任务队列和工作人员线程时引入开销。

• 复杂性：线程池比线程更复杂，尤其是当您需要使用超时，期货或回调之类的功能时。

差异

• 创建：使用线程时，每个线程都是根据需要单独创建和破坏的。使用线程池时，会预先创建固定数量的线程并重复使用以处理不同的任务。

• 开销：在时间和资源方面创建和破坏线程可能很昂贵。线程池可以通过重复现有线程来减少此开销，在某些情况下可以更好地性能。

• 可伸缩性：线程池比单独使用线程更可扩展，尤其是对于I/O结合任务。这是因为线程池可以更有效地管理线程的数量，避免了太多线程争夺系统资源的情况。

• 控制：使用线程时，由程序员来管理线程的创建，破坏和同步。使用线程池时，此管理由池本身处理，允许程序员专注于定义要执行的任务。

• 异质与均质任务： ThreadPool用于异质任务，而线程用于均质任务。

• 重复使用vs单使用： threadpool支持重复使用，而线程类则用于一次使用。

在Python中实现ThreadPool

threadpools中可用的各种方法

• submit()：将任务提交到线程池进行执行。
• map()：将函数应用于参数列表，将每个函数提交到线程池以进行执行。
• shutdown()：等待所有提交的任务在返回之前完成。
• result()：返回完成任务的结果。

创建一个ThreadPool

import concurrent.futures
#Define a function that will be executed in the thread pool
def my_function(arg):
    #Perform some long-running operation here
    result = arg * 2
    return result
#Create a thread pool object with 5 worker threads
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    #Submit tasks to the thread pool using the submit() method
    future1 = executor.submit(my_function, 1)
    future2 = executor.submit(my_function, 2)
    future3 = executor.submit(my_function, 3)

    #Use the map() method to apply a function to a list of arguments
    queue = [4, 5, 6]
    results = executor.map(my_function, queue)

    #Wait for all tasks to complete using the shutdown() method
    executor.shutdown()

    #Get the results of each task using the result() method
    result1 = future1.result()
    result2 = future2.result()
    result3 = future3.result()
    #Print the results
    print(result1, result2, result3)
    print(list(results))

在此示例实现中，我们首先定义一个称为my_function（）的简单函数，该功能采用单个参数并在其上执行长期运行的操作。然后，我们创建一个带有5个工作线程的线程池对象，并使用cumber（）方法向其提交三个任务。我们还使用Map（）方法将相同的功能应用于参数列表。

提交所有任务后，我们等待所有这些任务使用Shutdown（）方法完成。然后，我们使用结果（）方法检索我们之前提交的每个单独任务的结果。最后，我们打印出每个任务的结果以及MAP（）操作的结果。

注意：在此enasleatuon中，我们使用cumber（）方法提交单个任务，而map（）方法将函数应用于参数列表。之后，我们使用shutdown（）方法等待所有任务完成，然后使用结果（）方法检索结果。

使用ThreadPools快速修复

1）僵局和种族条件：线程池可以通过管理访问共享资源的线程数来帮助避免僵局和比赛条件。线程池维护任务的队列，并将其分配给固定数量的工作线程。这样可以确保在任何给定时间只有有限数量的线程访问共享资源。

2）资源过多：线程池可以限制创建的线程数量，从而可以减少资源使用情况并提高性能。通过更有效地管理线程的生命周期，线程池也可以防止线程泄漏等问题。

3）缓慢的性能：线程池可以通过批处理任务并使用固定数量的线程同时执行它们来提高性能。这可以减少与创建和管理多个线程相关的开销。

4）调试困难：线程池可以通过允许您使用特定于池的日志记录机构跟踪任务执行来使调试变得更加容易。这可以帮助您确定线程同步或共享资源访问的任何问题。

5） GIL限制：线程池可以通过使用多个进程而不是线程来帮助避免GIL限制。 Python中的多处理模块提供了一个可以并行执行任务而不会受GIL约束的工作过程池。

总而言之，线程池可以通过避免与线程相关的一些常见问题来提供更有效，更易于管理的python并发方法。通过使用线程池，您可以编写可扩展，健壮和性能的并发程序。

使用线程池的最佳实践

在使用Python中使用线程池时，请记住一些最佳实践：

• 设置正确的工作线程的数量：最佳的工作线程数量取决于可用的CPU内核的数量和正在执行的任务的性质。实验不同的值以找到应用程序的最佳配置。

• 使用有界的任务队列：为了防止任务队列太大，您可以使用有限的队列（例如，Queue.Queue.queue（maxsize = 10））当队列已满时例外。

• 处理异常：确保处理工人线程中发生的异常。否则，例外可能会引起注意并引起难以删除的错误。

• 使用上下文经理：要确保在不再需要的线程池时正确清理，请使用上下文管理器（with conturrent.futures.futures.threadpoolexecutor（max_workers = 5）作为执行人）将在退出块时自动关闭池。

• 避免共享状态：如果可能的话，避免在工作线程之间共享状态，以防止种族条件和其他同步问题。

通过遵循这些最佳实践，我们可以确保我们的Python应用程序正在使用线程池有效地使用线程池。

何时使用ThreadPool vs thread

在Python中使用线程池或线程的决定取决于您应用程序的特定要求和各种因素。以下是一些一般准则：

• i/o-bound任务：如果您的应用程序执行许多I/O结合任务（例如，从数据库读取或制作API请求），使用 thread pools 可能是有益的。 I/O结合的任务花费了很大一部分时间等待外部资源，例如网络响应或磁盘I/O。通过使用线程池，可以分配多个工人以同时处理这些任务，从而使其他工人在等待I/O操作完成时继续执行。这可以提高整体性能和响应能力。

• cpu结合任务：如果您的应用程序执行许多CPU结合的任务（例如，图像处理或机器学习），则可以考虑使用多线程。尽管Python中的全球解释器锁（GIL）可以防止真正的并行性，但在某些情况下，使用多线程仍然可以有益。 CPU结合的任务广泛利用系统资源，并且在多个线程中分配工作负载可以最大化CPU利用率。但是，重要的是要注意，由于 gil ，与其他方法相比，通过多线程绑定的任务获得的性能提高可能会受到限制，例如多处理或释放GIL的本机扩展。建议评估应用程序的具体要求，并根据任务的性质和可用资源的性质考虑替代方法。

• 混合任务：如果您的应用程序执行I/O结合和CPU结合任务的混合，则可以尝试使用线程池和线程来找到最佳性能。