python如何管理内存,python如何管理内存？

。对于Python来说，内存管理涉及所有包含Python对象和堆。 Python内存管理器在内部确保对堆的管理和分配。 Python内存管理器具有不同的组件，可处理各种动态存储管理方面，如共享，分段，预分配或缓存。

在最低级别，原始内存分配器确保堆中有足够的空间通过与操作系统的内存管理器交互来存储所有与Python相关的数据。在原始内存分配器之上，几个特定于对象的分配器在同一堆上运行，并实现适合于每种对象类型的特性的不同内存管理策略。

例如，整数对象在堆内的管理方式与字符串，元组或字典不同，因为整数意味着不同的存储要求和速度/空间权衡。因此，Python内存管理器将一些工作委托给特定于对象的分配器，但确保后者在堆的边界内运行。

重要的是要理解Python堆的管理是由解释器本身执行的，并且用户无法控制它，即使它们经常操作对象指针到该堆内的内存块。 Python内存管理器通过本文档中列出的Python / C API函数按需执行Python对象和其他内部缓冲区的堆空间分配。

为了避免内存损坏，扩展编写器不应该尝试使用C库导出的函数对Python对象进行操作：malloc（），calloc（），realloc（）和free（）。这将导致C分配器和Python内存管理器之间的混合调用带来致命的后果，因为它们实现了不同的算法并在不同的堆上运行。

在大多数情况下，我们建议从Python堆中分配内存，因为后者受Python内存管理器的控制。 例如，当使用C编写的新对象类型扩展解释器时，这是必需的。使用Python堆的另一个原因是希望通知Python内存管理器有关扩展模块的内存需求。 可将所有内存请求委托给Python内存管理器也会使解释器整体上有更准确的内存占用空间。 所以在某些情况下，Python内存管理器可能会或可能不会触发适当的操作，如垃圾收集，内存压缩等。

在Java并发编程中，如何扩展和优化线程池？

在java中多线程并不陌生，在一定的范围内，多线程数量的增加会明显提升整个系统的吞吐性能，但是线程本身会极大的耗费内存空间，线程的频繁创建和回收也极其占用CPU资源，多线程甚至会拖垮整个服务！

所以，线程的利用必须掌握在一个度，太少的线程数可能会浪费CPU资源，而太高也极有可能反而降低整个应用性能；

线程池：基于使用多线程存在的问题，JDK提出了线程池技术，类似于数据库连接池，都是保持池中部分线程活跃状态，在需要使用线程的时候，直接从线程池中获取，使用。当线程使用结束，就进行回收（直接放回池中等待，而不是GC），这样就能避免了线程的频繁创建和回收。

JAVA中的线程池：JDK提供了线程池框架Executor，帮助程序更好的管理线程。总的结构如下截图：

比较常见的线程池对象获取方式为：

①newSingleThreadExecutor():返回单线程的线程池，一个接一个的处理任务，线程异常的时候，会创建新的线程替代； ②newFixedThreadPool:在达到最大线程之前，有一个任务就创建一个线程，直到达到最大线程数量； ③newCachedThreadPool：动态的设置最合适的线程数量，最大为JVM能够支持的大小； ④newScheduledThreadPool：指定线程数量，并周期性的执行任务； ⑤newSingleThreadScheduledExecutor：指定线程数量1个，并周期性的执行任务；

从源码来看，上面几种线程池底层都是封装的ThreadPoolExecutor对象，查看源码可知比较重要的属性（对象）截图如下：

定义了线程池中的线程数量，最大线程池数量，线程工厂（用于线程的创建），workQuere任务队列，handler拒绝策略等属性，用于线程池的对象初始化和任务调度！

下图是ThreadPoolExecutor对象中的execute方法截图：

解释如下：

1，当前线程总数小于核心线程数，则通过addWorker进行执行；

2，否则通过wordQueue.offer提交到等待队列，

3，进入等待队列失败，则通过addWorker提交到线程池，失败则执行拒绝策略；

线程池有多种拒绝策略：直接抛出异常，或者丢弃无法处理的任务等等，此处不做详细讨论。。

线程池的扩展：JDK允许开发人员自主扩展线程池，通过提供的beforeExecute，afterExecute，terminated三个接口可以像处理AOP一样方便的管理线程池，可自行实现状态跟踪，调试信息等用以监控线程池！

线程池的优化：线程池的优化主要针对线程数量进行，一般来说只要使用的不是最大最小线程数量都可以，但是具体的还要根据场景，参考CPU核心数，等待时间等因素来判断最合适的线程数，比如是批量运算这种密集的CPU执行，则线程数设置为CPU核心数即可，如果有大量阻塞，则可以使用CPU核心数的偶数倍数，在有一本书中得出了一个公式如下截图：

jdk中的线程池技术比较完善，加上其他的多线程技术，促使JAVA成为高并发领域的佼佼者，最近一直在分享JAVA技术，得到很多朋友的鼓励，在此表示感谢，我也会一直持续的进行分享，敬请关注。。

JAVA架构之线程池是怎样工作的？

！下面介绍一下线程池是怎样工作的？

ThreadPoolExecutor 的类关系如下：

• Executor是一个接口，它是Executor框架的基础，它将任务的提交与任务的执行分离开来。

• ExecutorService接口继承了Executor，在其上做了一些shutdown()、submit()的扩展，可以说是真正的线程池接口；

• AbstractExecutorService抽象类实现了ExecutorService接口中的大部分方法；

• threadPoolExecutor是线程池的核心实现类，用来执行被提交的任务。

• ScheduledExecutorService接口继承了ExecutorService接口，提供了带"周期执行"功能ExecutorService；

• ScheduledThreadPoolExecutor是一个实现类，可以在给定的延迟后运行命令，或者定期执行命令。ScheduledThreadPoolExecutor比Timer更灵活，功能更强大。

定义线程池

线程池的创建各个参数含义 及流程 如下：

1、corePoolSize

① 线程池中的核心线程数，当提交一个任务时，线程池创建一个新线程执行任务，直到当前线程数等于corePoolSize；

② 如果当前线程数为corePoolSize，继续提交的任务被保存到阻塞队列中，等待被执行；

③ 如果执行了线程池的prestartAllCoreThreads()方法，线程池会提前创建并启动所有核心线程。

2、maximumPoolSize

线程池中允许的最大线程数。如果当前阻塞队列满了，且继续提交任务，

则创建新的线程执行任务，前提是当前线程数小于maximumPoolSize

3、keepAliveTime

线程空闲的存活时间，即当线程没有任务执行时，继续存活的时间。

默认情况下，该参数只在线程数大于 corePoolSize时才有用。

4、TimeUnit

keepAliveTime 的时间单位。

5、WorkQueue

用于保存等待执行的任务的阻塞队列，一般来说，我们应该尽量使用有界队列，因为使用无界队列作为工作队列会对线程池做如下影响。

① 当线程池中的线程数达到corePoolSize后，新任务将在无界队列中等待，因此线程池中的线程数不会超过corePoolSize。

② 由于1，使用无界队列时maximumPoolSize将是一个无效参数。

③ 由于1和2，使用无界队列时keepAliveTime将是一个无效参数。

④ 更重要的，使用无界queue可能会耗尽系统资源，有界队列则有助于防止资源耗尽，同时即使使用有界队列，也要尽量控制队列的大小在一个合适的范围。

所以我们一般会使用，ArrayBlockingQueue、LinkedBlockingQueue、SynchronousQueue、PriorityBlockingQueue。

6、threadfactory

创建线程的工厂，通过自定义的线程工厂可以给每个新建的线程设置一个具有识别度的线程名，

当然还可以更加自由的对线程做更多的设置，比如设置所有的线程为守护线程。

Executors 静态工厂里默认的threadfactory，线程的命令 规则时"pool-数字-thread-数字"

7、RejectedExecutionHandler 拒绝策略

线程池的饱和策略，当阻塞队列满了，且没有空闲的工作线程，如果继续提交任务，必须采取一种策略处理该任务，线程池提供了4种策略：

① AbortPolicy : 直接抛出异常，默认策略

② CallerRunsPolicy: 用调用者所在的线程来执行任务

③ DiscardOldestPolicy : 丢弃阻塞队列中靠最前的任务，并执行当前任务

④ Discardpolicy : 直接丢弃任务

当然也可以根据应用场景实现RejectedExecutionHandler接口，自定义饱和策略，如记录日志或持久化存储不能处理的任务。

线程池的工作机制

① 如果当前运行的线程 少于corePoolSize,则创建新线程来执行任务

② 如果运行的线程等于或多于corePoolSize，则将任务加入BlockingQueue

③ 如果无法将任务加入BlockingQueue（队列已满），则创建新的线程来处理任务。

④ 如果创建新线程将使当前运行的线程超出 maximumPoolSize,任务将被拒绝，

并调用RejectedExecutionHandler.rejectedExecution()方法。