内存池化王富(内存池技术)

内存池技术

优化程序内存消耗：尽量减少使用内存，比如使用一个变量取代多个变量，使用一个指针取代多个指针。

标记内存分配：在程序运行过程中，将某些不常用的内存标记为不可用，以节省内存。

使用内存池：使用内存池技术，有效控制内存的分配，减少内存的反复分配和释放。

优化程序结构：通过更加紧凑地结构组织程序，减少内存的占用。

启用内存分页：使用内存分页技术，可以把一定的内存动态分配，以有效的提升系统的可用内存。

裁剪程序：从程序中把不必要的模块和功能剔除，以减少代码的体积和内存的消耗。

合理使用缓存：尽量不要在内存中存储大量的不常用的数据，应当使用缓存来存储一些有限的数据，以节省内存。

选择一些轻量级的程序：在选择程序框架和工具等时，要尽量选择轻量级并高效运行的程序，以减少内存的消耗。

内存池的设计和实现

RTOS（Real-Time Operating System）为了保证实时性和可靠性，通常会限制或禁止使用动态内存分配函数malloc。这是因为在RTOS的环境下，实行了严格的内存管理，采用了固定大小或固定分配方式的内存池来避免动态内存分配时可能出现的内存碎片问题，同时也能够更好地预先分配和管理程序所需的内存资源，减少内存使用过程中的频繁申请和释放带来的时间开销和系统资源消耗，提高系统的性能和可靠性。

因此，在RTOS中，通常使用静态内存分配和内存池的方式来管理内存，以实现更好的实时性和可靠性，避免了动态内存分配可能带来的不可预知性和风险。

内存池技术指标

虚拟内存。电脑配置低当然选低的好些

内存池优点

线程池主要用来解决线程生命周期开销问题和资源不足问题。通过对多个任务重用线程，线程创建的开销就被分摊到了多个任务上了，而且由于在请求到达时线程已经存在，所以消除了线程创建所带来的延迟。这样，就可以立即为请求服务，使应用程序响应更快。另外，通过适当地调整线程池中的线程数目可以防止出现资源不足的情况。

以Java为例讲解，在Java中，如果每当一个请求到达就创建一个新线程，开销是相当大的。在实际使用中，每个请求创建新线程的服务器在创建和销毁线程上花费的时间和消耗的系统资源，甚至可能要比花在处理实际的用户请求的时间和资源要多得多。

除了创建和销毁线程的开销之外，活动的线程也需要消耗系统资源。如果在一个JVM里创建太多的线程，可能会导致系统由于过度消耗内存或“切换过度”而导致系统资源不足。为了防止资源不足，服务器应用程序需要一些办法来限制任何给定时刻处理的请求数目，尽可能减少创建和销毁线程的次数，特别是一些资源耗费比较大的线程的创建和销毁，尽量利用已有对象来进行服务，这就是“池化资源”技术产生的原因。

内存池是什么

分数据库连接池、异步线程池、内存池、对象池、资源池、网络通信连接池（http 和webSocket）、端上的连接池。

内存池实现原理

群晖存储空间和存储池是两个不同的概念，它们之间的区别如下：

1. 存储空间不同：存储空间是对物理硬盘进行管理的一种概念。在群晖系统中，可以通过创建存储空间来为硬盘或固态硬盘分区，并进行管理、备份和共享。

2. 存储池不同：存储池是通过虚拟化的方式管理存储空间的概念。一个存储池可以由多个物理硬盘组成，且可以通过添加或删除硬盘来扩展或缩小存储池的容量。通过存储池管理，用户可以使用 RAID 或 SHR 技术来实现数据的冗余备份，提高数据的安全性。

因此，从概念上来说，存储池是对存储空间的管理和优化，是一种高度虚拟化的管理方式，而存储空间则是对物理硬盘进行管理的一种方式。在实际应用中，通过存储池管理，用户可以更方便地管理和使用多个硬盘来实现数据存储和备份。

简易内存池

内存问题一直以来都是C/C++开发中比较麻烦的问题，总的来讲，可以分成内存碎片、内存泄漏和内存越界这几类其中，以内存越界最为复杂，而且难以定位。下面我们将通过技术手段逐一分析并解决这三个问题。

一、操作系统的内存管理

进程的虚拟内存空间是地址是连续的，整个内存空间以页为单位进行划分，并不是每个页当前都映射了物理地址（commited），应用程序通过操作系统提供的API对内存进行管理，以页为单位，将虚拟内存地址映射到物理地址或者解除虚拟地址和物理地址的映射，某些情况下操作系统也会自动进行这个过程：例如当物理内存不足时，会根据一定的策略将部分虚拟空间的数据保存到硬盘上，同时解除虚拟空间和物理地址的映射，把空出来的物理地址映射到当前cpu需要访问的虚拟空间（拆东墙补西墙）。

一、内存碎片

当应用程序通过操作系统提供的API动态的申请内存和归还内存，那么难以避免的就会造成当前已分配的内存在进程中占用着不连续的虚拟空间，反过来，不被应用程序占用的空闲内存空间也是不连续的，那么即便这些空闲内存的总量大于下次应用程序申请的空间大小，因为不连续，所以也无法成功申请到。空闲内存不连续的问题越严重（不连续的内存快越多，每块内存越小），分配不成功的概率就越大。

我们通过以下几个技术手段解决这个问题：

1、建立小内存池机制，相同大小或者大小接近的内存都放到同一个内存池，这样从内存池的每个内存块之间浪费的内存会非常小或者没有浪费。

2、内存池向系统申请内存时都以页为单位进行申请大块内存（Block），内存池对外分配内存也以优先使用使用率最高的Block，这样会有更高的概率将整个Block归还系统。

二、内存泄漏

内存泄漏产生的原因比较简单明确，就是申请的内存已经不需要再次被使用了，但是并没有归还给内存分配器（管理器）或者系统。正确的使用智能指针可以有效的避免内存泄漏的发生，这是推荐的方式。我们下面介绍另外一种在X86下解决内存泄漏的方式。

我们在每次进行内存分配的时候将调用的堆栈记录下来，并且和分配的内存块进行关联，这样，分配的每一块内存都有一个明确的来源，这样我们可以随时统计哪些地方分配了多少内存（内存快照）。我们可以在需要时生成一个内存快照，通过对比内存快照可以确定这段时间内哪些地方分配或者释放了多少内存。

三、内存越界

内存越界是比较难以定位，并且也是非常危险的一个问题。内存越界通常发生的场景有（不限于以下）：

1、读写超出内存的有效范围，例如数组下标越界，指针加减运算错误

2、已释放的内存，其指针仍然被某些地方非法持有（野指针），并且进行了读或者写

内存越界读产生的危险总体而言要小于越界写。因为数据读错了，很大概率会立刻暴露问题，比较容易定位，但是越界写的话，很有可能会在后续某个完全不相干的位置或者时间里出现问题，这时已经很难再找回之前写坏数据的现场了。下面我们讨论一种定位内存越界写的方案。

内存越界写主要的问题是往往写的时候没有引发异常，如果我们能在越界写的时候让程序抛出异常，那么这个问题基本就定位了。为此，我们可以令内存分配器每次分配都返回一个永远不重复的地址，这个地址指向的内存前面和后面的一页或者几页的地址空间都是没有映射到物理内存的，那么当对这块内存的读写超出边界的时候就会触发暴力读写的异常。同样，当这块内存被释放以后，我们将这块内存所指向的虚拟地址和物理地址的映射解除，那么后续尝试对这个地址进行读写的时候也会触发暴力读写的异常，这样我们就可以快速定位问题所在。