heap pwn 入门大全 - 2：glibc heap机制与源码阅读(下)

news/2024/5/19 21:56:27 标签: linux, glibc, pwn, ctf

本文对glibc堆管理器的各项主要内存操作，以及glibc 2.26后引入的tcache机制进行源码级分析，可作为查找使用。

glibc_memory_operations_1">glibc memory operations

  • 第一次malloc，会初始分配一个0x290的chunk，top chunk split返回给user后，剩余部分继续作为top chunk
  • 通常heap的第一个chunk，prev_inuse都为1，防止非法内存访问

unlink

  • 将双向链表中的一个chunk取出，也就是链表中的删除元素
  • 维护fd, bk链表，若为large bin，则同时维护nextsize链表
  • 可能的泄漏点：不会修改两个链表的指针，可能会造成chunk地址泄漏

    • libc地址（通过main_arena）

      • Chunk 为head chunk，bk泄漏bins地址
      • chunk 为tail chunk，fd泄漏bins地址

    • 泄漏堆地址（中间的chunk都可）

static void
unlink_chunk (mstate av, mchunkptr p)
{
  // check chunk size in 2 positions
  if (chunksize (p) != prev_size (next_chunk (p)))
    malloc_printerr ("corrupted size vs. prev_size");

  mchunkptr fd = p->fd;
  mchunkptr bk = p->bk;

  // check double-linked list
  if (__builtin_expect (fd->bk != p || bk->fd != p, 0))
    malloc_printerr ("corrupted double-linked list");

  // unlink
  fd->bk = bk;
  bk->fd = fd;
  if (!in_smallbin_range (chunksize_nomask (p)) && p->fd_nextsize != NULL)
    {		// 维护nextsize双向链表，仅有large bin使用
      if (p->fd_nextsize->bk_nextsize != p
	  || p->bk_nextsize->fd_nextsize != p)
	malloc_printerr ("corrupted double-linked list (not small)");

      if (fd->fd_nextsize == NULL)	
	{			// 下一个块不在nextsize链表中，即size与p相同
	  if (p->fd_nextsize == p) // nextsize链表仅有一个元素
	    fd->fd_nextsize = fd->bk_nextsize = fd;	// 重新构建，将下一个块作为nextsize链表
	  else
	    {		// nextsize链表不只一个元素，将fd插入nextsize链表（代替当前size）
	      fd->fd_nextsize = p->fd_nextsize;
	      fd->bk_nextsize = p->bk_nextsize;
	      p->fd_nextsize->bk_nextsize = fd;
	      p->bk_nextsize->fd_nextsize = fd;
	    }
	}
      else
	{ // 下一个块也在链表中，直接进行元素删除即可
	  p->fd_nextsize->bk_nextsize = p->bk_nextsize;
	  p->bk_nextsize->fd_nextsize = p->fd_nextsize;
	}
    }
}

malloc

handler entry: __libc_malloc, finally invokes _int_malloc

__libc_malloc

  1. 检查memory hook，若有，则直接执行
    • 初始化时，将memory_hook设为malloc_hook_ini，执行ptmalloc_init
  2. 若配置tcache，使用tache
  3. 若程序为单线程，则直接调用_int_malloc(main_arena, size)进行内存分配，并直接返回
  4. arena_get获取可用arena，inpage ref
  5. 调用_int_malloc进行实际malloc调用

_int_mallloc

  • 调整request size到nb（+SIZE_SZ，只需要一个，因为数据可以存储在下一个chunk的top SIZE_SZ bytes）

    • 如果没有可用的arena，fallback到sysmalloc，使用mmap来分配chunk

  • 如果size满足fast bin，则直接到fast bin进行分配，有结果就直接返回

  • 若在small bin 范围内，则尝试small bin，有结果就直接返回

  • 否则调用large bin，只计算index，不直接搜索结果

  • 在unsorted bin中遍历，从后（bk）往前 (av)

    • 对于每一个unsorted bin中的chunk，检查其next块的属性(size)等是否与其匹配，检查fd和bk双向链表是否损坏
    • 如果请求的是一个small bin，并且当前unsorted bin中只有一个last remainder chunk，就直接使用它。这将有助于提升在频繁malloc 小块时的效率。这是唯一没有使用best fit策略的地方，并且只有在没有合适的small chunk能够匹配当前请求时才会使用。
    • 将chunk移出 unsorted bin，即使没有被直接使用，也会被放回对应的bin中
    • 如果大小匹配，则直接使用该块，不放回
    • 否则将该块放回bin
      • 若为small bin，直接找到位置
      • 若为large bin，则还需要保持其有序，还需要另行处理nextsize双链表

  • 遍历结束，所有unsorted bin被清空，若没有刚好匹配上的chunk，则进行下一步

  • 若request为large bin

    • 若在当前bin 中找到第一个合适大小的chunk，将其移出队列（若有多个符合，取第二个，否则会破坏nextsize链表）
    • 剩余部分不足MIN_SIZE，则使用整块
    • 否则进行split，剩余部分组成一个remainder，加入unsorted bin头部，并设置chunk 内容
    • 否则基于bitmap寻找下一个非空bin
      • 注意bitmap延迟响应，偏否的蒙特卡洛，只有为0时才一定为空
      • 所以检验得到false alarm后，需要更新bit

  • 否则最后一步，使用 top chunk use_top

    • 若top chunk不足，则会进行fast bin碎片整理consolidate
    • 若没有fast bin，则调用sysmalloc进行堆扩容
    • 以上两种例外情况结束后，都将返回上面重新检查bin等

  • 通用

    • 当一个chunk被选中使用，会执行以下操作
      • 对应位置位（inuse，main_arena）
      • 操作tcache，优先fill tcache，若已满则返回给用户
      • check_malloced_chunk 为debug预留接口，默认不开启
      • chunk2mem将chunk地址转换为user data首地址（加上header偏移0x20）

ptmalloc_init

  • 第一次运行malloc时，作为memory hook内容（malloc_hook_ini）被调用，所有线程和起来只用一次
  • 所有线程的main_arena相同，都指向主线程的那个
  • 初始化main_arena：malloc_init_state，主要初始化bins链表头，设置top为unsorted bin（假top）

arena_get

获取一个可用arena，并上锁。如果没有找到可用的arena，则新建一个arena_get2

/* arena_get() acquires an arena and locks the corresponding mutex.
   First, try the one last locked successfully by this thread.  (This
   is the common case and handled with a macro for speed.)  Then, loop
   once over the circularly linked list of arenas.  If no arena is
   readily available, create a new one.  In this latter case, `size'
   is just a hint as to how much memory will be required immediately
   in the new arena. */

#define arena_get(ptr, size) do { \
      ptr = thread_arena;						      \
      arena_lock (ptr, size);						      \
  } while (0)

#define arena_lock(ptr, size) do {					      \
      if (ptr)								      \
        __libc_lock_lock (ptr->mutex);					      \
      else								      \
        ptr = arena_get2 ((size), NULL);				      \
  } while (0)

Arena_get2:

  • 若当前存在空闲arena in free_list，则直接返回
  • 若当前无空闲，并且当前arena数量没有超过限制，则新建一个arena - _int_new_arena
  • 否则复用一个现有的arena

_int_new_arena

  • new_heap 调用mmap来分配arena空间，top_pad由multi thread配置，默认0x20000，用于指定top chunk的padding
    • 前部size包含heap info以及arena 结构体(mstate)，经过align up后对其到页（后面需要进行mmap操作），共0x21000
    • mmap内存区间，映射size 为HEAP_MAX_SIZE，为DEFAULT_MMAP_THRESHOLD_MAX*2 = 64MB，初始不赋予权限
      • 需要对齐到HEAP_MAX_SIZE，所以一开始mmap 2倍空间，并使用中间经过对齐的一段（类似align up），如果一开始mmap的2倍空间已经对齐，在下次申请新arena时，会使用原来剩余的部分，减少heap对内存空间的碎片化
    • 对申请部分（包括align_top）进行mprotect，赋予读写权限
    • 初始化heap_info其他信息
  • 将arena放置在heap_info之后，并设置参数
  • 将top chunk 放置在arena之后，并设置参数
OffsetNameTypeSize
0x0Heap infoHeap_info0x20
0x20arenaMalloc_state0x898
0x8c0 (aligned)Top chunkmalloc_chunk

sysmalloc

  1. 若request size过大（>= mp_.mmap_threshold (0x20000)），并且当前mmap块数量少于上限，则直接使用mmap为request分配，而不是扩展top
    • mmap分配的空间对齐到page size
    • 由于不能使用下一个chunk的prev_size位置，所以当前chunk存在size_sz的overhead
    • 同样将mmap内容作为chunk，需要初始化prev，以及size
  2. 正常拓展top
    • 首先记录初始top信息，并检查top情况
    • 若为main_arena
      • 为top留出足够空间（top_pad）
      • 调用MORECORE来获取更多内存，系统中使用_sbrk
        • （若存在）调用hook
        • 若brk失败，则尝试mmap
          • 使用mmap后，sbrk region为非连续段
      • 若sbrk为拓展已有的top，简单拓展top即可
      • 否则对堆做出调整
        • 若为contiguous，且已有旧堆（比较奇怪），则需要增加旧堆的大小（增加到old_sz + size，即拓展新需求的空间），且记录新的brk位置到snd_brk
        • 若非contiguous，需要建立fencepost
        • 建立新的top chunk，并将原top chunk free掉
    • 若非 main_arena
      • 尝试使用mmap来拓展已有堆grow_heap，heap最大不超过HEAP_MAX_SIZE
      • 若失败，建立新堆 new_heap
      • 将旧有的top chunk free掉，设置fence post
      • 将heap的arena等属性设置好，将新开辟的空间初始化为top chunk
  3. 完成拓展，将top chunk split，并返回给user

其他封装函数

  • calloc返回n个元素和指定大小的内存，全部初始化为0

free

entry: __libc_free

libc_free

  1. 检查hook （通常没有）
  2. 将pointer转换为chunk ptr
  3. 若为mmap chunk (检查mmaped bit - chunk_is_mmaped)
    1. 调整mmap threshold，后续大小更小的（不超过最大阈值）的request不会触发mmap
    2. __munmap解除块映射
  4. 调用_int_free

_int_free

  1. 检查chunk各项参数
  2. 处理tcache
  3. 检查fast bin
    • 将chunk 插入bin头部，若非单线程，则需要使用原子操作
  4. 检查非mmapped chunk
    1. 尝试合并前面的chunk(如果!prev_inuse)
      • 若可以合并，则unlink前面的chunk
    2. 尝试合并后面的chunk
      • 若后面为top chunk，则直接修改当前chunk参数，将其合并，直接结束
        • 否则，若后面chunk正在使用，则将其prev_inuse清空，否则同样unlink
    3. 将可能合并后的chunk重新设置头，并将其插入unsorted bin头部（仅需要维护fd/bk链表即可，若为large chunk，还需要清空next_size位置）
  5. 如果目前free的size（合并后）大于FASTBIN_CONSOLIDATION_THRESHOLD，则进行consolidate
    • 首先调用malloc_consolidate进行整理
    • 若为main arena，则使用systrim缩小arena体积，缩小量为top pad
    • 否则使用heap_trim缩小mmap堆

malloc_consolidate

  • 对所有fast bin中的bin进行遍历
    • 对每一个bin中的chunk进行遍历
      • 合并前后chunk，与_int_free中第4步（检查非mmapped chunk）完全相同

systrim

  • 只在当前top chunk末尾与current_brk相同时使用，避免外部sbrk对外部数据的影响
  • 调用MORECORE(-extra)将多余部分裁剪
  • update top chunk and heap

heap_trim

  • 如果当前heap仅剩top chunk，说明整个heap都可以被删除
    • 清除上一个heap的fencepost，检查后将上一个heap的大小拓宽fencepost大小
    • 删除当前heap
    • consolidate previous chunk
    • 更新 top
  • 尝试收缩当前heap
    • shrink_heap将多余部分重新映射为不可访问区域，用于节约内存

Other Operations

realloc

重新分配该内存块，提供两个参数oldmem和size，分别制定原内存块指针地址和需要修改的大小

  1. 若oldmem为空，直接转malloc，若size为0并且oldmem不为空，直接转free
  2. 进行相关安全检查，如wrap around，size等
  3. 若为mmaped chunk
    • 尝试mremap (linux syscall)，成功即返回mremap_chunk
    • 否则malloc，并进行memcpy，复制内存内容
  4. 否则
    • 若为单线程，则直接调用_int_realloc
    • 若为多线程，则尝试在该arena上进行_int_realloc，失败则在其他arena上尝试malloc

_int_realloc

  • check size
  • if new_size < old_size， 直接选择该块待用
  • 若下一个chunk是top chunk，则缩减top chunk 直接使用，直接return
  • 若下一个chunk 空闲且空间足够，直接使用下一个chunk，先unlink
  • 否则，allocate, copy, free
  • 若当前选择的chunk（该块，或与下一个合并块）较大，则需要split

tcache

tcache是glibc 2.26后引入技术，用于提升堆小块管理性能，但是缺乏检查，存在较多漏洞

structure

tcache引入两个新结构体tcache_entry, tcache_perthread_struct

/* We overlay this structure on the user-data portion of a chunk when
   the chunk is stored in the per-thread cache.  */
typedef struct tcache_entry
{
  struct tcache_entry *next;
  /* This field exists to detect double frees.  */
  struct tcache_perthread_struct *key;
} tcache_entry;

/* There is one of these for each thread, which contains the
   per-thread cache (hence "tcache_perthread_struct").  Keeping
   overall size low is mildly important.  Note that COUNTS and ENTRIES
   are redundant (we could have just counted the linked list each
   time), this is for performance reasons.  */
typedef struct tcache_perthread_struct
{
  uint16_t counts[TCACHE_MAX_BINS];		// count for entries
  tcache_entry *entries[TCACHE_MAX_BINS];
} tcache_perthread_struct;
  • tcache_entry用于指向下一个chunk的user data部分
  • 将tcache_entry放在chunk的user data部分，并且会复用该部分（tcache_entry结构体）

工作原理

  • 第一次 malloc 时，会先 malloc 一块内存用来存放 tcache_perthread_struct - MAYBE_INIT_TCACHE
  • free 内存，且 size 小于 small bin maxsize 时
    • tcache 之前会放到 fastbin 或者 unsorted bin 中
    • 在tcache出现后：
      • 先放到对应的 tcache 中，直到 tcache 被填满（mp_.tcache_count， 默认是 7 个）
      • tcache 被填满之后，再次 free 的内存和之前一样被放到 fastbin 或者 unsorted bin 中
      • tcache 中的 chunk 不会合并（不取消 inuse bit，fastbin也不会）
  • malloc 内存，且 size 在 tcache 范围内
  • 先从 tcache 取 chunk，直到 tcache 为空
  • tcache 为空后，从 bin 中找
  • tcache 为空时，如果 fastbin/smallbin/unsorted bin 中有 size 符合的 chunk，会先把 fastbin/smallbin/unsorted bin 中的 chunk 放到 tcache 中，直到填满。之后再从 tcache 中取；因此 chunk 在 bin 中和 tcache 中的顺序会反过来

Source Code

MAYBE_INIT_TCACHE

tcache_init()初始化tcache

  1. 获取一个可用arena，并malloc tcache_perthread_struct
  2. 设置tcache变量，并memset清空区域

free

in _int_free

  1. 在user data部分建立一个entry
  2. 检查tcache double free
  3. tcache_put 将chunk 放入tcache

tcache_put

  • 将chunk插入tcache单链表
  • 设置entry的key为tcache，以便检查double free

malloc

  • 若对应位置(tcidx)count不为0，则可以使用tcache （可在bins命令中查看）
  • 使用FIFO机制，同样从头部取一个块返还给user
  • 由于entry直接为user data头部指针，所以直接返还给用户空间

http://www.niftyadmin.cn/n/4936052.html

相关文章

macOS使用ffmpeg与QT进行音视频推拉流

macOS使用ffmpeg与QT进行音视频推拉流

1.先启动流服务器 ./mediamtx 2.开始推流: ffmpeg -re -stream_loop -1 -i /Users/hackerx/Desktop/test.mp4 -c copy -rtsp_transport tcp -f rtsp rtsp://127.0.0.1:8554/stream 3. 安装ffmpeg 4.4 brew install ffmpeg4 4.添加ffmpeg头文件目录与库目录 5.链接ffmpeg相关库…
阅读更多...
实践教程｜基于 pytorch 实现模型剪枝

实践教程｜基于 pytorch 实现模型剪枝

PyTorch剪枝方法详解&#xff0c;附详细代码。 一&#xff0c;剪枝分类 1.1&#xff0c;非结构化剪枝 1.2&#xff0c;结构化剪枝 1.3&#xff0c;本地与全局修剪 二&#xff0c;PyTorch 的剪枝 2.1&#xff0c;pytorch 剪枝工作原理 2.2&#xff0c;局部剪枝 2.3&#…
阅读更多...
Spring Boot/Cloud 端口设置、端口随机、端口自增如何实现？

Spring Boot/Cloud 端口设置、端口随机、端口自增如何实现？

Spring Boot/Cloud 端口设置、端口随机、端口自增如何实现&#xff1f; Spring Boot 、Spring Cloud支持固定端口和随机端口2种方式&#xff0c;但是这两种方式都不利于管理固定端口容易冲突&#xff0c;特别是在Spring Cloud下&#xff0c;用起来很麻烦随机端口看似解决了端口…
阅读更多...
【CI/CD】基于 Jenkins+Docker+Git 的简单 CI 流程实践（上）

【CI/CD】基于 Jenkins+Docker+Git 的简单 CI 流程实践（上）

基于 JenkinsDockerGit 的简单 CI 流程实践&#xff08;上&#xff09; 在如今的互联网时代&#xff0c;随着软件开发复杂度的不断提高&#xff0c;软件开发和发布管理也越来越重要。目前已经形成一套标准的流程&#xff0c;最重要的组成部分就是 持续集成 及 持续交付、部署。…
阅读更多...
ROS2 学习（一）介绍，环境搭建，以及个人安装的一些建议

ROS2 学习（一）介绍，环境搭建，以及个人安装的一些建议

ROS2 学习 学习自b站课程&#xff1a;https://www.bilibili.com/video/BV16B4y1Q7jQ?p1 &#xff08;up主&#xff1a;古月居GYH&#xff09; ROS 介绍 Robot OS&#xff0c;为机器人开发提供了相对完善的 middleware&#xff0c;工具&#xff0c;软件等。 ROS1 对嵌入式设…
阅读更多...
pytorch从python转 c++涉及到的数据保存加载问题；libtorch

pytorch从python转 c++涉及到的数据保存加载问题；libtorch

pytorch 从python 转 c涉及到的数据保存加载问题 1. torch.nn.Module 保存 state_dict 无法被 c访问&#xff0c;只能转化为 python字典 python代码 model ThreeLayer_FCNN_Net() model.load_state_dict(ret_load) w {k: v for k, v in model.state_dict().items()} torch…
阅读更多...
Conda（Python管理工具）

Conda（Python管理工具）

1.简介 Conda是一个开源的包管理器和环境管理器&#xff0c;主要用于管理Python&#xff0c;但也可以用于其他语言。它主要用于安装、管理和更新软件包及其依赖项&#xff0c;以及创建、保存、加载和切换不同的开发环境。Conda可以在Windows、MacOS和Linux系统上使用&#xff…
阅读更多...
第57步 深度学习图像识别：CNN可视化（Pytorch）

第57步 深度学习图像识别：CNN可视化（Pytorch）

基于WIN10的64位系统演示 一、写在前面 由于不少模型使用的是Pytorch&#xff0c;因此这一期补上基于Pytorch实现CNN可视化的教程和代码&#xff0c;以SqueezeNet模型为例。 二、CNN可视化实战 继续使用胸片的数据集&#xff1a;肺结核病人和健康人的胸片的识别。其中&…
阅读更多...
最新文章

Copyright @ 2022~2023