|
空闲页框 |
APP |
内存区域 vm_area_structs |
malloc、fork、excute、mmap |
brk/do_map |
get_free_page(s) |
用户空间 |
内核空间 |
进程虚拟地址空间 |
系统调用 |
进程页表 |
请页异常 |
内核程序 |
物理内存影射区 |
Vmalloc分配区 |
slab |
get_free_page(s) |
内核页表 |
get_free_page(s) |
请页异常 |
进程地址空间 物理内存映射区 0 内核虚拟空间 Vmalloc_start Vmalloc_end
上图是内存分布的模糊轮廓
由get_free_page或Kmalloc函数所分配的连续内存都陷于物理映射区域,所以它们返回的内核虚拟地址和实际物理地址仅仅是相差一个偏移量(PAGE_OFFSET),你可以很方便的将其转化为物理内存地址,同时内核也提供了virt_to_phys()函数将内核虚拟空间中的物理影射区地址转化为物理地址。要知道,物理内存映射区中的地址与内核页表是有序对应,系统中的每个物理页框都可以找到它对应的内核虚拟地址(在物理内存映射区中的)。
而vmalloc分配的地址则限于vmalloc_start与vmalloc_end之间。每一块vmalloc分配的内核虚拟内存都对应一个vm_struct结构体(可别和vm_area_struct搞混,那可是进程虚拟内存区域的结构),不同的内核虚拟地址被4k打大小空闲区的间隔,以防止越界——见下图)。与进程虚拟地址的特性一样,这些虚拟地址可与物理内存没有简单的位移关系,必须通过内核页表才可转换为物理地址或物理页。它们有可能尚未被映射,在发生缺页时才真正分配物理页框。
这里给出一个小程序帮助大家认请上面几种分配函数所对应的区域。
#include<linux/module.h>
#include<linux/slab.h>
#include<linux/vmalloc.h>
unsigned char *pagemem;
unsigned char *kmallocmem;
unsigned char *vmallocmem;
int init_module(void)
{
pagemem = get_free_page(0);
printk("<1>pagemem=%s",pagemem);
kmallocmem = kmalloc(100,0);
printk("<1>kmallocmem=%s",kmallocmem);
vmallocmem = vmalloc(1000000);
printk("<1>vmallocmem=%s",vmallocmem);
}
void cleanup_module(void)
{
free_page(pagemem);
kfree(kmallocmem);
vfree(vmallocmem);
}
我们希望能通过访问用户空间的内存达到读取内核数据的目的,这样便可进行内核空间到用户空间的大规模信息传输。
具体的讲,我们要利用内存映射功能,将系统内核中的一部分虚拟内存映射到用户空间,从而使得用户空间地址等同与被映射的内核内存地址。
因此我们将试图写一个虚拟字符设备驱动程序,通过它将系统内核空间映射到用户空间——将内核虚拟内存映射到用户虚拟地址。当然映射地址时少不了定位内核空间对应的物理地址,并且还要建立新的用户页表项,以便用户进程寻址时能找到对应的物理内存。
从中应该看出,需要我完成既定目标,我们需要获得:被映射内核空间物理地址 和 建立对应的用户进程页表。
在内核空间中主要存在kmalloc分配的物理连续空间和vmalloc分配的非物理连续空间。kmalloc分配的空间往往被称为内核逻辑地址,由于它是连续分配(直接处理物理页框),而且分配首地址一定,所以其分配的内核虚拟地址对应的实际物理地址很容易获得:内核虚拟地址—PAGE_OFFSET(0xC0000000)(内核有对应例程virt_to_phys)即等于物理地址,而且其对应的页表属于内核页表(swapper_pg_dir)——在系统初始化时就以建立,因此省去了建立页表的工作。
而vmalloc分配的空间被称为内核虚拟地址,它的问题相对要复杂些,这是因为其分配的内核虚拟内存空间并非直接操作页框,而是分配的是vm_struct结构。该结构逻辑上连续但对应的物理内存并非连续,也就是说它vamlloc分配的内核空间地址所对应的物理地址并非可通过简单线性运算获得。从这个意义上讲,它的物理地址在分配前是不确定的,因此虽然vmalloc分配的空间与kmalloc一样都是由内核页表来映射的,但vmalloc分配内核虚拟地址时必须更新内核页表。
注释:vmalloc分配的内核虚拟内存与kmalloc/get_free_page分配的内核逻辑内存位于不同的区间,不会重叠。因为内核空间被分区管理,各司其职。进程空间地址分布从0到
另一个需要澄清的是,vmalloc分配的内核空间,其结构是vm_area,可千万别与用户空间malloc分配的vm_area_struct结构混淆。前者由内核页表映射,而后者则由用户页表映射。
进程地址空间 物理内存映射区kmalloc分配 Vmalloc 分配区 0 内核虚拟空间 Vmalloc_start Vmalloc_end
上图是内存分布的模糊轮廓
为了近可能丰富我们的例子程序的场景,我们选择映射vmalloc分配的内核虚拟空间(下面我们简称为vk地址)到用户空间。
要知道用户进程操作的是虚拟内存区域vm_area_struct,我们此刻需要将用户vma区间利用用户页表映射到vk对应的物理内存上去(如下图所示)。这里主要工作便是建立用户也表项完成映射工作,而这个工作完全落在了vma->nopage[3]操作上,该方法会帮助我们在发生“缺页”时,动态构造映射所需物理内存的页表项。
用户虚拟空间Vm_area_struct |
Vk空间vm_struct |
物理内存 |
Vma->nopage |
我们需要实现nopage方法,动态建立对应页表,而在该方法中核心任务是寻找到vk地址对应的内核逻辑地址[4]。这必然需要我们做以下工作:
a) 找到vmalloc虚拟内存对应的内核页表,并寻找到对应的内核页表项。
b) 获取内核页表项对应的物理页框指针。
c) 通过页框得到对应的内核逻辑地址。
我们实例将利用一个虚拟字符驱动程序,驱动负责将一定长的内核虚拟地址(vmalloc分配的)映射到设备文件上,以便可以通过访问文件内容来达到访问内存的目的。这样做的最大好处是提高了内存访问速度,并且可以利用文件系统的接口编程(设备在Linux中作为特殊文件处理)访问内存,降低了开发难度。
Map_driver.c就是我们的虚拟字符驱动程序,不用说它要实现文件操作表(file_operations——字符驱动程序主要做的工作便是实现该结构)中的,为了要完成内存映射,除了常规的open/release操作外,必须自己实现mmap操作,该函数将给定的文件映射到指定的地址空间上,也就是说它将负责把vmalloc分配的内核地址映射到我们的设备文件上。
我们下面就谈谈mmap操作的实现细节:
文件操作的mmap操作是在用户进行系统调用mmap[5]时被执行的,而且在调用前内核已经给用户找到并分配了合适的虚拟内存区域vm_area_struct,这个区域将代表文件内容,所以剩下要做的便是如何把虚拟区域和物理内存挂接到一起了,即构造页表。由于我门前面所说的原因,我们系统中页表需要动态分配,因此不可使用remap_page_range函数一次分配完成,而必须使用虚拟内存区域自带的nopage方法,在现场构造页表。这样以来,文件操作的mmap的方法只要完成“为它得到的虚拟内存区域绑定对应的操作表vm_operations”即可。于是主要的构造工作就落在了vm_operations中的nopage方法上了。
Nopage方法中核心内容上面已经提到了是“寻找到vk地址对应的内核逻辑地址”,这个解析内核页表的工作是需要自己编写辅助函数vaddr_to_kaddr来完成的,它所作的工作概括来讲就是上文提到的a\b\c三条。
有关整个任务执行路径请看下图。
编译map_driver.c为map_driver.o模块,具体参数见Makefile
加载模块 :insmod map_driver.o
生成对应的设备文件
1 在/proc/devices下找到map_driver对应的设备命和设备号:grep mapdrv /proc/devices
2 建立设备文件mknod mapfile c 254 0 (在我系统里设备号为254)
利用maptest读取mapfile文件,将取自内核的信息(”ok”——我们在内核中在vmalloc分配的空间中填放的信息)打印到用户屏幕。
全部程序下载 mmap.tar (感谢Martin Frey,该程序主体出自他的灵感)
[1] 还有些情况必须要求内存连续,比如DMA传输中使用的内存,由于不涉及页机制所以必须连续分配。
[2] 这种存储池的思想在计算机科学里广泛应用,比如数据库连接池、内存访问池等等。
[3] 构建用户也表项,除了使用nopage一次一页的动态构造,还又一种方法remap_page_range可以一次构造一段内存范围的也表项,但显然这个方法时针对物理内存连续被分配时使用的,而我们vk对应的物理内存并非连续,所以这里使用nopage。
[4] 很多人一定会问,为什么不直接找到物理地址那,而要找内核逻辑地址呢? 没错,我们本意应该是获得物理地址,但是为了利用内核提供的一些现成的例程,如virt_to_page等(它们都是针对内核逻辑地址而言的),我们不妨转化成内核逻辑地址来做,别忘了内核逻辑地址与理地址仅仅相差一个偏移量。
[5] 系统调用mmap原形是void *mmap2(void *start, size_t length, int prot, int flags, int fd, off_t pgoff)。
|