上篇分析了RISC-V Linux启动的页表创建，提到RISC-V Linux入口地址必须2M对齐，今天讲讲如何解决2M对齐的问题，或者说如何优化部分内存。
注意：本文基于linux5.10.111内核
内存占用分析
每颗芯片在出厂时，其bootrom就已经固化在芯片内部，假设bootrom的地址是0x0，即上电后，会从0x0地址处开始运行程序。
在启动RISC-V Linux之前，需要先运行opensbi，因此应该把opensbi放到地址0x0处，这样芯片上电后，就会从0x0地址处执行opensbi。在opensbi运行完后，会跳转到opensbi运行地址偏移2M的位置去执行下一级boot（这里下一级boot是kernel），即跳转到0x200000地址处运行kernel，因此应该把kernel放到内存的0x200000处。
内存分布示意图如下：
对于kernel来说，在启动时会从自己的kernel加载地址处（即0x200000）开始建立页表映射，只有对物理内存建立了页表映射，后面才能访问这些内存。而kernel加载地址前面的2M内存（即0x0 - 0x200000）将被kernel忽略，不会对这2M内存建立页表，即kernel无法访问这2M内存。
在QEMU上RISC-V Linux的启动信息：
但opensbi实际不需要使用2M这么大的范围，默认是512KB，opensbi的pmp会保护这512KB内存，不让其他程序访问。
因此在Kernel和opensbi之间会存在1.5M的内存空隙，并且这部分内存空隙没有程序使用，这就会造成内存浪费，那如何让kernel将前面的一部分内存也利用起来呢？
优化方案
对这2M内存的优化，有两种方案：
方案一：将opensbi放到内存的最后面，kernel入口地址仍然保持2M对齐。
方案二：opensbi仍然放到内存的起始位置，通过修改内核源码，解除2M对齐限制，即可将kernel地址往前挪。
方案一
我们将opensbi放到内存的最后面，kernel入口地址仍然保持2M对齐。
即kernel放到内存的最前面，opensbi放到后面：
例如kernel放到内存的0x0地址处，opensbi放到内存的0x10000000地址处。这样kernel前面就不会有预留内存，只不过这样需要修改bootrom的地址，将地址从0x0修改为0x0x10000000。这种方案只适合芯片还没出厂前，因为用户无法修改bootrom的地址，芯片出厂后，bootrom地址是固定的，假设bootrom地址为0x0，那么芯片上电后，就会从0x0开始运行程序，所以opensbi必须放到0x0地址处，这样必然kernel只能往后偏移2M。
方案二
我们也可以修改RISC-V Linux的内核源码，解除2M对齐的限制。我们只需要在setup_vm()函数中，将原来的二级页表改为三级页表，这样kernel入口地址只需要4K对齐，因此就能将kernel往前挪，从而利用前面的内存。
修改代码
路径：arch/riscv/mm/init.c
注释原来的2M对齐检查：
对kernel的前2M页表映射由二级页表改为三级页表：
//新增一个PTE
pte_t trampoline_pte[PTRS_PER_PTE] __page_aligned_bss;
create_pgd_mapping(trampoline_pg_dir,PAGE_OFFSET,
(uintptr_t)trampoline_pmd,PGDIR_SIZE,PAGE_TABLE);
create_pmd_mapping(trampoline_pmd,PAGE_OFFSET,
(uintptr_t)trampoline_pte,PMD_SIZE,PAGE_TABLE);
end_va = PAGE_OFFSET + PMD_SIZE;
for (va = PAGE_OFFSET; va < end_va; va += PAGE_SIZE)
{
create_pte_mapping(trampoline_pte,PAGE_OFFSET,
load_pa + (va - PAGE_OFFSET),
PAGE_SIZE,PAGE_KERNEL_EXEC);
}
登录后复制
对整个kernel的页表映射由二级页表改为三级页表：
假设kernel大小为4M+
//定义三个PTE
pte_t load_sz_pte[PTRS_PER_PTE] __page_aligned_bss;
pte_t load_sz_pte1[PTRS_PER_PTE] __page_aligned_bss;
pte_t load_sz_pte2[PTRS_PER_PTE] __page_aligned_bss;
//=======0-2M======
create_pgd_mapping(early_pg_dir,PAGE_OFFSET,
(uintptr_t)early_pmd,PGDIR_SIZE,PAGE_TABLE);
create_pmd_mapping(early_pmd,PAGE_OFFSET,
(uintptr_t)load_sz_pte,PMD_SIZE,PAGE_TABLE);
end_va = PAGE_OFFSET + PMD_SIZE;
for (va = PAGE_OFFSET; va < end_va; va += PAGE_SIZE)
{
create_pte_mapping(load_sz_pte,PAGE_OFFSET,
load_pa + (va - PAGE_OFFSET),
PAGE_SIZE,PAGE_KERNEL_EXEC);
}
//=======2-4M==========
create_pgd_mapping(early_pg_dir,PAGE_OFFSET + PMD_SIZE,
(uintptr_t)early_pmd,PGDIR_SIZE,PAGE_TABLE);
create_pmd_mapping(early_pmd,PAGE_OFFSET,
(uintptr_t)load_sz_pte1,PMD_SIZE,PAGE_TABLE);
end_va = PAGE_OFFSET + (PMD_SIZE * 2);
for (va = PAGE_OFFSET + PMD_SIZE; va < end_va; va += PAGE_SIZE)
{
create_pte_mapping(load_sz_pte1,va,
load_pa + (va - PAGE_OFFSET),
PAGE_SIZE,PAGE_KERNEL_EXEC);
}
//=======4-6M==========
create_pgd_mapping(early_pg_dir,PAGE_OFFSET + (PMD_SIZE*2),
(uintptr_t)early_pmd,PGDIR_SIZE,PAGE_TABLE);
create_pmd_mapping(early_pmd,PAGE_OFFSET,
(uintptr_t)load_sz_pte2,PMD_SIZE,PAGE_TABLE);
end_va = PAGE_OFFSET + (PMD_SIZE * 3);
for (va = PAGE_OFFSET + (PMD_SIZE*2); va < end_va; va += PAGE_SIZE)
{
create_pte_mapping(load_sz_pte2,va,
load_pa + (va - PAGE_OFFSET),
PAGE_SIZE,PAGE_KERNEL_EXEC);
}
登录后复制
通过以上的代码修改，就能将Kernel入口地址往前挪1.5M，只给opensbi预留512KB，这样RISC-V Linux启动之后，可用物理内存就会增加。
总结
RISC-V Linux入口地址2M对齐的操作目前还没看到有人解释，不过应该就是为了给opensbi预留2M，于是kernel只建立了二级页表，使得入口地址必须2M对齐。对这部分内存的优化解决方案，目前也还没人给出，希望本文的优化方案能够帮助到有些人，也希望能够给大家一些启发。
