道生一-ChinaUnix博客-專業(yè)IT技術(shù)博客.

1、狗拿耗子道生一狗拿耗子第十一篇 道生一，一生二，二生三，三生萬物，linux的啟動過程還真有點這個味道。從kernel的入口 stext到process 1切換到用戶模式執(zhí)行，其中坎坎坷坷的漫長道路鮮為人知。如果這條路有一千里，我們先來看看前面五十里到底是什么樣子的。u-boot給kernel傳遞了一些參數(shù)后，跳轉(zhuǎn)到kernel所在的起始地址開始運行。一般來說kernel會被壓縮成zlmage格式的 壓縮包，這個壓縮包會自解壓。然后跳轉(zhuǎn)到符號stext處執(zhí)行，經(jīng)過一段晦澀的匯編代碼后，到達第一個 C函數(shù)start_kernel（。本文介紹的正 是start_kernel（之前發(fā) 生的事情。硬件

2、環(huán)境仍然是那塊smdk_2410的板子，不過所有代碼均在skyeye- 1.2.8 上運行。u-boot 版本為 1.3.4， linux 版本為 2.6.31, busybox 版本為 1.15.2, 編譯工具為eldk-2008.11.24。本文主要參考網(wǎng)友 byte_x所寫arm linux從入口到 start_kerne，正所謂聞道有先后，術(shù)業(yè)有專攻”，另千江水有千江月”，本文 的視角主要從分析功能出發(fā)。仍然要感謝網(wǎng)友bytex所做的工作，以及其他朋友們的分享。1、u-boot 的工作 rootfs 用的是 ramfs，依據(jù)building embedded linux system用

3、 busybox生成initramfs。 用 u-boot力卩載initramfs 壓縮包到內(nèi)存， 并告 訴kernel rootfs的位置。ramfs與ramdisk是兩種不同的fs，前者出道時間晚，比 后者先進。在u-boot的環(huán)境變量中的initrd的全稱是in it ramdisk，在下面用 ini trd=uI ni tramfs來告訴kernel rootfs的位置，是老瓶裝新酒的行為。1.1 mkimage$UBOOT_PATH/tools/mkimage -n li nux-2.6.31 -A arm -O linux -T kernel -C none -a 0x300080

4、00 -e 0x30008040 -d $KERNEL_PATH/arch/arm/boot/zlmage $TFTP_PATH/uImage $UBOOT_PATH/tools/mkimage -n ini tramfs -A arm -O linux -T ramdisk -C gzip -a 0x30800000 -e 0x30800040 -d $BASE_PATH/i nitramfs.cpio.gz $TFTP_PATH/uInitramfs zImage 是自解壓 kernel 壓縮包，u-boot 在它前面增加 0x40 字節(jié)生成uImage,用來記錄自己需要暫時保存的信息。同

5、樣 u-boot在initramfs前 面增加了 0x40 字節(jié)。1.2 boot kernel setenv bootargs console=ttySAC0,115200 mem=64M ini trd=0x30800040 1狗拿耗子 tftp 0x30008000 uImage tftp 0x30800000 uInitramfs bootm 0x30008000 0x30800000內(nèi)存布局為：z zImage被加載到0x30008040； z initramfs壓縮包被加 載到0x30800040； z parameter list （即卩u-boot的環(huán)境變量，格式可參考boot

6、ingarm linux)被寫到0x30000100。運行上下文為：z cpu工作于svc模式，irq與fiq被禁止；z mmu與數(shù)據(jù)cache被關(guān)閉；z指令cache可以打開；(可參考 z z z r0 為 0； r1 為 mach ine type； r2 為 parameter list 的地址。 parameter list: z con sole 用 ttySAC0; z ram 大小為 64M ； z initramfs 壓縮包位于 0x30800040 處。2、zImage 自解壓zImage由位置無關(guān)的自解壓代碼，以及壓縮后的kernel鏈接而成。自解壓代碼解壓kernel壓縮

7、包至0x30008000處，最后跳轉(zhuǎn)到該位置運行。顯然該地址對 于不同的 ARM芯片 是不相同的， 在arch/arm/mach-s3c2410/Makefile.boot可知 smdk_2410的起始物理地址為0x30008000。zImage的生成與自解壓過程挺復(fù)雜 的，因為與kernel關(guān)系不大，這里就只介 紹這么多。3、kernel入口參考鏈接腳本 arch/arm/kernel/vmlinux.lds.S 可知,input secton *.text.head被放 入位于 kernel 最前面 的output section .text.heac中。zImage自解壓代碼最后跳轉(zhuǎn)到

8、0x30008000處執(zhí)行， 即跳轉(zhuǎn)到第一個in put section *.text.head起始處執(zhí)行。 另外kernel的程序入口為 stexto . OUTPUT_ARCH(arm ENTRY(stext . SECTIONS 2狗拿耗子 #ifdef CONFIG_XIP_KERNEL .=XIP_VIRT_ADDR(CONFIG_XIP_PHYS_ADDR; #else . = PAGE_OFFSET + TEXT_OFFSET; #en dif .text.head : _stext = .; _si ni ttext = .; *(.text.head .而第一個 in put

9、 section *text.head 位于 arch/arm/ker nel/head.S 可見 kernel 的 程序入口 stext 正 好是該 section 的起始地址。. .section .text.head, ax .type ENTRY(stext msr cpsr_c, #PSR_F_BIT | PSR_I_BIT | SVC_MODE en sure svc mode and irqs disabled mrc p15, 0, r9, c0, c0 bl _lookup_processor_type movs r10, r5 beq _error_p bl _lookup

10、_mach in e_type movs r8, r5 beq _error_a bl bl . _vet_atags_create_page_tables get processor id r5=proc info r9=cpuid in valid processor (r5=0? yes, error p r5=mach info in valid machi ne (r5=0? yes, error a stext, %function 4、struct proc_info_list 該結(jié)構(gòu)體定義于 arch/arm/include/asm/Procinf.h,雖然被起名為 list

11、卻不是 list，稱之為 proc_info 更 為合理。struct proc_i nfo_list un sig ned int un sig ned int un sig ned long un sig ned long un sig ned long cpu_val; cpu_mask; _cpu_mm_mmu_flags; _cpuo_m mu_flags;_cpu_flush; /* used by head.S */ /* used by head.S */ /* used by head.S */ 3狗拿耗子 const char const char unsigned int

12、 const char struct processor *arch_name;*elf_ name; elf_hwcap; *cpu_ name; *proc; *user; *cache; struct cpu_tlb_f ns *tlb; struct cpu_user_fns struct cpu_cache_fns ; 4.1 proc_info arrafi然不同的 cpu 有著不同的 proc_info實例，這些實例分別被定義在不同的section *..init中。鏈接腳本vmlinux.lds.S 將它們組成了一個 proc_info array，并用符號_

13、proc_info_begin、 _proc_info_end 分別指向 array 的起始、結(jié)束地址。 OUTPUT_ARCH（arm ENTRY（stext . SECTIONS . .i nit : . _proc_i nfo_begin = .; *（.proc.i nfo.i nit _proc_i nfo_end = .; . /* In it code and data */ 4.2 arm920t 的 proc_i nfo arm920t 的 proc_info實例化于arch/arm/mm/proc-arm920.S,在本文中我們需要關(guān)心 它的四個 域（field: z cp

14、u_val 與 cpu_mask, 是該實例的標識； z _cpu_mm_mmu_flags 用于 初始化臨時內(nèi)核頁表；z _cpu_flush,指向_arm920_setup（該函數(shù)用于復(fù)位 cache與 TLB。 .section ..init, #alloc, #execinstr .type .long .long _arm920_proc_i nfo,#object 0x41009200 0xff00fff0 _arm920_proc_i nfo: 4狗拿耗子ong PMD_TYPE_SECT | PMD_SECT_BUFFERABLE | PMD_SECT_CAC

15、HEABLE | PMD_BIT4 | PMD_SECT_AP_WRITE | PMD_SECT_AP_READong PMD_TYPE_SECT | PMD_BIT4 | PMD_SECT_AP_WRITE | PMD_SECT_AP_READ b _arm920_setup cpu_arch_name cpu_elf_name HWCAP_SWP | HWCAP_HALF | HWCAP_THUMB cpu_arm920_ name arm920_processor_f un cti ons v4wbi_tlb_fns v4wb_user_f ns arm920_cache_f ns v4

16、wt_cache_f ns _arm920_proc_i nfo,.- _arm920_proc_i nfoongongongongongongongong #elseong #endif .size #ifndef CONFIG_CPU_DCACHE_WRITETHROUGH 5、struct machine_desc該結(jié)構(gòu)體定義于 arch/arm/include/asm/mach/Arch.h。它與 struct proc_info_list 非常類似，不同的 machine （processor對應(yīng)于 920t， machine 對應(yīng)于 s3c241C）有著不同 的實例，這些實例組成了

17、一個 array，鏈接腳本vmlinux.lds.S用符號_arch_info_begir、_arch_info_end分別指向該 array的起始、結(jié)束地址。 smdk2410 相應(yīng)的實例定義在 arch/arm/mach-s3c2410/Mach-smdk2410.c中。在本文 中，我們只需要關(guān)心arch number即可，它是相應(yīng)實例的標識。structmachine_desc /* * Note! The first four elements are used * by assembler code in head.S, head-com mon.S */ un sig ned in

18、t un sig ned in tun sig ned int nr; /* architecture nu mber */ phys_io; /* start of physical io */ io_pg_offst; /* byte offset for io * page tabe entry */ 5狗拿耗子 const char unsigned long unsigned int unsigned int unsigned int unsigned int un sig ned int un sig ned int void *n ame; /* architecture n a

19、me */ */ */ */ */ */ */ */ boot_params; /* tagged list video_start; /* start of video RAM video_e nd; /* end of video RAM /* never has lp0 /* never has lp1 /* never has lp2 /* soft reboot reserve_lp0 :1; reserve_lp1 :1; reserve_lp2 :1; soft_reboot :1; (*fixup(struct mach in e_desc *, struct tag *, c

20、har *, struct meminfo *; void void void ; (*map_io(void;/* IO mapping function (*i ni t_irq(void; *timer; /* system tick timer */ */ struct sys_timer (*in it_machi ne(void; MACHINE_START(SMDK2410, SMDK2410 /* TODO: request a new ide ntifier and switch * to SMDK2410 */ /* Mai ntai ner: Jo nas Dietsch

21、e */ .phys_io = S3C2410_PA_UART, .io_pg_offst = (u32S3C24XX_VA_UART 18 & 0xfffc, .boot_params = S3C2410_SDRAM_PA + 0x100, .map_io = smdk2410_map_io, .i nit_irq = s3c24xx_i ni t_irq, .i ni t_machi ne = smdk2410_i nit, .timer MACHINE_END = &s3c24xx_timer, 6、臨時內(nèi)核頁表 6.1 section臨時內(nèi)核頁表只用 一級分頁，頁大小為1M， s3c2

22、410稱之為section。一級頁表需要4096個表項， 每個表項需要4個字節(jié)，整個一級頁表共占用16k字節(jié)。每個表項最后兩個bit為 0b10,表示使用一級分頁。6.2幾個重要的宏定義z z z PAGE_OFFSET,內(nèi)核起始 線性地址0xc0000000; PHYS_OFFSET,內(nèi)核起始物理地址0x30000000; TEXT_OFFSET，內(nèi)核入口偏移 0x8000; 6狗拿耗子z z KERNEL_RAM_VADDR，內(nèi)核入口線性地址 0xc0008000; KERNEL_RAM_PADDR，內(nèi)核入口物理地址 0x30008000。6.3內(nèi)核頁表的位置 內(nèi) 核頁表位于線性地址 0x

23、c0004000 物理地址0x30004000處。變量swapper_pg_dir記錄著它的線性地址，head.S給出了 swapper_pg_dir的定義。這是一個重要的變量，但在 本文中不會弓丨用它。.globl swapper_pg_dir .equ swapper_pg_dir,KERNEL_RAM_VADDR - 0x4000 6.4 更新內(nèi)核頁表表項 設(shè)符號pg_tbl指向內(nèi)核頁 表起始物理地址（即0x30004000）,待映射物理地址為p_addr,線性地址為 v_addr,則有：z z z section起始物理地址 sect_p_addr = p_addr & 0xfff00

24、000；待 更新表項索引entry_index = （v_addr & 0xfff00000 20 ；待更新表項起始物理地址 為 en try_p_addr = pg_tbl + entry_in dex * 4 表項內(nèi)容 en try_c ontent = sect_p_addr | PROCINFO_MM_MMUFLAGS，其中后者為 struct proc_info_list 的域 _cpu_mm_mmu_flags的值。將長度為四個字節(jié)的en try_co nte nt寫入到 entry_p_addr即可完成內(nèi)核頁表表項的更新。7、cache 7.1三種類型的cache假設(shè) cache

25、共有32 line,每個line包含16 byte ram中的數(shù)據(jù)以line為單位映射 至U cache中，下文中用ram n表示ram中（16*n到（16*n+15 bytes，稱之為ram塊，假 設(shè) 共包含 1024 個 ram 塊。z Direct Map ped Cache: ram （32*m+n 映射到 linen，其 中 m、n 取 0、1、2。即 ram 0、32、64 映射到 line 0，ram 1、33、65 映射到 line 1，以此類推。ram N只能映射 到某個line中，并與其它（1024/32-1個ram塊競 爭 line （N%32。Fully Associa

26、tive Cache: ram N 可以映射到任何一個 line，并與所有 其它的ram塊競爭。N-Way Set Associative Cache:將所有l(wèi)ine分成大小為N的 set，即卩 line 0、1、訊-1 為 set 0, line N、N+1、2N-1 為 set 1，以此類推。ram N可以映射到某個set,并與其它（1024/32*N-1個ram塊競爭同一個set。z z 7狗拿耗子最后一種類型的cache是前兩種的中和產(chǎn)物，令set大小為1,就變 成了 Direct Map ped Cache 令 set 大小為 32,就變成了 Fully Associative Ca

27、cheo 這 是從工作效率與工作時間兩個方面綜合考慮后，設(shè)計出來的cache. 7.2 cache的回寫機制z Write through, cpu待寫入的arm塊已經(jīng)映射到了 cache則直接寫入 cache相應(yīng)的line,并同時寫入ram塊。Write back, cpu待寫入的arm塊已經(jīng)映射 到了 cache則直接寫入cache相應(yīng)的line,并做上標記。不是立即寫入ram塊， 而是在一個合適的時候再將數(shù)據(jù)寫入ram塊，比如 說在相應(yīng)的line被其它ram塊映射時。z 8、使能MMU在使能MMU前流水線按物理地址尋址，在使能MMU生效之后流水線按線性地址尋址，需要通過MMU獲得相應(yīng)的地

28、址或數(shù)據(jù)。另外在使能MMU之前的代碼必須是 位置無關(guān)”（PIC）的，必須按相對地址尋址，即 相對于pc尋址；如果按直接地址尋址，則相應(yīng)地址是鏈接器重定位后的地址，即線性地址，必然導(dǎo)致流水線運行異常。另外arm902t采用的是五級流水線，使能MMU指令的下兩條指令的取指會發(fā)生在使能MMU生效之前。綜合考慮這兩點，在使能MMU之前采用“flat translation來映射linux內(nèi)核前1M代碼，使其線 性地址與物理地址相等，顯然使能MMU的代碼位于linux內(nèi)核的前1M之內(nèi)。這樣流水線按相對地址尋址得到的地址與數(shù)據(jù)，以及取指得到的指令，均是所期望 的。9、process 0 process 0

29、是 kernel的第一個進程，也是所有進程的 祖先”，是它 創(chuàng)建了 process 1 而process 1創(chuàng)建了其它所有進程。直接用 un dersta ndi ng the linux kernel中的原文 來介紹吧： The ancestor of all processes, called process 0, the idle process, or, for historical reas ons, the swapper process, is a kernel thread created from scratch during the initialization phase

30、 of Linux （see Appendix A. This ancestor process uses the followi ng statically allocated data structures （data structures for all other processes are dyn amically allocated: ? ? ? A process descriptor stored in the ini t_task variable, which is initialized by the INIT_TASK macro. A thread_info desc

31、riptor and a Kernel Mode stack stored in the init_thread_union variable and initialized by the INIT_THREADNFO macro. The followi ng tables, which the process descriptor poi nts to: o init_mm 8狗拿耗子 o o o o init_fs init_files init_signals init_sighand The tables are initialized, respectively, by the f

32、ollowing macros: o o o o o ? INIT_MM INIT_FS INIT_FILES INIT_SIGNALS INIT_SIGHAND The master kernel Page Global Directory stored in swapper_pg_dir （see the secti on Ker nel Page Tables i n Chapter 在本文中我們只需 要關(guān)心兩個地方：z內(nèi)核頁表的地址，init_task.active_mm指向init_mm，而ini t_mm.pgd 指向內(nèi)核頁表，即 ini t_task.active_mm.pgd

33、等于 swapper_pg_di； 進程內(nèi)核棧的地址，起始于（unsigned char *&init_thread_union + 8192 -8，并有棧向低 地址增長，其中8192恰好為4k的兩倍，而最高的8個字節(jié)留做他用。z 10、主要 函數(shù) 10.1 _lookup_processor_type根據(jù)從 cp15 中得到的 cpu id 在 proc_info array 中 找到合適的 proc_info，返回結(jié)果 為 “r5=procinfo r9=cpuid 。 ”0.2_lookup_machine_type根據(jù) uboot 傳進來的 machine type在 machine_

34、desc array中 找到合適的machine_desc返回結(jié)果為“r5=machinfo。執(zhí)行完后，另外有 r10=procinfo、r9=cpuid。10.3 _vet_atags檢查 uboot 傳進來的 parameter list的格式 是否合法。10.4 _create_page_table建立臨時內(nèi)核頁表，分成三個部分，分別是“first MB of kernel、“”ernel direct mapped regio與 “firs”1MB of ram。 9狗拿耗子z first MB of kernel，在介紹 使能MM”時講過，將起始于物理地址 0x30008000的內(nèi)核

35、前1M的代碼，映射與物理地址相等的線性地址空間中； kernel direct mapped regior,根據(jù)內(nèi)核的實際大小，將起始于物理地址0x30008000的內(nèi)核，映射到起始于線性地址 0xc0008000的地址空間中；first 1MB of ram，將 ram中的前1M數(shù)據(jù)(起始于物理地址0x3000000)映射到起始于線性地址 0xc0000000的地址空間中，這是因為 parameter list被放在物理地址 0x30000040 處，后續(xù)的代碼需要訪問它。z z 10.5 _arm920_setup在介紹proc_i nfo時提起過該函數(shù)，它的定義在arch/arm/mm/

36、proc-arm920.S中。詳細操作如下：z寫cp15-r7(cache operation regist，invalidate cache; z寫 cp15-r7，drain write buffer，關(guān)于 write buffer的說明可參考s3c2410手冊，這是與數(shù)據(jù)cache回寫有關(guān)的一個buffer; z 寫 cp15-r8 (tlb operation register) ，invalidate tlb; z 讀 cp15-r1 (control register) 到r0，并設(shè)置相應(yīng)的控制位，諸如使能 cache使能mmu，此時待設(shè)置的值存儲 在 r0 中，并沒有寫回到 cp

37、15-r1。10.6 _en able_mmu 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 /* * Setup com mon bits before fin ally en abli ng the MMU. Esse ntially * this is just load ing the page table poin ter and domain access * registers. */ enable mmu: #ifdef CONFIG ALIGNMENT T

38、RAP orr r0, r0, #CR_A #else bic r0, r0, #CR_A #e ndif #ifdef CONFIG_CPU_DCACHE_DISABLE bic r0, r0, #CR_C #en dif #ifdef CONFIG_CPU_BPREDICT_DISABLE bic r0, r0, #CR_Z #en dif #ifdef CONFIG_CPU_ICACHE_DISABLE bic r0, r0, #CR_I #e ndif mov r5, #(domain_val(DOMAIN_USER, DOMAIN_MANAGER | 10狗拿耗子 170 171 1

39、72 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 /* domain_val(DOMAIN_KERNEL, DOMAIN_MANAGER | domain_val(DOMAIN_TABLE, DOMAIN_MANAGER | domain_val(DOMAINO, DOMAIN_CLIENT mcr p15, 0, r5, c3, cO, 0 mcr p15, 0, r4, c2, c0, 0 b _turn_mmu_on ENDPROC(

40、_en able_mmu load domai n access register load page table poin ter * En able the MMU. This completely cha nges the structure of the visible * memory space. You will not be able to trace execution through this. * If you have an enquiry about this, *please* check the linu x-arm-ker nel * maili ng list

41、 archives BEFORE sending ano ther post to the list. * * r0 = cp#15 con trol register * r13 = *virtual* address to jump to upon completi on * * other registers depe nd on the fun cti on called upon completion */ .align 5 _turn_mmu_on: mov r0, r0 mcr p15, 0, r0, c1, c0, 0 mrc p15, 0, r3, c0, c0, 0 mov

42、 r3, r3 mov r3, r3 mov pc, r13 ENDPROC( turn mmu_on write control reg read id reg z z 155-168 進一步配置待寫入 cp15-r1 的值。 169-173,設(shè)置 cp15-r3 (domain access control register，共有 16 個 domain,每 個domain用2bit表示各自的訪問權(quán)限；臨時內(nèi)核頁表的表項包含有4 bit，表示section 屬于哪個 domain。174，設(shè)置 cp15-r2(translation table base register，寫 入臨時內(nèi)核頁

43、表的地址。175-190, _turn_mmu_on按照cache line對齊，目的是讓后續(xù)開啟mmu的指令在同一個cache line中；暫時沒有搞清楚為什么需要這么做， 不過可以參考網(wǎng)友 xpl、hyl與rocky1972在上面的討論。191，等效于nop,暫時沒有搞清楚為什么需要這個 nop，網(wǎng)友byte_x是這樣解釋 的：注意:為什么這里要有一個nop,我思考了很長時間，這里是我的猜測，可能不 是正確的：z z z 11狗拿耗子 因為之前設(shè)置了頁表基地址(set ttb,到下一行(192行打開mmu操 作，中間的指令序列是這樣的：set ttb(第 174行branch第175行no

44、p(第 191行enable mmu第 192 行 對于 arm 的五級流水線:fetch -decode -execute -memory - write 他們執(zhí)行的情況如下圖所示：+-+-+-+-+-+-+-+-+ III setttb branch nop | F | D | E | M | W | | | | F | D | E | | | | | | | | | | | | | | | | | | +-+-+-+ | en able mmu | +-+-+-+-+-+-+-+-+-+ F -fetch D -Decode E -Execute M -Memory W - Write

45、Register 這里需要說明 的是,branch操作會在3個cycle中完成，并且會導(dǎo)致重新取指。從這個圖我們可以看出來，在enable mmu操作取指的時候,set ttb操作剛好完成。z 192-195,設(shè)置 cp15-r1使能mmu與cache 在介紹 create_page_table時講過，內(nèi) 核前1M代碼 在臨時內(nèi)核頁表中被映射了兩次，其中一次是plat translateion,另一次是普通的映射；這樣不管按照間接地址尋址，還是按照直接地址尋址，流水線尋址得到的地址或數(shù)據(jù)均是正確的。此外，使能mmu的指令在流水線執(zhí)行到 write register時才生效，所以先在193處插入

46、讀cp15-r0指令，后在194-195處插入兩個nop （不過 我認為可以去掉），保證函數(shù)_enable_mmu返回時mmu已經(jīng)使能。196,函數(shù) _en able_ mmu返回； 在此之前，臨時內(nèi)核頁表已經(jīng)建立，domai n access con trolregister 已設(shè)置并生效，tran slatio n table base registe 已設(shè)置并生效，con trol register已設(shè)置并生效；而此時 mmu與cache均已使能。z 10.7 _switch_data 12狗拿耗子 016 017 018 019 020 021 022 023 024 025 026

47、027 028 029 030 031 032 033 034 035 036 037 038 039 040 041 042 043 044 045 046 047 048 049 050 051 052 053 054 055 056 057 058 059/* .type .long .long .long .long .long .long .long .long .long .long _switch_data, %object _mmap_switched _data_loc _data _bss_start _end processor_id _mach in e_arch_type _atags_po in