20135220谈愈敏Linux_总结

Linux_总结

具体博客链接

• 计算机是如何工作的
• 操作系统是如何工作的
• 构造一个简单的Linux系统MenuOS
• 系统调用（上）
• 系统调用（下）
• 进程的描述和创建
• 可执行程序的装载
• 进程的切换和系统的一般执行过程

一、计算机是如何工作的

存储程序计算机工作模型

• 冯诺依曼体系结构
  • 从硬件角度来看：CPU和内存，由总线连接，CPU中有一个名为IP的寄存器，总是指向内存的某一块：CS，代码段，执行命令时就取IP指向的一条指令，然后IP自加1，就指向下一条指令。
  • 从程序员角度来看：即存储程序计算机，内存存储数据和指令，CPU就是一个for循环，总是在执行下一条指令，CPU负责解释和执行这些指令。

X86汇编基础

• CPU寄存器
  • 通用寄存器+段寄存器+标志寄存器
• X86汇编指令
  • mov指令：b,w,l,q分别代表8位，16位，32位，64位
  • 寻址方式：寄存器寻址，立即数寻址，直接寻址，间接寻址，变址寻址
  • 汇编指令：push,pop,call,ret
  • leave
• 分析汇编指令片段

汇编一个简单的C程序分析其汇编指令执行过程

• 汇编一个简单的C程序
• C程序和对应的汇编指令
• 完整汇编程序执行过程分析

二、操作系统是如何工作的

函数调用堆栈

• 计算机三大法宝
  • 存储程序计算机工作模型
  • 函数调用堆栈
  • 中断
• 深入理解函数调用堆栈
  • 函数调用框架
  • 传递参数
  • 保存返回地址
  • 提供局部变量空间
• 堆栈相关寄存器：esp堆栈指针ebp基址指针,记录当前函数调用基址
• 堆栈操作：push,pop
• cs:eip：总是指向下一条的指令地址，执行call的时候，保存下一条指令地址到栈顶，然后cs:eip指向调用函数入口地址。
• 参数传递与局部变量

借助Linux内核部分源代码模拟存储程序计算机工作模型及时钟中断

• mykernel实验背后涉及的思想
• 利用mykernel实验模拟计算机硬件平台
• 由CPU和内核代码共同实现了保存现场和恢复现场

在mykernel基础上构造一个简单的操作系统内核

• C代码中嵌入汇编代码的写法
• 一个简单的操作系统内核源代码
  • mypcb.h：头文件
  • mymain.c： 内核初始化和进程的启动
  • myinterrupt.c：进程的切换
• 运行这个精简的操作系统内核

三、构造一个简单的Linux系统MenuOS

Linux内核源代码简介

• 操作系统两把宝剑
  • 中断上下文的切换
  • 进程上下文的切换
• Linux内核源代码

构造一个简单的Linux系统

• 构造一个简单的Linux系统MenuOS
  • qemu -kernel linux-3.18.6/arch/x86/boot/bzImage -initrd rootfs.img
    • qemu:启动一个虚拟机平台
    • -kernel：给一个内核，操作系统
    • -initrd：驱动所需的硬盘
    • rootfs.img：放一个可执行文件由menuOS源代码编译成的init

跟踪调试Linux内核的启动过程

• 使用gdb跟踪调试Linux内核的方法
  • qemu -kernel linux-3.18.6/arch/x86/boot/bzImage -initrd rootfs.img -s -S
    • -S freeze CPU at startup (use ’c’ to start execution)指在CPU初始化之前（刚启动的时候）将其冻结
    • -s shorthand for -gdb tcp::1234 指在1234这个端口上创建的gdb server，若不想使用1234端口，则可以使用-gdb tcp:xxxx来取代-s选项
  • gdb
  • （gdb）file linux-3.18.6/vmlinux # 在gdb界面中targe remote之前加载符号表
  • （gdb）target remote:1234 # 建立gdb和gdbserver之间的连接,按c 让qemu上的Linux继续运行
  • （gdb）break start_kernel # 断点的设置可以在target remote之前，也可以在之后
    • 符号：全局函数名，全局变量名，汇编时没有，不需要符号只是一个地址，但调试时需要，所以有符号表：符号与在内存中地址的一一对应。
• 简单分析一下start_kernel
  • 全局变量init_task,即手工创建的PCB，0号进程即最终的idle进程
  • trap_init涉及到中断，初始化一些中断向量
  • mm_init:内存管理模块初始化
  • sched_init:调用进程调度初始化
  • rest_init中：
    • kernel_init:创建1号进程
    • 第一个用户态进程：init_process,1号进程，找默认路径下的程序作为1号进程
    • kthreadd:内核线程，用来管理系统资源
    • 当系统没有进程需要执行时就调度idle进程，即0号进程，一直存在。

四、系统调用

用户态、内核态和中断

• 用户态&内核态（CPU执行级别）
  • 内核态：高级别执行，可以使用特权指令，访问任意的物理地址。对应x86 0级
  • 用户态：低级别执行，代码范围受到限制。对应x86 3级（x86CPU有0-3四个级别）
• 如何区分用户态&内核态？
  • 0xc0000000以上的地址只能在内核态下访问
  • 0x00000000-0xbfffffff两种状态都行
• 中断处理是从用户态进入内核态主要的方式
  • 从用户态进入内核态：必须保存用户态的寄存器上下文
  • 中断/int指令在堆栈上保存寄存器的值：用户态/内核态栈顶地址（ss:esp）、状态字(eflags)、cs:eip值（内核态时指向中断服务程序入口）

系统调用概述

• 系统调用的意义
  • 用户不管硬件编程
  • 提高系统安全性
  • 用户程序可移植
• API和系统调用
  • API：应用编程接口，是一个函数定义
  • 系统调用：通过软中断向内核发出明确请求
  • 不是每个API都对应一个特定的系统调用
• 应用程序、封装例程、系统调用处理程序、系统调用服务例程之间的关系
• 系统调用三层皮：
  • API（xyz）
  • 中断向量（system_call）
  • 中断服务程序（sys_xyz）

使用库函数API和C代码中嵌入汇编代码触发同一个系统调用

• 使用库函数API获取系统当前时间
• 使用C代码中嵌入汇编代码触发系统调用获取系统当前时间
  • 传递了一个系统调用号 - eax
  • 传递了参数 - ebx

给MenuOS增加time和time-asm命令

• 更新menu代码到最新版
• 在main函数中增加MenuConfig（一个命令一行，与上面的格式一样）
• 增加对应的time和time-asm函数（就是上周写的两个函数）
• make rootfs （rootfs是一个脚本，可以自动生成，编译）

使用gdb跟踪系统调用内核函数sys_time

• c：继续执行，停在断点处
• n/s：单步运行，s进入函数，n不进入

系统调用在内核代码中的处理过程

• int 0x80触发一个系统调用 ->执行系统调用处理函数system_call ->返回到用户态
  • 返回到用户态之前有一个进程调度的时机，会跟踪到schedule
• 中断向量：int 0x80 ->system_call，初始化时绑定
• 系统调用号：将xyz和中断服务程序sys_xyz关联起来
• 系统调用机制的初始化
  • main.c中start_kernel函数：trap_init()
    • set_system_trap_gate(SYSCALL_VECTOR,&system_call)
    • SYSCALL_VECTOR：系统调用的中断向量
    • &system_call：汇编代码入口
• 理解system_call到iret之间的主要代码
  • 从系统调用入口开始：ENTRY(system_call)
  • SAVE_ALL //保存现场
  • system_call中：call *system_ call_table(,%eax,4) //调用了系统调用处理函数，有系统调用号eax中，是实际的系统调用处理程序。
  • 当前任务syscall_ exit_ work里面有work_ pending里面有work_ notifysig //处理pending信号，不用管
  • 重要的是work_ resched:call schedule //决定了进程调度的代码，调用完会跳转到restore_all
  • restore_all //恢复现场
  • INTERRUPT_ RETURN //irp_return宏，中断处理过程在这结束

五、进程的描述和进程的创建

进程的描述

• 操作系统的三大管理功能：
  • 进程管理（最重要的）
  • 内存管理
  • 文件系统
• 进程控制块PCB task_struct：
  • 进程状态
  • 进程打开的文件
  • 进程优先级信息
• 进程描述符task_struct数据结构

进程的创建

• 进程的创建概览
  • 道生一（start_ kernel....cpu_idle）
  • 一生二（kernel_init和kthreadd）
  • 二生三（即前面0、1和2三个进程）
  • 三生万物（1号进程是所有用户态进程的祖先，2号进程是所有内核线程的祖先）
• fork创建一个子进程
  • fork在父进程和子进程各返回一次
• 创建一个新进程在内核中的执行过程
• 新进程从哪里开始执行？
  • fork出来的子进程是从ret_from_fork开始执行的，然后跳转到syscall_exit，从系统调用中返回。

六、可执行程序的装载

预处理、编译、链接和目标文件的格式

• 可执行程序是怎么得来的？
  • C代码
  • 编译器预处理
  • 编译成汇编代码
  • 汇编器编译成目标代码
  • 链接成可执行文件
  • 操作系统加载到内存执行
• 目标文件的格式ELF
• 静态链接的ELF可执行文件和进程的地址空间
  • 默认加载起始地址是0x8048000
  • ELF头部大小不同，程序入口点也将不同，程序入口在头部有定义：Entry point address，即是可执行文件加载到内存中开始执行的第一行代码

可执行程序、共享库和动态链接

• 装载可执行程序之前的工作
  • 可执行程序的执行环境
  • 命令行参数和环境变量是如何保存和传递的？
  • 参数传递过程：shell程序 -> execve系统调用 -> sys_execve 内核处理函数在初始化新程序堆栈时拷贝进去
• 装载时动态链接和运行时动态链接应用举例
  • 准备.so文件
  • 分别以共享库和动态加载共享库的方式使用libshlibexample.so文件和libdllibexample.so文件

可执行程序的装载

• 可执行程序的装载相关关键问题分析
  • 特殊系统调用：fork、execve
  • sys_execve内部会解析可执行文件格式
  • execve系统调用返回到用户态从哪里开始执行？load_ elf_ binary -> start_thread
• sys_execve的内部处理过程
• 使用gdb跟踪sys_execve内核函数的处理过程
• 可执行程序的装载与庄生梦蝶的故事
• 浅析动态链接的可执行程序的装载

七、进程的切换和系统的一般执行过程

进程切换的关键代码switch_to分析

• 进程调度与进程调度的时机分析
  • 中断处理过程（包括时钟中断、I/O中断、系统调用和异常）中，直接调用schedule()，或者返回用户态时根据need_resched标记调用schedule()；
  • 内核线程（只有内核态没有用户态的特殊进程）可以直接调用schedule()进行进程切换，也可以在中断处理过程中进行调度，也就是说内核线程作为一类的特殊的进程可以主动调度，也可以被动调度；
  • 用户态进程无法实现主动调度，只能被动调度，仅能通过陷入内核态后的某个时机点进行调度，即在中断处理过程中进行调度。
• 进程上下文切换相关代码分析
  • 为了控制进程的执行，内核必须有能力挂起正在CPU上执行的进程，并恢复以前挂起的某个进程的执行，这叫做进程切换、任务切换、上下文切换；
  • 挂起正在CPU上执行的进程，与中断时保存现场是不同的，中断前后是在同一个进程上下文中，只是由用户态转向内核态执行；
  • 进程上下文包含了进程执行需要的所有信息
    • 用户地址空间：包括程序代码，数据，用户堆栈等
    • 控制信息：进程描述符，内核堆栈等
    • 硬件上下文（注意中断也要保存硬件上下文只是保存的方法不同）
  • schedule()函数选择一个新的进程来运行，并调用context_switch进行上下文的切换，这个宏调用switch_to来进行关键上下文切换
    • next = pick_ next_task(rq, prev);//进程调度算法都封装这个函数内部
    • context_switch(rq, prev, next);//进程上下文切换
    • switch_to利用了prev和next两个参数：prev指向当前进程，next指向被调度的进程

Linux系统的一般执行过程

• Linux系统的一般执行过程分析
  • 中断上下文的切换（中断和中断返回时CPU进行上下文切换）
  • 进程上下文的切换（进程调度过程中，从一个进程的内核堆栈切换到另一个进程的内核堆栈）
• Linux系统执行过程中的几个特殊情况
  • 通过中断处理过程中的调度时机，用户态进程与内核线程之间互相切换和内核线程之间互相切换，与最一般的情况非常类似，只是内核线程运行过程中发生中断没有进程用户态和内核态的转换；
  • 内核线程主动调用schedule()，只有进程上下文的切换，没有发生中断上下文的切换，与最一般的情况略简略；//用户态进程不能主动调用
  • fork：创建子进程的系统调用在子进程中的执行起点（next_ ip = ret_ from_ fork）返回用户态，进程返回不是从标号1开始执行，直接跳转到ret_ from_fork执行然后返回到用户态；
  • 加载一个新的可执行程序后返回到用户态的情况，如execve，只是中断上下文在execve系统调用内部被修改了；

Linux系统架构和执行过程概览

• Linux操作系统架构概览
• 最简单也是最复杂的操作--执行ls命令
• 从CPU和内存的角度看Linux系统的执行

学习心得

收获

还记得第一次看视频的时候是寒假，那时还在家，转眼我已经跟着网络课程学习了两个月，每周固定的看视频、做笔记、写博客、做实验，到现在已经有点习惯这种生活，突然没有视频可学，还有点空虚呢。依稀记得第一次视频老师您还说是除夕，听得到外面的鞭炮声，想想老师也是很辛苦的，很感谢老师能教给我们这么多知识。第一次亲身经历这种学习方式，也体验到了很多好处，比如每周的自评和互评，可以看到很多优秀的博客，加以学习，让自己变得更好，看见差的博客，会指出他的问题，也希望可以帮助到其他人。

通过八周的学习，第一次系统全面的理解了Linux系统：

• 首先是进程的创建，由0号进程idle创建其子进程1号进程init和2号进程kthreadd，1号进程是所有用户态进程的祖先，2号进程是所有内核线程的祖先。由fork来创建一个新的子进程
• 系统调用其实就是一种中断，从用户态转到内核态，发生中断时关键点是中断上下文的切换（中断和中断返回时CPU进行上下文切换）。
• 由中断返回到用户态之前有一个进程调度时机，可能就会发生进程切换，关键点是进程上下文的切换（进程调度过程中，从一个进程的内核堆栈切换到另一个进程的内核堆栈），调用了schedule()，关键切换由switch_to执行。
• 进程是依附于程序存在的，可执行程序是通过预编译、编译、汇编、链接生成的。由execve装载一个可执行程序。

遗憾

虽然每周都在按部就班的学习，但还是在一些具体的问题上不求甚解，是一直跟着老师的思路在走，老师讲过的就知道，自己去看其他的就蒙圈了，没有更深的去理解，有一些游走于表面，特别是对代码啊堆栈的理解就有些模糊。还有就是总觉得老师的逻辑跟我的有点不太一样，每次跟着听都有些费劲，感觉太散了，自己要看几遍才能理解，然后总结按自己的想法去串一遍，自认效率比较低，所以花的时间就很多。