孔建军

孔建军的博客

他的个人主页  他的博客

FWD: Kernel Develop FAQ

孔建军  2009年08月27日 星期四 21:34 | 2365次浏览 | 4条评论

kernel develop FAQ-- from smth

1.资源问题
1.1 请推荐一些好的Linux内核参考书?
1.2 请推荐一些好的学习网站
1.3 本版ftp

2. 源代码问题
2.1 如何得到某一版本的Linux内核源代码?
2.2 请问xx命令、xx库的源码是哪个文件?
2.3 linux-2.x.x.tar.gz.sign 文件有什么用途?
2.4 请推荐一些源代码查看工具?
2.5 内核patch如patch-2.6.3怎么用?
2.6 如何统计linux内核有多少行代码?
2.7 xx结构的定义在哪个内核源文件中?
2.8 volatile和__volatile__是什么意思?
2.9 do{ ... } while(0)是什么意思?
2.10 list_entry的定义是怎么回事?

3. 模块编程问题
3.1 模块编程需要注意什么?
3.2 为什么insmod一个模块时显示版本不匹配?
3.3 为什么出现Unresolved Symbol错误?
3.4 为什么出现no license错误?
3.5 为什么看不到用printk打印的信息?

4. 内核开发问题
4.1 怎么制作、使用patch文件?
4.2 在内核中可以使用系统调用吗?
4.3 在内核中怎么打开并操作一个文件?
4.4 在内核中读写文件时为什么会出现EFAULT(-14)错误?
4.5 怎么在系统中增加一个自己的系统调用?
4.6 怎么在内核中加入我自己的驱动程序?
4.7 怎么通过程序得到cpu和mem使用率?
4.8 如何获得高精度的系统时间?
4.9 怎么进行系统性能调谐?
4.10 内核中怎么进行互斥?

5. 其它问题
5.1 如何学习Linux内核?
5.2 如何下载精华区?
5.3 init进程是核心进程吗?init与初始进程是不是一回事?
5.4 initrd(.img)有什么用?

6. 关于本FAQ
7. Changelog


1.资源问题
1.1 请推荐一些好的Linux内核参考书?
  a.《Linux Device Drivers, 2nd Edition》,有中文译本
  b.《Understanding the Linux Kernel, 2nd Edition》
  c.《Linux内核源代码情景分析》,分上下两册
  d.《边干边学-Linux内核指导》
  e.《Linux内核2.4版源代码分析大全》
  f.《Linux Kernel Development》
  g.《IA-64 Linux Kernel: Design and Implementation》
  注:a电子版可在http://www.oreilly.com/catalog/linuxdrive2/下载;
      f和g比较新,在国内比较难买到。
1.2请推荐一些好的学习网站
        1. 开源/文档/社区/信息资源
        1.01 http://www.kernel.org
                Linux内核主页

        1.02 http://www.gnu.org or http://www.fsf.org
                GNU/FSF主页

        1.03 http://www.opensource.org
                Open Source权威网站

        1.04 http://www.osdl.org
                OSDL(Open Source Development Labs, Linus Torvalds的家)主页

        1.05 http://www.sourceforge.net
                大型开放源码软件网站

        1.06 http://freshmeat.net/
                大型开放源码软件网站

        1.07 http://osdir.com
             开放源码目录,提供许多开放源码软件的索引和链接
       
        1.08 http://www.rpmfind.net
             提供RPM包的搜索和链接
       
        1.09 http://oss.sgi.com/projects/
             SGI的开放源码Linux项目
       
        1.10 http://oss.software.ibm.com/linux/
             IBM的开放源码Linux项目
       
        1.11 http://www-124.ibm.com/developerworks/oss/
             IBM developerWorks的开放源码Linux项目
       
        1.12 http://www.kerneltrap.org
             内核开发相关信息和论坛
       
        1.13 http://kernelnewbies.org
             很好的内核学习网站
       
        1.14 http://www.kernelhacking.org/
             kernelhacking-HOWTO文档
       
        1.15 http://www.tldp.org
             Linux文档
       
        1.16 http://www.nongnu.org/lkdp/
             Linux内核文档
       
        1.17 http://linux-mm.org/
             Linux内核mm文档
       
        1.18 http://www.linuxforum.net
             中国Linux论坛
       
        1.19 http://www.aka.org.cn
             中国信息技术论坛-阿卡(AKA)
       
        1.20 http://www.lisoleg.net
             利索脚(Linux Source Learning Group)
       
        1.21 http://www.linuxfans.org/
             中国Linux公社
       
        1.22 http://www-900.ibm.com/developerWorks/cn/linux
             IBM developerWorks Linux专区
       
        1.23 http://www.linuxaid.com.cn
             LinuxAid技术支持中心
       
        1.24 http://lxr.linux.no/source/
             Cross-Referencing Linux,可在线查看Linux内核源代码
       
        1.25 http://www.linux.org
             Linux信息资源
       
        1.26 http://www.linuxdevices.com
             嵌入式Linux信息资源
       
        1.27 http://www.linuxjournal.com/webindex.php
             Linux Journal杂志在线文章
       
        1.28 http://www.joyfire.net/
             本站joyfire大侠维护的站点
       
        1.29 http://lwn.net
             Linux Weekly News
       
        1.30 http://www.ctyme.com/intr/int.htm
             关于BIOS系统调用,很全
        2. 项目资源
        2.01 http://perso.wanadoo.es/xose/linux/linux_ports.html
             Linux移植项目链接资源
       
        2.02 http://www.uclinux.org
             uClinux主页
       
        2.03 http://www.fsmlabs.com/ or http://www.rtlinux.org
             RTLinux(Real-Time Linux)主页
       
        2.04 http://mail.aero.polimi.it/~rtai/
             RTAI(Real Time Application Interface for Linux)主页
       
        2.05 http://www.ittc.ku.edu/kurt/
             KURT-Linux(Kansas University Real-Time Linux)主页
       
        2.06 http://www.arm.linux.org.uk/
             ARM Linux主页
       
        2.07 http://www.linux-mips.org/
             Linux/MIPS主页
       
        2.08 http://penguinppc.org/
             Linux/PowerPC主页
       
        2.09 http://www.denx.de
             Denx Software Engineering, PowerPC系列嵌入式Linux资源
       
        2.10 http://www.netfilter.org/ or http://www.iptables.org/
             netfilter/iptables项目
       
        2.11 http://www.linuxfromscratch.org
             LFS(Linux From Scratch)项目
       
        2.12 http://www.uclibc.org
             uClibc(C library for developing embedded Linux systems)主页
       
        2.13 http://www.LinuxVirtualServer.org
             章文嵩主持的Linux Virtual Server项目
       
        2.14 http://linux-ha.org
             High-Availability Linux项目
       
        2.15 http://www.lids.org
             本站vertex大侠主持的LIDS(Linux Intrusion Detection System)项目
       
        2.16 http://www.minigui.org/
             本站Kongming大侠主持的MiniGUI项目
       
        2.17 http://user-mode-linux.sourceforge.net/
             User-Mode Linux项目
       
        2.18 http://lse.sourceforge.net/
             Linux Scalability Effort项目
       
        2.19 http://linuxperf.nl.linux.org/
             Linux Performance Tuning项目
       
        2.20 http://euclid.nmu.edu/~benchmark/
             Linux Benchmark项目
1.3本版ftp
        ftp://kernel:kernel@kernel.trueice.net:8021/
                /incoming/kerneltech.newsmth
               
        目前我所能找到的内核方面的经典书籍电子版都有
        特别感谢trueice网友提供本版ftp^_^


2. 源代码问题
2.1 如何得到某一版本的Linux内核源代码?
   a. http://www.kernel.org或ftp://ftp.kernel.org,这是Linux内核版本的发布
      网站。
   b. 很多镜像或本地网站也提供部分Linux内核版本的下载,多用ftp搜索引擎。
      linuxaid.com提供的mirror:
      ftp://ftp.linuxaid.lkams.kernel.org/pub/mirrors/kernel/linux/kernel
   c. 一般的Linux发行版如Redhat之类会随盘提供相应的内核源代码,不过这个源代
      码往往是改动过的,与标准Linux内核有差异。

2.2 请问xx命令、xx库的源码是哪个文件?
   a. 一个系统除了内核以外,还需要有shell、gcc等一系列工具和命令以及C库等一
      系列库,这些作为应用程序其源代码都不在内核中,需要另外下载相应的源代码。
   b. 对于Redhat系统,可以用rpm -qf命令来查找某一命令所在的软件包,然后再找
      相应的源代码包安装。
   c. gnu.org有很多软件源代码如bash/glibc/binutils/make/gcc的源代码。
   d. 可在http://www.rpmfind.net或http://www.google.com去搜一搜。

2.3 linux-2.x.x.tar.gz.sign 文件有什么用途?
    这是一个数字签名文件,用来校验linux-2.x.x.tar.gz这个文件在签名后是没有
    被第三方修改过,更详细的信息参考http://www.kernel.org/signature.html。

2.4 请推荐一些源代码查看工具?
   a. Windows系统可以用Source Insight,Linux系统可以用Source Navigator。
   b. vim或emacs编辑器,配合cscope、ctags、etags等交叉索引工具。
   c. vim或emacs编辑器,配合grep、egrep等文本搜索工具,不过最好要对源代码目
      录结构有所熟悉
   d. LXR,以网页的形式通过浏览器浏览,安装复杂,可从http://lxr.linux.no/下
      载该工具也可以直接访问http://lxr.linux.no/source/在线阅读Linux内核源
      代码。
   e. GNU global,可以在命令行用,也可以生成hypertext,类似lxr,但更省事。

2.5 内核patch如patch-2.6.3怎么用?
   a. 内核patch一般是针对前一个版本,如patch-2.6.3是针对2.6.2的内核。
   b. 内核patch一般是和ChangeLog对应,如patch-2.6.3对应于ChangeLog-2.6.3。
   c. 在内核patch中查找Makefile关键字可得到相关信息,如在patch-2.6.0中有:
        diff -Nru a/Makefile b/Makefile
        --- a/Makefile  Wed Dec 17 19:00:07 2003
        +++ b/Makefile  Wed Dec 17 19:00:07 2003
        @@ -1,7 +1,7 @@
        VERSION = 2
        PATCHLEVEL = 6
        SUBLEVEL = 0
        -EXTRAVERSION = -test11
        +EXTRAVERSION =
   d. 找到了针对的内核就可以用patch来升级内核了。

2.6 如何统计linux内核有多少行代码?
   尝试以下shell命令:
   find /usr/src/linux-2.x.x  -name "*.[chS]" | xargs cat | wc -l

2.7 xx结构的定义在哪个内核源文件中?
   a. 请使用源码查看工具,见问题2.4。
   b. 如果用grep等文本搜索工具,主要在include/linux和include/asm两个目录下
      搜索。

2.8 volatile和__volatile__是什么意思?
   a. volatile是C语言定义的关键字,gcc为了需要又定义了__volatile__,它和
      volatile表达的是同一意思。
   b. volatile的本意是"易变的",由于访问寄存器的速度快于访存,所以编译器一般
      都会作优化以减少访存。如果变量加上volatile修饰,则编译器就不会对此变量
      的读写操作进行优化,即不通过寄存器缓冲而直接访存。
   c. __asm__ __volatile__一起指示编译器不要改动优化后面的汇编语句。

2.9 do{ ... } while(0)是什么意思?
   a. 主要是为了避免宏在不同情况展开可能会出现的一些错误。
   b. 在http://www.kernelnewbies.org/faq/上有详细介绍。

2.10 list_entry的定义是怎么回事?
   a. list_entry的定义在内核源文件include/linux/list.h中:
      #define list_entry(ptr, type, member) \
        ((type *)((char *)(ptr)-(unsigned long)(&((type *)0)->member)))
   b. 其功能是根据list_head型指针ptr换算成其宿主结构的起始地址,该宿主结构是
      type型的,而ptr在其宿主结构中定义为member成员。如下图:

      req-->|type型对象起始地址
            |
            |... ...
      ptr-->|ptr指针所指的member成员地址
            |
            |... ...

     ptr指向图中所示的位置,通过(unsigned long)(&((type*)0)->member)得到ptr
     和req之间的差值,ptr减去这个差值就得到了type型宿主结构的指针req,返回
     类型为(type*)。


3. 模块编程问题
3.1 模块编程需要注意什么?
   a. 在gcc编译选项中增加-c
   b. 在gcc编译选项中定义两个宏:-DMODULE -D__KERENL__
      或直接在源文件中定义这两个宏:
      #define MODULE
      #define __KERNEL__
   c. 在源文件中包括module.h文件:
      #include <linux/module.h>
   d. 假定你现在运行的内核的源码目录绝对路径是MyKernelSrcPath,在gcc编译时
      增加选项:
         -I $MyKernelSrcPath/include (如-I /usr/src/linux/include)
      注意MyKernelSrcPath必须是指向与当前运行的系统内核匹配的(版本一致)、
      能编译成功的(保证源代码目录的完整性)、已经config过的(保证有.config和
      include/linux/autoconf.h文件)内核源码目录
      注意:通常不要 -I /usr/include/linux
   e. 如果要用inline功能,需要在gcc编译选项中增加-O2
   f. init_module()函数必须return 0,否则会出现Device or resource busy错误。

3.2 为什么insmod一个模块时显示版本不匹配?
   a. 见上面3.1->d
   b. 某些时候用insmod -f能够成功加载,但需谨慎使用。

3.3 为什么出现Unresolved Symbol错误?
   a. 首先查看文件/proc/ksyms,看内核有没有输出这个符号,不同的内核版本如
      2.2和2.4输出的符号会有些变化。
   b. 如果内核输出的符号带有版本控制信息如符号printk_R12345678,则性质同
      问题3.2。
   c. 注意:现在有很多版本都不输出sys_call_table了,另想办法吧!

3.4 为什么出现no license错误?
   在源文件加入下面一行(加在文件头部,尾部均可):
   MODULE_LICENSE("GPL");

3.5 为什么看不到用printk打印的信息?
   a. 打印消息受级别的限制,消息级别可以通过printk设置,如:
        printk("<n>something");  /* 其中0<=n<=7 */
      假设控制台的消息级别为m, 当n<m时消息打印到控制台,否则不打印。
      这样一方面可以提高要打印消息本身的级别(数字越小级别越高),
      另一方面可以改变控制台的消息级别(可从1到8),如改为8可用以下命令:
       # echo "8" > /proc/sys/kernel/printk
   b. 用dmesg命令看。
   c. 当系统运行klogd和syslogd时,内核消息就会由klogd分发到syslogd,
      syslogd会根据配置文件/etc/syslog.conf作相应处理,具体可以查看syslogd
      和syslog.conf的man页。


4. 内核开发问题
4.1 怎么制作、使用patch文件?
   a. patch文件是由diff命令生成的,使用patch文件用patch命令,具体可查看diff
      和patch的man页和info。
   b. diff命令的常用选项组合是urN,如:
        diff -urN linux/ my_linux/ >mypatch.diff

4.2 在内核中可以使用系统调用吗?
   a. 可以。内核源代码中就有使用系统调用的例子,如open()、execve()等。
   b. 在内核中使用系统调用必须要在源文件中包括以下两行:
      #define __KERNEL_SYSCALLS__
      #include <linux/unistd.h>
   c. 内核中使用系统调用的相关定义可查看文件include/asm/unistd.h。
      如果要用的系统调用该文件中没有定义,可以按照其格式自行添加。
   d. 如果要在模块中使用系统调用,必须要自己定义errno如:
      int errno;
      内核在lib/errno.c中定义了errno,但该符号不导出,所以模块编程时需要自己
      定义errno,用以存放系统调用出错号。

4.3 在内核中怎么打开并操作一个文件?
   a. 直接用open()、read()等系统调用,见问题4.2。
   b. 用filp_open()函数打开文件,得到struct file *的指针fp。
      使用指针fp进行相应操作,如读文件可以用fp->f_ops->read。
      最后用filp_close()函数关闭文件。
      filp_open()、filp_close()函数在fs/open.c定义,在include/linux/fs.h中
      声明。
   c. 自己写包装函数,可参照文件fs/exec.c中的open_exec()和kernel_read()函数。
      在http://www.linuxforum.net/forum/showflat.php?Cat=&Board=linuxK
       &Number=363455&page=&view=&sb=&o=&vc=1上有些代码可以参照。

4.4 在内核中读写文件时为什么会出现EFAULT(-14)错误?
   a. 内核文件系统提供的read()和write()之类的函数,期望是对用户态程序服务的,
      所以它会验证读写缓冲区不超过用户空间的上限即0xC000 0000。但现在内核中
      要读写文件,缓冲区在内核中即地址会超过0xC000 0000。
   b. 在读写文件前先得到当前fs:mm_segment_t old_fs=get_fs();
      并设置当前fs为内核fs:set_fs(KERNEL_DS);
      在读写文件后再恢复原先fs: set_fs(old_fs);
      set_fs()、get_fs()等相关宏在文件include/asm/uaccess.h中定义。

4.5 怎么在系统中增加一个自己的系统调用?
    去http://www.linuxaid.com.cn/engineer/ideal/kernel/new_syscall.htm
    和http://www.xenotime.net/linux/syscall_ex/看看。

4.6 怎么在内核中加入自己的驱动程序?
   a. 去http://www-900.ibm.com/developerWorks/cn/linux/kernel/l-kerconf/
      index.shtml看看,了解一下整个内核的配置编译系统。
   b. 在相应位置建立自己的源码目录、文件、Makefile等。
   c. 修改上层Makefile,把自己的程序加入到内核编译系统中。
   d. 修改上层Config.in,把自己的程序加入到内核配置系统中。
   e. 确保自己的初始化函数被调用。有两种方法,一是显式调用,即在原来的系统
     初始化函数中直接加入对自己的调用,如字符设备就在drivers/char/mem.c中的
     chr_dev_init()函数中加入,块设备就在drivers/block/ll_rw_blk.c中的
     blk_dev_init()函数中加入。另一种方法是用initcall,用宏module_init来申
     明你的初始化函数,操作系统在初始化到一定阶段后会自动通过init/main.c中
     的do_initcalls()函数来统一调用这些初始化函数。module_init宏在文件
     include/linux/init.h中定义。

4.7 怎么通过程序得到cpu和mem使用率?
   a. 这些信息的最终来源都是/proc目录下的文件,如/proc/stat等。
   b. procps包下的命令如top、vmstat等实现了这些功能,可以参照其源代码。
   c. procps包可从Redhat发行版中得到,也可从http://www.surriel.com/procps/
     处获得。

4.8 如何获得高精度的系统时间?
   a. Linux中jiffy是时钟的基本单位,对于一般的系统来说配置成10ms。大多数时
     钟相关的系统调用都是基于jiffy,所以精度不会太高。
   b. 可以考虑使用TSC(time stamp counter)、rtc(real time clock)等寄存器来获得
     高精度时钟,具体可查看相关的硬件手册。

4.9 怎么进行系统性能调谐?
   a. IBM developworks:
        http://www-900.ibm.com/developerWorks/cn/linux/l-kperf/index.shtml
        http://www-900.ibm.com/developerWorks/cn/linux/management/tune/index.sht
ml
   b. Linux Performance Tuning项目:http://linuxperf.nl.linux.org/
   c. http://www.fixdown.com/article/article/724.htm

4.10 内核中怎么进行互斥?
    a. Linux内核中有两种机制实现互斥:semaphore和spinlock。semaphore是让进
      程睡眠等待资源,这一般假设无法预测资源什么时候可以获得;spin_lock一般
      用在SMP中,它假设所等待的资源马上就会被释放,所以循环等待资源。
      semaphore只能用于非中断环境(典型的中断环境过程包括象timer之类的中断
      服务程序,softirq等)的进程间互斥,spinlock可以用于所有的进程间包括不同
      cpu的进程间的互斥,spinlock主要用于保护短小的临界区,使用时必须要特别注
      意死锁问题。
    b. semaphore是通过进程调度来实现互斥的。进程请求获取semaphore时,如果
      semaphore空闲则该进程获得semaphore,设置标志并返回;如果semaphore忙
      (其它用户已经获得semaphore)则系统构建等待队列并通过进程调度机制让本进
      程睡眠。进程释放semaphore时,系统按一定规则通过等待队列唤醒一个睡眠进
      程。对semaphore可执行up()和down()操作,详见include/asm/semaphore.h文件。
    c. spinlock主要是为SMP互斥而引入的。在请求获取spinlock时,如果空闲则获得
      spinlock,设置标志并返回。如果spinlock已经被其它用户获得而处于忙状态,
      系统就会一直占用CPU资源,不停查询spinlock的状态直到获得spinlock。


5. 其它问题
5.1 如何学习Linux内核?
    请先阅读本版精华区内核学习目录的相关文章。

5.2 如何下载精华区?
   a. 下载本站精华区详见BBShelp版置底文章“用户常见问题”。
   b. 在本站精华区ftp上找KernelTech.html.tgz(或类似文件名)文件。
   c. 2004-4月份的精华区下载
  ftp://youngcow.net/Special/smth%BE%AB%BB%AA%C7%F8/2004-04-09CHM/KernelTech.chm
5.3 init进程是核心进程吗?init与初始进程是不是一回事?
    Linux操作系统在系统初始化之初就捏造了一个原始进程(原始进程在系统初始化
   完毕后就演化成idle进程),当系统初始化进行到一定阶段,原始进程会创建(通
   过kernel_thread()函数)出来init进程,init进程继续进行系统初始化工作并在最
   后执行execve("/sbin/init",...),这样init就从原来的核心进程摇身一变成用户
   进程(用户程序/sbin/init)了。init进程的pid为1,原始进程(idle进程)的
   pid为0。所有其它的进程都由init进程派生,用ps或pstree命令可以看到这一点。

5.4 initrd(.img)有什么用?
   a. initrd(.img)是一个文件系统映像,里面一般包含一些特殊的硬件模块尤其是存
     储设备如scsi/raid/ext3模块,以便在保持内核足够小的同时又支持尽可能多的硬
     件设备,常被安装程序使用。
     initrd(.img)也不是必需的,只要必要的模块编译进内核就可以不用initrd(.img)。
   b. 在使用了initrd(.img)时,系统引导的大致过程如下:
    1)Loader程序(如lilo和grub)加载内核和initrd(.img)
    2)内核解压缩initrd(.img)为正常的RAM盘文件系统并挂接为根分区
    3)执行linuxrc,在此过程中会加载硬件模块
    4)在linuxrc终止后,真正的根文件系统被挂接
    5)在根文件系统上完成正常的引导过程。对于正常的系统而言,执行/sbin/init,
      这时控制就会转到正常的大家所熟知的启动过程。而对于安装程序,只需将控制
      转到安装过程的第一阶段,由它完成后续的安装环境的加载,设备的进一步初始
      化等操作。
   c. 要使用initrd(.img)首先内核必须配置成支持initrd:
        CONFIG_BLK_DEV_RAM=y
        CONFIG_BLK_DEV_INITRD=y
      其次要在Loader脚本中增加相应指示。如在grub.conf中增加一行:
        initrd /boot/initrd-2.4.20.img
   d. 可用mkinitrd命令创建initrd(.img)文件:
        mkinitrd  imagefilename  kernelversion
      如对于2.4.20的内核可以:
        mkinitrd /boot/initrd-2.4.20.img 2.4.20
   e. 具体可查看Documentation/initrd.txt和man mkiinitrd。mkinitrd命令执行的详
      细过程可以直接查看/sbin/mkinitrd(shell脚本)文件。


6. 关于本FAQ
   本FAQ主要根据本版以前的文章整理而成。
   特别感谢mada、pepp等网友提出宝贵意见!


7. Changelog
   2004/05/10 junky
   --发布FAQ 1.0
   --调整了目录结构
   --增加了Q2.5,Q2.6,Q5.1,Q5.2,Q5.4
   --Q1增加了2本新书
   --Q2.2增加了gnu.org的链接
   --Q3.1增加了init_module()返回0
   --Q3.2增加了insmod -f
   --Q4.2增加了errno的说明
   --Q4.9改名并增加了IBM developworks的链接

   2004/07/07 junky
   --删除Q2.11
 
   2005/11/5 jeffshia
   --更改目录结构
   --增加了学习的网站

评论

我的评论:

发表评论

请 登录 后发表评论。还没有在Zeuux哲思注册吗?现在 注册 !
王单单

回复 王单单  2009年08月28日 星期五 21:41

收藏

0条回复

高峰

回复 高峰  2009年08月28日 星期五 16:50

在UBUNTU下less /usr/share/doc/lxr/README.Debian.gz有详细的安装方法

0条回复

Eric

回复 Eric  2009年08月28日 星期五 11:41

哈哈,正找呢,收藏哈

0条回复

welfear

回复 welfear  2009年08月27日 星期四 21:41

惭愧的路过。。。。

0条回复

暂时没有评论

Zeuux © 2021

京ICP备05028076号