通过前面几篇解析OpenvSwitch内部主要数据结构和流程,对OpenvSwitch有了相对简单的了解,由于本人不是专业搞OpenvSwitch的,纯属业余爱好,今天可能是OpenvSwitch最后一篇了,我们要做到有始有终嘛,所以我们来分析一下main函数。然而main函数里面涉及内容比较多,而且比较深入,所以这篇文章只是浅析,不能算深入剖析,希望以后能有哪位大神能够做一个深入剖析。
自己在学习开源软件总是喜欢看一下main函数,认为不把main函数搞明白了,就不算一个好程序员!!其实把main函数搞明白了,所有东西都会被串起来了,软件架构也就清晰啦。
我们先看一下openvswitch默认启动时候的参数:
--mlockall
--no-chdir
--log-file=/var/log/openvswitch/ovs-vswitchd.log
--pidfile=/var/run/openvswitch/ovs-vswitchd.pid
--detach –monitor
由此可知,上面是openvswitch会启动两个进程,一个进程是管理进程(2154),一个是业务处理进程(2155)。
我们开始进入正题吧,main函数虽然不是很长,但是最复杂的函数,里面涉及很多与操作系统相关的功能和函数,比如,守护进程,信号,dpdk,pipe等。如果熟悉linux环境编程,看main函数可能比较轻松一点。我们采用分段介绍:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
int main(int argc, char *argv[]) { char *unixctl_path = NULL; struct unixctl_server *unixctl; char *remote; bool exiting; int retval; set_program_name(argv[0]);/* ovs-vswitchd */ retval = dpdk_init(argc,argv); /* Netdev-dpdk.c 只有设置--dpdk的参数才开启dpdk功能 */ if (retval < 0) { return retval; } argc -= retval; argv += retval; ovs_cmdl_proctitle_init(argc, argv);/* windows函数是空 */ service_start(&argc, &argv);/* linux函数这个是空 */ remote = parse_options(argc, argv, &unixctl_path); fatal_ignore_sigpipe(); /* linux设置 信号 */ ovsrec_init(); daemonize_start(); /* 守护进程 */ |
以上代码主要完成:
1、dpdk初始化(如果系统支持),命令行参数解析,信号设置等,以便于openvswitch能够正常启动。参数解析比较枯燥,我们完全可以通过gdb调试跟踪,这样也比较方便理解。对于参数解析函数,我也没有深入研究,有兴趣网友可以分析一下。
2、daemonize_start启动守护进程。这个函数我深入研究了一下,这里我会深入展开的。
我们在这里就展开daemonize_start函数 :
我们假定进入函数daemonize_start的进程是进程A(PID=1005)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 |
void daemonize_start(void) { assert_single_threaded(); daemonize_fd = -1; if (detach) {/* 根据命令行参数(命令行参数设置detach),则全局变量detach是1 因此会进入if分支。*/ pid_t pid;/* 保存子进程ID */ /* fork_and_wait_for_ startup这个函数用于创建一个子进程,下面我着重分析的。通过函数名可知,父进程被挂起了。 */ if (fork_and_wait_for_startup(&daemonize_fd, &pid)) { VLOG_FATAL("could not detach from foreground session"); } /* 进程A(PID=1005)一直阻塞在管道那里,等待数据可读。当管道有可读数据时候,进程A就会跳出阻塞状态,然后进入if分支,最后进程A(PID=1005)就结束了。 */ if (pid > 0) { /* Running in parent process. */ exit(0); } /* 执行到下面是进程A(PID=1004)的子进程,我们称作进程B(PID=1007) * 执行完下面函数,使得进程B与进程A脱离进程组关系。换句话说, * 如果进程A退出,进程B不会变成孤儿进程。 */ setsid(); /* 子进程--进程B 与父进程脱离 进程组关系 */ } /* 下面的代码 进程B会执行,父进程A一直阻塞,等待管道的输入 */ if (monitor) {/* 根据命令行参数可知,全局变量monitor是1 */ int saved_daemonize_fd = daemonize_fd;/* 管道的输入端文件描述符 */ pid_t daemon_pid; /* 进程B创建一个子进程--进程C (PID=1010)*/ if (fork_and_wait_for_startup(&daemonize_fd, &daemon_pid)) { VLOG_FATAL("could not initiate process monitoring"); } /* 进入if分支,是进程B(PID=1007),但是进程B一直等待中。 */ if (daemon_pid > 0) { /* Running in monitor process. */ fork_notify_startup(saved_daemonize_fd);/* 在管道写入数据以便通知原始的父进程—进程A,这样进程A就会退出 */ close_standard_fds(); /* 进程B 阻塞这函数中,主要为了监控子进程—进程C(PID=1010) */ monitor_daemon(daemon_pid); } /* Running in daemon process. */ } forbid_forking("running in daemon process"); if (pidfile) { make_pidfile(); /* 创建pid文件 进程号是进程C的进程号 */ } /* Make sure that the unixctl commands for vlog get registered in a * daemon, even before the first log message. */ vlog_init(); } |
我们来看一下,这个fork函数,比较欣慰的是这个函数有英文注释,而且英文注释说的也非常清楚,下面也有我自己添加的注释。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 |
/* Forks, then: * * - In the parent, waits for the child to signal that it has completed its * startup sequence. Then stores -1 in '*fdp' and returns the child's * pid in '*child_pid' argument. * 父进程一直等待子进程的完成信号,当收到子进程的信号后,文件描述符(*fdp) * 保存-1,child_pid保存子进程的进程号。 * * - In the child, stores a fd in '*fdp' and returns 0 through '*child_pid' * argument. The caller should pass the fd to fork_notify_startup() after * it finishes its startup sequence. * 子进程返回:*fdp保存有效的文件描述符,child_pid保存0。 * * * Returns 0 on success. If something goes wrong and child process was not * able to signal its readiness by calling fork_notify_startup(), then this * function returns -1. However, even in case of failure it still sets child * process id in '*child_pid'. * * fdp = 文件描述符 */ static int fork_and_wait_for_startup(int *fdp, pid_t *child_pid) { int fds[2]; pid_t pid; int ret = 0; xpipe(fds); /* 初始化管道 */ pid = fork_and_clean_up(); /* 创建子进程 */ if (pid > 0) { /* Running in parent process. 父进程 */ size_t bytes_read; char c; close(fds[1]);/* 关闭写入端 也就是说父进程负责读 */ if (read_fully(fds[0], &c, 1, &bytes_read) != 0) {/* 父进程一直,等待读取数据 */ int retval; int status; do { retval = waitpid(pid, &status, 0);/* 等待子进程信号 */ } while (retval == -1 && errno == EINTR); if (retval == pid) { if (WIFEXITED(status) && WEXITSTATUS(status)) { /* Child exited with an error. Convey the same error * to our parent process as a courtesy. */ exit(WEXITSTATUS(status)); } else { char *status_msg = process_status_msg(status); VLOG_ERR("fork child died before signaling startup (%s)", status_msg); ret = -1; } } else if (retval < 0) { VLOG_FATAL("waitpid failed (%s)", ovs_strerror(errno)); } else { OVS_NOT_REACHED(); } } close(fds[0]); /* 关闭读取端 并且返回 */ *fdp = -1; } else if (!pid) { /* Running in child process. 子进程 */ close(fds[0]); /* 关闭读取端 也就是说子进程负责写 */ *fdp = fds[1]; } *child_pid = pid; /* 保存进程 */ return ret; } |
通过上面的分析可知,某个时刻,会有三个进程同事存在,为了验证准确性,我进行了gdb调试,调试截图如下:
再启动另外一个终端查看,ovs-vswitchd进程是否为三个,如下图所示:
通过查看,果然是存在三个进程。那么问题来了,当启动完成后,只有两个进程,那么什么时候进程A才会退出呢?
我们现在回到main函数中,通过阅读代码,我现在是这下面这个函数中,进程C会通知进程B完成初始化,然后进程B在通知进程A,最终进程A退出。下面代码主要是main函数中死循环,具体函数说明如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
exiting = false; while (!exiting) { memory_run(); if (memory_should_report()) { struct simap usage; simap_init(&usage); bridge_get_memory_usage(&usage); memory_report(&usage); simap_destroy(&usage); } /* 这个函数是vswitchd入口函数,所有虚拟交换机都是通过这个函数一点一点 * 构建出来。之前几篇文件,如果查看函数调用,最终都会被这个函数调用。 * 这个函数里面会调用函数daemonize_complete,这个函数是通知进程B初始化 * 完成。 */ bridge_run(); unixctl_server_run(unixctl);/* 针对上面命令行参数,unixctl是null. */ netdev_run(); memory_wait(); bridge_wait(); unixctl_server_wait(unixctl); netdev_wait(); if (exiting) { poll_immediate_wake(); } poll_block(); /* 当初始化完成后,进程C 一直在这里进程轮询 */ if (should_service_stop()) { exiting = true; } } bridge_exit(); unixctl_server_destroy(unixctl); service_stop(); return 0; } |
我们总结一下
1、任何程序都是可以调试,当我们通过看代码无法分析出层次关系,往往调试工具、日志是我们最好的伙伴。比如说,我当初不知道进程A是如何在什么情况下退出的,这个时候我就通过gdb调试,一步一步断点跟踪。
2、对于main函数还是有很多需要仔细推敲的,这里个人水平有限,加上工作中又有很多事情无法进一步分析。这里有几个疑惑地方,在这里向大家说明一下,如果有哪位大神知道,请一定要指点迷津。
疑惑1:函数unixctl_server_create会创建一个socket文件,这个socket文件默认是"punix:/usr/local/var/run/openvswitch/ovs-vswitchd.12861.ctl",用于通过和其他进程(主要是openvswitch相关工具),具体是哪些工具呢??
疑惑2:在main函数中,注册了一个命令行exit,使得openvswitchd能够安全退出,不知道这个命令行怎么用??
以上就是我分析openvswitchd源代码全部内容,有些地方分析不是很透彻,有些地方分析的也比较混乱。通过我这最近两月学习,有一些心得体会拿出来和大家分享一下:
1、个人觉得openvswitchd中代码含金量还是很高的,无论是从个人还是公司角度,都是值得我们学习与阅读。强烈建议有相关需求的人去阅读一下。
2、如果想深入学习openvswitchd,需要特别关注一下这几个方面,用户态和内核态程序间通信(Netlink),dpdk,netdev等。如果熟悉内核的人,对这些内容可能不是很陌生,然而很多人都不是搞内核的,所以这些内容需要我们个个突破。
3、我前面几篇都是分析用户态程序(ovs-vswitchd),内核态程序没有分析,其实内核态程序占得比重也非常大。
4、我建议在看我源码分析文章时,最好能够自己先看一下源代码,这样能够跟上我文章的思路,不然有的文章看着会很枯燥。
这里感谢大家支持,感谢sdnlab支持,希望大家在SDN道路上越走越光明!!
作者简介:
徐小冰:毕业于河北大学,主要从事嵌入式软件开发,虚拟化,SDN。目前基于ODL和Open vSwitch进行二次开发,希望与广大网友一起探讨学习。作者系OpenDaylihgt群(194240432)资深活跃用户,@IT难人。