一只简单的网络爬虫（基于linux C/C++）————配置文件设计及读取

一般来说linux下比较大型的程序都是以配置文件作为参数介质传递的，该爬虫也采用配置文件的方式来获取参数，配置文件格式大致如下：

max_job_num=1
#seeds=https://www.baidu.com
#seeds=http://bbs.scut.edu.cn/classic/
logfile=spiderq.log

以“=”作为分割符，左边为key，右边为valve，主要包含的参数内容为：最大的任务数，种子，日志文件，日志等级，深度，模块路径，支持的文件类型，等，以“#”开头的就作为注释。

配置文件结构体如下：

Config * initconfig()
{
    Config *conf = (Config *)malloc(sizeof(Config));

    conf->max_job_num = 10;
    conf->seeds = NULL;
    conf->include_prefixes = NULL;
    conf->exclude_prefixes = NULL;
    conf->logfile = NULL;
    conf->log_level = 0;
    conf->max_depth = INF;
    conf->make_hostdir = 0;
    conf->module_path = NULL;
    conf->stat_interval = 0;
    //conf->modules

    return conf;
}

是一个全局的结构体，若以类的方式实现则可以设计成单例类，里面的参数主要保存从配置文件中读取到的东西。加载配置文件后，配置文件的参数设置被保存到了Config结构体的，供后面的函数使用

加载配置文件的函数如下：

void loadconfig(Config *conf)
{

    FILE *fp = NULL;
    char buf[MAX_CONF_LEN+1];
    int argc = 0;
    char **argv = NULL;
    int linenum = 0;
    char *line = NULL;
    const char *err = NULL;

    if ((fp = fopen(CONF_FILE, "r")) == NULL) //打开配置文件
    {
        SPIDER_LOG(SPIDER_LEVEL_ERROR, "Can't load conf_file %s", CONF_FILE);
    } 

    while (fgets(buf, MAX_CONF_LEN+1, fp) != NULL)//获取一行到buf
    {
        linenum++;
        line = strim(buf);//去除空格，在qstring中
        //过滤#
        if (line[0] == '#' || line[0] == '\0') continue;
        //count: 分割后的字符串长度
        //limit: 分割多少次
        argv = strsplit(line, '=', &argc, 1);
        if (argc == 2) {
            if (strcasecmp(argv[0], "max_job_num") == 0) {
                conf->max_job_num = atoi(argv[1]);
            }
//extern char *strdup(char *s);
//功 能: 将串拷贝到新建的位置处
//strdup()在内部调用了malloc()为变量分配内存，
//不需要使用返回的字符串时，需要用free()释放相应的内存空间，
//否则会造成内存泄漏
            //strcasecmp（忽略大小写比较字符串）
            else if (strcasecmp(argv[0], "logfile") == 0) {
                conf->logfile = strdup(argv[1]);
            } else if (strcasecmp(argv[0], "include_prefixes") == 0) {
                conf->include_prefixes = strdup(argv[1]);
            } else if (strcasecmp(argv[0], "exclude_prefixes") == 0) {
                conf->exclude_prefixes = strdup(argv[1]);
            } else if (strcasecmp(argv[0], "seeds") == 0) {
                conf->seeds = strdup(argv[1]);
            } else if (strcasecmp(argv[0], "module_path") == 0) {
                conf->module_path = strdup(argv[1]);
            } else if (strcasecmp(argv[0], "load_module") == 0) {
                conf->modules.push_back(strdup(argv[1]));
            } else if (strcasecmp(argv[0], "log_level") == 0) {
                conf->log_level = atoi(argv[1]);
            } else if (strcasecmp(argv[0], "max_depth") == 0) {
                conf->max_depth = atoi(argv[1]);
            } else if (strcasecmp(argv[0], "stat_interval") == 0) {
                conf->stat_interval = atoi(argv[1]);
            } else if (strcasecmp(argv[0], "make_hostdir") == 0) {
                conf->make_hostdir = yesnotoi(argv[1]);
            } else if (strcasecmp(argv[0], "accept_types") == 0) {
                conf->accept_types.push_back(strdup(argv[1]));
            } else {
                err = "Unknown directive"; goto conferr;
            }
        } else {
            err = "directive must be 'key=value'"; goto conferr;
        }

    }

    return;

conferr:
    SPIDER_LOG(SPIDER_LEVEL_ERROR, "Bad directive in %s[line:%d] %s", CONF_FILE, linenum, err);
}

下面介绍几个函数：

（1）fgets函数是用来获取行的，该函数可读取文件中的一行，并且会包含换行符

（2）strim函数用于去除空格，其实现如下：参数是行指针

//去除空格
char * strim(char *str)
{
    char *end, *sp, *ep;
    size_t len;

    sp = str;
    end = ep = str+strlen(str)-1;
    //从行首开始
    while(sp <= end && isspace(*sp)) sp++;
    //从行尾开始
    while(ep >= sp && isspace(*ep)) ep--;
    //计算长度
    len = (ep < sp) ? 0 : (ep-sp)+1;
    sp[len] = '\0';
    return sp;
}

（3）strsplit函数用于分割字符串，实现方法如下：

//切割字符串，函数内申请，函数外释放
//count: 分割后的字符串长度
//limit: 分割多少次
char ** strsplit(char *line, char delimeter, int *count, int limit)
{
    char *ptr = NULL, *str = line;
    char **vector = NULL;

    *count = 0;
    //strchr函数原型：extern char *strchr(const char *s,char c);查找字符串s中首次出现字符c的位置。
    while((ptr = strchr(str, delimeter)))
    {
        *ptr = '\0';
        vector = (char **)realloc(vector,((*count)+1)*sizeof(char *));
        vector[*count] = strim(str);//等号前面部分去除空格后放入vector
        str = ptr+1;//此时str指向等号后面部分（会继续查找后面的等号）
        (*count)++;
        if (--limit == 0) break;
    }
    if (*str != '\0')
    {
        vector = (char **)realloc(vector,((*count)+1)*sizeof(char *));
        vector[*count] = strim(str);//分割空格
        (*count)++;
    }
    return vector;
}

（4）strcasecmp函数是忽略大小写比较字符串，该函数用来比较配置文件的key值

定义函数 int strcasecmp (const char *s1, const char *s2);

函数说明 strcasecmp()用来比较参数s1和s2字符串，比较时会自动忽略大小写的差异。

返回值 若参数s1和s2字符串相等则返回0。s1大于s2则返回大于0 的值，s1 小于s2 则返回小于0的值。

（5）strdup函数

extern char *strdup(char *s);

功 能: 将串拷贝到新建的位置处，strdup()在内部调用了malloc()为变量分配内存，不需要使用返回的字符串时，需要用free()释放相应的内存空间，否则会造成内存泄漏