项目简介:
在Linux环境下用C语言开发的Vsftpd的简化版本,拥有部分Vsftpd功能和相同的FTP协议,系统的主要架构采用多进程模型,每当有一个新的客户连接到达,主进程就会派生出一个ftp服务进程来为客户提供服务。同时每个ftp服务进程配套了nobody进程(内部私有进程),主要是为了做权限提升和控制。
实现功能:
除了基本的文件上传和下载功能,还实现模式选择、断点续传、限制连接数、空闲断开、限速等功能。
用到的技术:
socket、I/O复用、进程间通信、HashTable
欢迎技术交流q:2723808286
项目开源!!!

miniFTP项目实战一
miniFTP项目实战二
miniFTP项目实战三
miniFTP项目实战四
miniFTP项目实战五
miniFTP项目实战六

5.1 下载文件 断点续载

RETR命令是从服务器下载文件,命令流程如下:

通过RETR 命令来指定下载文件,当传输中断的时候客户端保存已下载文件的偏移量,后面续传的时候从REST的位置继续传输,从而达到断点续载的效果。

加锁读取文件

在获取数据传输通道之后,服务器要打开文件,以只读的方式打开文件,并加读锁:

//打开文件 只读
int fd = open(sess->arg, O_RDONLY);
if (fd == -1) {
ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
}
//加读锁
int ret = lock_file_read(fd);
if (ret == -1) {
ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
return ;
}

加锁的具体操作如下:

int lock_file_read(int fd)
{
int ret;
struct flock the_lock;
memset(&the_lock, 0, sizeof(the_lock));
the_lock.l_type = F_RDLCK; //加锁类型为:读锁
the_lock.l_whence = SEEK_SET; //文件头部开始加锁
the_lock.l_start = 0; //文件头开始的偏移地址开始加锁
the_lock.l_len = 0; //加锁的范围 0表示将整个文件加锁 do {
ret = fcntl(fd, F_SETLKW, &the_lock); //文件描述符 加锁 锁相关的结构体
} while (ret < 0 && errno == EINTR); //排除信号中断 return ret;
}

定位到断点

如果是之前传输中断之后的,会通过REST来设置断点,在do_rest函数中,保存断点位置到sess中:

static void do_rest(session_t *sess)
{
//字符串转换为long long
sess->restart_pos = str_to_longlong(sess->arg);
char text[1024] = {0};
sprintf(text, "Restart position accepted (%lld)", sess->restart_pos);
ftp_relply(sess, FTP_RESTOK, text);
}

然后通过lseek函数定位到断点处:

//定位到断点
if (offset != 0) {
ret = lseek(fd, offset, SEEK_SET); //从头开始
if (ret == -1) {
ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
return ;
}
}

传输文件

文件本身是放在磁盘中存放的,从磁盘到内核是通过DMA取得,这里我们从内核再读取文件,通过read系统调用来读取文件,然后通过writen写入内核,通过socket发送出去:

char buf[4096];
int flag = 0;
while (1) {
ret = read(fd, buf, sizeof(buf));
if (ret == -1) { //被中断打断 继续执行 其他情况退出
if (errno == EINTR) continue;
else {
flag = 1;
break;
}
} else if (ret == 0) { //成功读完
flag = 0;
break;
} if (writen(sess->data_fd, buf, sizeof(buf)) != ret) { //写入失败
flag = 2;
break;
}
}

但是这样传输文件得话,从内核到用户空间,再从用户空间到内核,开销太大了。

下面采用直接在内核中完成拷贝得方式:

    long long bytes_to_send = sbuf.st_size;
if (offset > bytes_to_send) {
bytes_to_send = 0;
} else {
bytes_to_send -= offset;
} sess->bw_transfer_start_sec = get_time_sec();
sess->bw_transfer_start_usec = get_time_usec();
while (bytes_to_send) {
int num_this_time = bytes_to_send > 4096 ? 4096 : bytes_to_send; //决定当此发送的数据字节数
ret = sendfile(sess->data_fd, fd, NULL, num_this_time);
if (ret == -1) {
flag = 2;
break;
} limit_rate(sess, bytes_to_send, 0); //限速
if (sess->abor_received) {
flag = 2;
break;
}
bytes_to_send -= ret; //更新要发送的Byte
}
if (bytes_to_send == 0) {
flag = 0;
} else {
flag = 2;
}

主要是通过sendfile函数实现,其函数原型如下:

ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

sendfile 函数在两个文件描写叙述符之间直接传递数据(全然在内核中操作,传送),从而避免了内核缓冲区数据和用户缓冲区数据之间的拷贝,操作效率非常高,被称之为零拷贝。

参考:https://blog.csdn.net/u010649766/article/details/80339988

几种零拷贝技术的对比:https://mp.weixin.qq.com/s/eHhhW8j3vs8puMkC5zoIpQ

综合起来看一下RETR的操作函数:

static void do_retr(session_t *sess)
{
//获取数据传输通道的fd
if (get_transfer_fd(sess) == 0) {
return ;
} long long offset = sess->restart_pos;
sess->restart_pos = 0; //打开文件 只读
int fd = open(sess->arg, O_RDONLY);
if (fd == -1) {
ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
}
//加读锁
int ret = lock_file_read(fd);
if (ret == -1) {
ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
return ;
} //判断文件类型 是否是普通文件
struct stat sbuf;
ret = fstat(fd, &sbuf);
if (!S_ISREG(sbuf.st_mode)) { //不是普通文件
ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
return ;
} //定位到断点
if (offset != 0) {
ret = lseek(fd, offset, SEEK_SET); //从头开始
if (ret == -1) {
ftp_relply(sess, FTP_FILEFAIL, "Failed to open file.");
return ;
}
} //回应150 ASCII与二进制传输唯一的区别就是 :是否对\r\n处理
char tmp[1024] = {0};
if (sess->is_ascii) { //ASCII模式
sprintf(tmp, "Opening ASCII mode data connection for %s (%lld bytes).",
sess->arg, (long long)sbuf.st_size);
} else { //二进制模式
sprintf(tmp, "Opening BINARY mode data connection for %s (%lld bytes).",
sess->arg, (long long)sbuf.st_size);
}
ftp_relply(sess, FTP_DATACONN, tmp); //下载文件
//从内核到用户空间 再到内核
char buf[4096];
int flag = 0;
// while (1) {
// ret = read(fd, buf, sizeof(buf));
// if (ret == -1) { //被中断打断 继续执行 其他情况退出
// if (errno == EINTR) continue;
// else {
// flag = 1;
// break;
// }
// } else if (ret == 0) { //成功读完
// flag = 0;
// break;
// } // if (writen(sess->data_fd, buf, sizeof(buf)) != ret) { //写入失败
// flag = 2;
// break;
// }
// } //直接在内核中完成拷贝
long long bytes_to_send = sbuf.st_size;
if (offset > bytes_to_send) {
bytes_to_send = 0;
} else {
bytes_to_send -= offset;
} sess->bw_transfer_start_sec = get_time_sec();
sess->bw_transfer_start_usec = get_time_usec();
while (bytes_to_send) {
int num_this_time = bytes_to_send > 4096 ? 4096 : bytes_to_send; //决定当此发送的数据字节数
ret = sendfile(sess->data_fd, fd, NULL, num_this_time);
if (ret == -1) {
flag = 2;
break;
} limit_rate(sess, bytes_to_send, 0); //限速
if (sess->abor_received) {
flag = 2;
break;
}
bytes_to_send -= ret; //更新要发送的Byte
}
if (bytes_to_send == 0) {
flag = 0;
} else {
flag = 2;
} close(sess->data_fd);
sess->data_fd = -1;
close(fd); if (flag == 0) {
ftp_relply(sess, FTP_TRANSFEROK, "Transfer complete.");
} else if (flag == 1) { //读取失败
ftp_relply(sess, FTP_BADSENDFILE, "Failure reading from local file.");
} else if (flag == 2) { //发送失败
ftp_relply(sess, FTP_BADSENDNET, "Failure writting to networks stream.");
} check_abor(sess);
start_cmdio_alarm(); //数据传输完毕之后 重新启动控制通道时钟
}

5.2 上传文件 断点续传

上传文件有三种方式:

  • STOR + REST:断点续传
  • APPE:追加
  • STOR:覆盖

直接通过upload_common来实现上传文件操作

/* 上传命令      下载命令
* STOR RETR
*
* 断点续传 断点续载
* REST REST
* STOR RETR
*
* APPE
* 用upload_common() 来区别APPE断点续传与REST+STOR断点续传
* */
static void do_stor(session_t *sess)
{
upload_common(sess, 0);
} static void do_appe(session_t *sess)
{
upload_common(sess, 1);
}

具体操作如下:

void upload_common(session_t *sess, int is_append)
{
int flag = 0;
//获取数据传输通道的fd
if (get_transfer_fd(sess) == 0) {
return ;
} //保存断点ian
long long offset = sess->restart_pos;
sess->restart_pos = 0; //以写入的方式创建文件
int fd = open(sess->arg, O_CREAT | O_WRONLY, 0666);
if (fd == -1) {
ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
return ;
}
//加写锁
int ret = lock_file_write(fd);
if (ret == -1) {
ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
return ;
} //三种上传方式:STOR、STOR+REST、APPE
if (!is_append && offset == 0) { //覆盖文件
ftruncate(fd, 0);
if (lseek(fd, 0, SEEK_SET) < 0) {
ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
return ;
}
} else if (!is_append && offset != 0) { //REST+STOR 断点续传
if (lseek(fd, offset, SEEK_SET) < 0) {
ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
return ;
}
} else if (is_append) {//APPE 追加到末尾
if (lseek(fd, 0, SEEK_END) < 0) {
ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
return ;
}
} //获取文件状态
struct stat sbuf;
ret = fstat(fd, &sbuf);
if (!S_ISREG(sbuf.st_mode)) { //不是普通文件
ftp_relply(sess, FTP_UPLOADFAIL, "Could not create the file.");
return ;
} //回应150 ASCII与二进制传输唯一的区别就是 :是否对\r\n处理
char tmp[1024] = {0};
if (sess->is_ascii) { //ASCII模式
sprintf(tmp, "Opening ASCII mode data connection for %s (%lld bytes).",
sess->arg, (long long)sbuf.st_size);
} else { //二进制模式
sprintf(tmp, "Opening BINARY mode data connection for %s (%lld bytes).",
sess->arg, (long long)sbuf.st_size);
}
ftp_relply(sess, FTP_DATACONN, tmp); //接收文件 从data_fd中接收数据,放在buf中,然后写入文件
char buf[1024];
int data_fd = sess->data_fd; sess->bw_transfer_start_sec = get_time_sec();
sess->bw_transfer_start_usec = get_time_usec(); while (1) {
ret = read(data_fd, buf, sizeof(buf));
if (ret == -1) { //被中断打断 继续执行 其他情况退出
if (errno == EINTR) continue;
else {
flag = 2; //从数据socket读取失败
break;
}
} else if (ret == 0) { //成功读完
flag = 0;
break;
} limit_rate(sess, ret, 1); //判断上传限速
if (sess->abor_received) { //数据传输过程中的ABOR处理 给426回复
flag = 2;
break;
} if (writen(fd, buf, sizeof(buf)) != ret) { //写入到本地文件失败
flag = 1;
break;
}
}
close(sess->data_fd);
sess->data_fd = -1;
close(fd); if (flag == 0) {
ftp_relply(sess, FTP_TRANSFEROK, "Transfer complete.");
} else if (flag == 1) { //写入本地失败
ftp_relply(sess, FTP_BADSENDFILE, "Failure writting to local file.");
} else if (flag == 2) { //读取网络失败
ftp_relply(sess, FTP_BADSENDNET, "Failure reading from networks stream.");
} check_abor(sess); //传输完成后检查ABOR
start_cmdio_alarm(); //数据传输完毕之后 重新启动控制通道时钟
}

miniFTP项目实战五的更多相关文章

  1. miniFTP项目实战六

    项目简介: 在Linux环境下用C语言开发的Vsftpd的简化版本,拥有部分Vsftpd功能和相同的FTP协议,系统的主要架构采用多进程模型,每当有一个新的客户连接到达,主进程就会派生出一个ftp服务 ...

  2. miniFTP项目实战三

    项目简介: 在Linux环境下用C语言开发的Vsftpd的简化版本,拥有部分Vsftpd功能和相同的FTP协议,系统的主要架构采用多进程模型,每当有一个新的客户连接到达,主进程就会派生出一个ftp服务 ...

  3. miniFTP项目实战四

    项目简介: 在Linux环境下用C语言开发的Vsftpd的简化版本,拥有部分Vsftpd功能和相同的FTP协议,系统的主要架构采用多进程模型,每当有一个新的客户连接到达,主进程就会派生出一个ftp服务 ...

  4. miniFTP项目实战二

    项目简介: 在Linux环境下用C语言开发的Vsftpd的简化版本,拥有部分Vsftpd功能和相同的FTP协议,系统的主要架构采用多进程模型,每当有一个新的客户连接到达,主进程就会派生出一个ftp服务 ...

  5. React-Native 之 项目实战(五)

    前言 本文 有配套视频,可以酌情观看. 文中内容因各人理解不同,可能会有所偏差,欢迎朋友们联系我讨论. 文中所有内容仅供学习交流之用,不可用于商业用途,如因此引起的相关法律法规责任,与我无关,如文中内 ...

  6. miniFTP项目集合

    项目简介 在Linux环境下用C语言开发的Vsftpd的简化版本,拥有部分Vsftpd功能和相同的FTP协议,系统的主要架构采用多进程模型,每当有一个新的客户连接到达,主进程就会派生出一个ftp服务进 ...

  7. miniFTP项目实战一

    项目简介: 在Linux环境下用C语言开发的Vsftpd的简化版本,拥有部分Vsftpd功能和相同的FTP协议,系统的主要架构采用多进程模型,每当有一个新的客户连接到达,主进程就会派生出一个ftp服务 ...

  8. 【.NET Core项目实战-统一认证平台】第十五章 网关篇-使用二级缓存提升性能

    [.NET Core项目实战-统一认证平台]开篇及目录索引 一.背景 首先说声抱歉,可能是因为假期综合症(其实就是因为懒哈)的原因,已经很长时间没更新博客了,现在也调整的差不多了,准备还是以每周1-2 ...

  9. 【.NET Core项目实战-统一认证平台】第五章 网关篇-自定义缓存Redis

    [.NET Core项目实战-统一认证平台]开篇及目录索引 上篇文章我们介绍了2种网关配置信息更新的方法和扩展Mysql存储,本篇我们将介绍如何使用Redis来实现网关的所有缓存功能,用到的文档及源码 ...

随机推荐

  1. springcloud gateway(hystrix filter)

    参考 https://blog.csdn.net/forezp/article/details/83792388 1.依赖pom.xml <project xmlns="http:// ...

  2. 『心善渊』Selenium3.0基础 — 23、Selenium元素等待

    目录 1.什么是元素等待 2.为什么要设置元素等待 3.Selenium中常用的等待方式 4.强制等待 5.隐式等待 (1)隐式等待介绍 (2)示例 6.显式等待 (1)显式等待介绍 (2)语法 (3 ...

  3. muggle_ocr 下载安装

    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple muggle_ocr

  4. 【故障公告】redis 服务器宕机引发博客站点故障

    非常抱歉,今天下午 17:10~17:40 左右,由于博客系统所使用的 redis 服务器宕机,造成博客站点无法正常访问,由此给您带来很大的麻烦,请您谅解. 我们会针对这次故障改进 redis 服务器 ...

  5. C语言字符串处理库函数大全(转)

    一.string.h中字符串处理函数 在头文件<string.h>中定义了两组字符串函数.第一组函数的名字以str开头:第二组函数的名字以mem开头. 只有函数memmove对重叠对象间的 ...

  6. Spring Cloud组件和架构图

    Spring Cloud是微服务架构的集大成者,将一系列优秀的组件进行了整合. 服务网关:聚合内部服务,提供统一的对外API接口,屏蔽内部实现.可以解决跨域.认证和前端调用负责的问题,便于项目重构.可 ...

  7. python使用笔记16--操作redis

    操作redis应先引入第三方模块 执行以下命令 pip install redis 1.redis常用方法 1 import redis 2 #decode_responses=True将bytes转 ...

  8. python twain 扫描

    def multiScan(self): """ Scan and return an array of PIL objects If no images, will r ...

  9. C语言的编译与链接

    C语言源文件要经过编译.链接才能生成可执行程序:编译(Compile)会将源文件(.c文件)转换为目标文件.对于 VC/VS,目标文件后缀为.obj:对于GCC,目标文件后缀为.o.编译是针对单个源文 ...

  10. 家庭账本开发day02

    今日完成 今天主要进行了前台界面的构架,利用layUI已有的模板编写新增账单界面 然后进行了后端的Bean和Servlet的初步编写,实现数据库的构建. 遇到问题 获取前端传输数据,并添加数据到数据库 ...