预分配内存fifo实现可变长度字节序列存储
预分配内存fifo实现可变长度字节序列存储
github链接https://github.com/gexin1023/utils/tree/master/fifo
fifo即先进先出队列,可以用链表来实现,在链表头部插入数据,尾部读数据,每次插入新的数据都动态分配一段内存用于数据存储,适用于变长数据的队列实现。也可以用数组实现,用一个数组buf[LEN]
作为缓存,用两个整数分别记录写数据和读数据的位置,适用于每次读取相同长度数据的场景。
有的场景中,要避免频繁的malloc/free动态分配释放,与此同时数据长度不定。因此,需要预分配一段空间存储数据,也需要记录每一个数据的长度,方便存取。
fifo数据结构
typedef struct
{
unsigned int pos; // position index in buffer
unsigned int len; // the length of data
list_node_t node;
}pos_t;
typedef struct
{
unsigned char *buffer;
unsigned int size;
unsigned int in;
unsigned int out;
list_node_t pos_head;
} fifo_t;
设计以上的数据结构,buffer
即为fifo的存储空间,开始时根据需要预分配,size
表示buffer
的长度。in
和out
分别记录读写数据的位置,pos_t
结构组成的链表用于记录每次写入数据的位置及长度。
fifo接口
fifo_t * fifo_init(unsigned char *buf, unsigned int size);
fifo_t *fifo_alloc(unsigned int size);
void fifo_free(fifo_t *fifo);
/* fifo_put, 向fifo加入数据
* @fifo, 目标fifo
* @buf, 数据
* @len, 数据长度
* 如果空间不够,就删除最旧的数据,新数据覆盖旧数据
*/
unsigned int fifo_put(fifo_t *fifo, unsigned char *buf, unsigned int len);
/* fifo_put_tail
* 有时会存在优先级比较高的数据需要放在最先出队的位置
* /
unsigned int fifo_put_tail(fifo_t *fifo, unsigned char *buf, unsigned int len);
/* fifo_get
* 取数据
*/
int fifo_get(fifo_t *fifo, unsigned char *buf, unsigned int *p_len);
/* fifo_get_len
* 获取数据长度
*/
int fifo_get_len(fifo_t *fifo);
fifo接口的实现如下:
/* fifo_init: create a fifo using a preallocated memory
*
* buf: preallocated memory
* size: the length of the preallocated memory, 取以2为底的整数
*/
fifo_t * fifo_init(unsigned char *buf, unsigned int size)
{
fifo_t *fifo = (fifo_t *)malloc(sizeof(fifo_t));
fifo->buffer = buf;
fifo->size = size;
fifo->in = fifo->out = 0;
fifo->pos_head.next = &(fifo->pos_head);
fifo->pos_head.prev = &(fifo->pos_head);
return fifo;
}
/* fifo_alloc: create a fifo
*
* size: the length of the allocated memory
*/
fifo_t *fifo_alloc(unsigned int size)
{
unsigned char * buf = (unsigned char *)malloc(size);
return fifo_init(buf, size);
}
/* fifo_free:
*
*/
void fifo_free(fifo_t *fifo)
{
free(fifo->buffer);
free(fifo);
}
/* fifo_put, 向fifo加入数据
* @fifo, 目标fifo
* @buf, 数据
* @len, 数据长度
* 如果空间不够,就删除最旧的数据,新数据覆盖旧数据 */
static unsigned int __fifo_put(fifo_t *fifo, unsigned char *buf, unsigned int len)
{
unsigned int l;
/* fifo 空间不足时,删除旧内容,直到可以容纳新的数据 */
while(len>(fifo->size - fifo->in + fifo->out))
{
pos_t *pos = list_entry(fifo->pos_head.prev, pos_t, node);
fifo->out += pos->len;
list_del(fifo->pos_head.prev);
free(pos);
}
/* 首先复制数据从( in % buf_size)位置到buffer结尾 */
l = min(len , fifo->size - (fifo->in & (fifo->size-1)));
memcpy(fifo->buffer + (fifo->in & (fifo->size-1)), buf ,l);
/* 然后复制剩下的数据从buffer开头开始 */
memcpy(fifo->buffer, buf+l, len-l);
/* 加入新的位置节点 */
pos_t *pos = (pos_t *)malloc(sizeof(pos_t));
pos->len=len;
pos->pos=fifo->in;
list_add(&(fifo->pos_head), &(pos->node));
/* 更改写入点索引 */
fifo->in += len;
return len;
}
unsigned int fifo_put(fifo_t *fifo, unsigned char *buf, unsigned int len)
{
return __fifo_put(fifo, buf, len);
}
unsigned int fifo_put_tail(fifo_t *fifo, unsigned char *buf, unsigned int len)
{
unsigned int l;
/* fifo 空间不足时,删除旧内容,直到可以容纳新的数据 */
while(len>(fifo->size - fifo->in + fifo->out))
{
pos_t *pos = list_entry(fifo->pos_head.prev, pos_t, node);
fifo->out += pos->len;
list_del(fifo->pos_head.prev);
free(pos);
}
fifo->out -= len;
/* 首先复制数据从( out % buf_size)位置到buffer结尾 */
l = min(len , fifo->size - (fifo->out & (fifo->size-1)));
memcpy(fifo->buffer + (fifo->out & (fifo->size-1)), buf ,l);
/* 然后复制剩下的数据从buffer开头开始 */
memcpy(fifo->buffer, buf+l, len-l);
/* 加入新的位置节点 */
pos_t *pos = (pos_t *)malloc(sizeof(pos_t));
pos->len=len;
pos->pos=fifo->out;
list_add_tail(&(fifo->pos_head), &(pos->node));
return len;
}
int fifo_get(fifo_t * fifo, unsigned char * buf, unsigned int * p_len)
{
if(fifo->pos_head.next == &(fifo->pos_head))
{
// fifo is emperty
return -1;
}
pos_t *pos = list_entry(fifo->pos_head.prev, pos_t, node);
*p_len = pos->len;
list_del(&(pos->node));
free(pos);
int l = min(*p_len, fifo->size - (fifo->out &(fifo->size-1)));
memcpy(buf, fifo->buffer+(fifo->out & (fifo->size-1)), l);
memcpy(buf+l, fifo->buffer, *p_len-l);
fifo->out += *p_len;
return *p_len;
}
int fifo_get_len(fifo_t * fifo)
{
if(fifo->pos_head.next == &(fifo->pos_head))
{
// fifo is emperty
return -1;
}
pos_t *pos = list_entry(fifo->pos_head.prev, pos_t, node);
return (int)pos->len;
}
预分配内存fifo实现可变长度字节序列存储的更多相关文章
- python高级(四)—— 文本和字节序列(编码问题)
本文主要内容 字符 字节 结构体和内存视图 字符和字节之间的转换——编解码器 BOM鬼符 标准化Unicode字符串 Unicode文本排序 python高级——目录 文中代码均放在github上: ...
- Fluent_Python_Part2数据结构,04-text-byte,文本和字节序列
文本和字节序列 人使用文本,计算机使用字节序列 1. 大纲: 字符.码位和字节表述 bytes.bytearray和memoryview等二进制序列的独特特性 全部Unicode和陈旧字符集的编解码器 ...
- Python文本和字节序列
ASCII码 早期人们用8位二进制来编码英文字母(最前面的一位是0) 也就是说,将英文字母和一些常用的字符和这128种二进制0.1串一一对应起来, 比如:大写字母“A”所对应的二进制位“0100000 ...
- 《流畅的Python》第二部分 数据结构 【序列构成的数组】【字典和集合】【文本和字节序列】
第二部分 数据结构 第2章 序列构成的数组 内置序列类型 序列类型 序列 特点 容器序列 list.tuple.collections.deque - 能存放不同类型的数据:- 存放的是任意类型的对象 ...
- Python的文本和字节序列
一.字符串的表示和存储 字符串是字符的序列,每个字符都有有一个数字作为标识,同时会有一个将标识转换为存储字节的编码方案: s = 'hello world python' for c in s: pr ...
- vecor预分配内存溢出2
vector预分配内存溢出导致原始的 迭代器 失效 consider what happens when you add the one additional object that causes t ...
- Python 文本和字节序列
p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 15.0px Helvetica } Python 3 明确区分了人类可读的文本字符串和原始的字节序列.隐式 ...
- matlab运行出现“变量似乎会随着迭代次数改变而变化,请预分配内存,以提高运行速度”问题
这句话大致意思就是: b = 0;for i = 1:3 a(i) = b;end是说变量的长度是变化的,经常在循环里出现,比如上面这个例子,这样会影响计算速度,最好的办法是预先定义a的长度,比 ...
- 流畅的python第四章文本和字节序列学习记录
字符问题 把码位转化成字节序列的过程是编码,把字节序列转化成码位的过程是解码 把unicode字符串当成人类可读的文本,码位当成机器可读的, 将字节序列编程人类可读是解码,把字符串编码成字节序列是编码 ...
随机推荐
- grid 布局的使用
grid 布局的使用 css 网格布局,是一种二维布局系统. 浏览器支持情况:老旧浏览器不支持, 概念: 网格容器.元素应用dispalay:grid,它是所有网格项的父元素. <div cla ...
- jQuery 遍历 - children() 方法 获取指定id下子元素的值
<a id="Aobj_2_2" class="" specid="2" specvid="2" href=&qu ...
- acm--1006
Problem Description The three hands of the clock are rotating every second and meeting each other ma ...
- MVC Controller 基类 BaseController 中的 Request
今天修复mvc中的一个bug,需求是每个页面要获取当前URL链接中 host首是否正确,我把获取url的方法写到了Controller的基类BaseController(BaseController继 ...
- Laravel 入门笔记
1.MVC简介 MVC全名是Model View Controller,是模型-视图-控制器的缩写 Model是应用程序中用于处理应用程序数据逻辑的部分 View是应用程序中处理数据显示的部分 Con ...
- 详解 Python3 正则表达式(二)
上一篇:详解 Python3 正则表达式(一) 本文翻译自:https://docs.python.org/3.4/howto/regex.html 博主对此做了一些批注和修改 ^_^ 使用正则表达式 ...
- python -- 简单配置发送邮件功能
本文用第三方类库:yagmail 实现:以QQ邮箱作为发送邮箱为例.最终的实现效果:给指定邮箱,发送指定内容的邮件. 准备工作 1.用于发送邮件的账号信息 比如账号用自己的qq邮箱,但'密码'需要在邮 ...
- python--模块之sys与python解释器交互模块
作用:sys模块是与python解释器交互的一个接口.它提供了一系列有关python运行环境的变量和函数. 常用函数:import sys sys.argv #命令行参数list,第一个元素是程序本身 ...
- 用Python生成词云
词云以词语为基本单元,根据词语在文本中出现的频率设计不同大小的形状以形成视觉上的不同效果,从而使读者只要“一瞥“即可领略文本的主旨.以下是一个词云的简单示例: import jieba from wo ...
- python 解积分方程
引用:https://www.aliyun.com/jiaocheng/527786.html sympy求解极限.积分.微分.二元一次方程:http://www.gzhshoulu.wang/art ...