细说CSV
CSV全称是Comma-Separated Values(逗号分隔值)。作为一种数据传输与存储的格式,它显然没有xml,json强大,只能进行一些二维数组的数据处理,但它在项目还是经常会用到.
CSV的字符规则:
1 开头是不留空,以行为单位。
2 可含或不含列名,含列名则居文件第一行。
3 一行数据不跨行,无空行。
4 以半角逗号(即,)作分隔符,列为空也要表达其存在。
5 列内容如存在半角逗号(即,)换行符\r(10)\n(13)则用半角引号(即"")将该字段值包含起来。
6 列内容如存在半角引号(即")则应替换成半角双引号("")转义,并用半角引号(即"")将该字段值包含起来。
7 文件读写时引号,逗号操作规则互逆。
8 内码格式不限,可为 ASCII、Unicode 或者其他。
9 数据结束外,有\r\n作为结束标记
说明:这个规则对于excel完全适合
算法实现
namespace CSV
{
/// <summary>
/// CSVUtil 用来处理CSV格式的文件内容成一二维数组。
/// </summary>
public class CSVUtil
{
private string content;
public CSVUtil()
{ }
public CSVUtil(string _content)
{
content = _content;
}
public CSVUtil(string _content, bool _hasHeader)
{
content = _content;
hasHeader = _hasHeader;
} private bool hasHeader = true;
public bool HasHeader
{
get { return hasHeader; }
set { hasHeader = value; }
} private string[] headr;
public string[] Header
{
get { return headr; }
} private string[][] data;
public string[][] Data
{
get { return data; }
} /// <summary> /// 分割 CVS 文件内容为一个二维数组。 /// </summary> /// <param name="src">CVS 文件内容字符串</param> /// <returns>二维数组。String[line count][column count]</returns> public void Parse()
{ // 如果输入为空,返回 0 长度字符串数组 if (content == null || content.Length == 0) return;
string st = "";
List<List<string>> lines = new List<List<string>>(); // 行集合。其元素为行
List<string> cells = new List<string>(); // 单元格集合。其元素为一个单元格
bool beginWithQuote = false;
int maxColumns = 0;
// 遍历字符串的字符
for (int i = 0; i < content.Length; i++)
{
char ch = content[i];
#region CR 或者 LF
//A record separator may consist of a line feed (ASCII/LF=0x0A),
//or a carriage return and line feed pair (ASCII/CRLF=0x0D 0x0A).
// 这里我不明白CR为什么不作为separator呢,在Mac OS上好像是用CR的吧。
// 这里我“容错”一下,CRLF、LFCR、CR、LF都作为separator if (ch == '\r')
{
#region CR
if (beginWithQuote)
{
st += ch;
}
else
{
if (i + 1 < content.Length && content[i + 1] == '\n')
{ // 如果紧接的是LF,那么直接把LF吃掉
i++;
} //line = new String[cells.Count];
//System.Array.Copy (cells.ToArray(typeof(String)), line, line.Length);
//lines.Add(line); // 把上一行放到行集合中去 cells.Add(st);
st = "";
beginWithQuote = false;
maxColumns = (cells.Count > maxColumns ? cells.Count : maxColumns);
lines.Add(cells);
st = "";
cells = new List<string>();
}
#endregion CR
} else if (ch == '\n')
{
#region LF
if (beginWithQuote)
{
st += ch;
}
else
{
if (i + 1 < content.Length && content[i + 1] == '\r')
{ // 如果紧接的是LF,那么直接把LF吃掉
i++;
}
//line = new String[cells.Count];
//System.Array.Copy (cells.ToArray(typeof(String)), line, line.Length);
//lines.Add(line); // 把上一行放到行集合中去 cells.Add(st);
st = "";
beginWithQuote = false;
maxColumns = (cells.Count > maxColumns ? cells.Count : maxColumns);
lines.Add(cells);
st = "";
cells = new List<string>(); }
#endregion LF
} #endregion CR 或者 LF
else if (ch == '\"')
{ // 双引号
#region 双引号 if (beginWithQuote)
{
i++;
if (i >= content.Length)
{
cells.Add(st);
st = "";
beginWithQuote = false;
}
else
{
ch = content[i];
if (ch == '\"')
{
st += ch;
}
else if (ch == ',')
{
cells.Add(st);
st = "";
beginWithQuote = false;
}
else
{
throw new Exception("Single double-quote char mustnt exist in filed " + (cells.Count + 1) + " while it is begined with quote\nchar at:" + i);
}
}
} else if (st.Length == 0)
{
beginWithQuote = true;
} else
{
throw new Exception("Quote cannot exist in a filed which doesnt begin with quote!\nfield:" + (cells.Count + 1));
}
#endregion 双引号
} else if (ch == ',')
{
#region 逗号
if (beginWithQuote)
{
st += ch;
}
else
{
cells.Add(st);
st = "";
beginWithQuote = false;
}
#endregion 逗号
} else
{
#region 其它字符
st += ch;
#endregion 其它字符
} } if (st.Length != 0)
{
if (beginWithQuote)
{
throw new Exception("last field is begin with but not end with double quote");
}
else
{
cells.Add(st);
maxColumns = (cells.Count > maxColumns ? cells.Count : maxColumns);
lines.Add(cells);
}
}
int dataRowCount = hasHeader ? lines.Count - 1 : lines.Count;
data = new string[dataRowCount][];
for (int i = 0; i < lines.Count; i++)
{
cells = (List<string>)lines[i];
try
{
if (hasHeader == true && i == 0)
{
headr = new string[maxColumns];
for (int j = 0; j < maxColumns; j++)
{
headr[j] = cells[j];
}
}
else
{
int dataIndex = hasHeader ? i - 1 : i;
data[dataIndex] = new string[maxColumns];
for (int j = 0; j < maxColumns; j++)
{
data[dataIndex][j] = cells[j];
}
}
}
catch (Exception ex)
{ throw new Exception(ex.Message + "\nfield:" + (i + 1));
}
}
//System.Array.Copy(lines.ToArray(typeof(String[])), ret, ret.Length);
return; } public static string FormatField(object obj)
{
string result = string.Empty;
if (obj != null)
{
string old = obj.ToString(); if (old.IndexOf('\"') > -1 || old.IndexOf(',') > -1 || old.IndexOf('\n') > -1 || old.IndexOf('\r') > -1)
{
result = "\"" + old.Replace("\"", "\"\"") + "\"";
}
else
{
result = old;
}
}
return result;
} public static string FormatList<T>(IEnumerable<T> source, List<string> outputPropertys)
{
StringBuilder sbResult = new StringBuilder();
Dictionary<string, MethodInfo> methods = new Dictionary<string, MethodInfo>();
object val = null;
foreach (string propertyName in outputPropertys)
{
PropertyInfo p = typeof(T).GetProperty(propertyName);
methods.Add(propertyName, p.GetGetMethod());
sbResult.Append(propertyName + ",");
}
sbResult.Remove(sbResult.Length - 1, 1);
sbResult.Append(Environment.NewLine);
foreach (T item in source)
{
foreach (KeyValuePair<string, MethodInfo> method in methods)
{
val = method.Value.Invoke(item, null);
sbResult.Append(FormatField(val) + ",");
}
sbResult.Remove(sbResult.Length - 1, 1);
sbResult.Append(Environment.NewLine);
}
return sbResult.ToString();
}
}
}
细说CSV的更多相关文章
- csvkit---python一个牛逼到不行的csv处理库
先吐槽一下:不管是百度还是谷歌,查来查去除了官方文档之外就没有任何可以借鉴的例子,虽然官方文档写的挺好的.但是我一直以为是在python语言的方式运行的,结果是以命令行的方式运行的,搞得我还以为这个库 ...
- PHP生成器细说
之前写过关于生成器的文章,可能还不够详细,正好群里有朋友在讨论.觉得还是有必要再细说下,如果大家做过Python或者其他语言的,对于生成器应该不陌生.生成器是PHP 5.5.才引入的功能,也许大家觉得 ...
- [转]RPA认证 Developer UIPath Certificate,细说uipath认证学习,Online Quiz和Practical Exam项目详解
本文转自:https://blog.csdn.net/u010369735/article/details/88621195 UIPath,RPA里算是比较简单易操作的一款软件了,因为公司业务的需要, ...
- 匹夫细说C#:庖丁解牛迭代器,那些藏在幕后的秘密
0x00 前言 在匹夫的上一篇文章<匹夫细说C#:不是“栈类型”的值类型,从生命周期聊存储位置>的最后,匹夫以总结和后记的方式涉及到一部分迭代器的知识.但是觉得还是不够过瘾,很多需要说清楚 ...
- 细说WebSocket - Node篇
在上一篇提高到了 web 通信的各种方式,包括 轮询.长连接 以及各种 HTML5 中提到的手段.本文将详细描述 WebSocket协议 在 web通讯 中的实现. 一.WebSocket 协议 1. ...
- mysql 大表拆分成csv导出
最近公司有一个几千万行的大表需要按照城市的id字段拆分成不同的csv文件. 写了一个自动化的shell脚本 在/home/hdh 下面 linux-xud0:/home/hdh # lltotal 1 ...
- Bulk Insert:将文本数据(csv和txt)导入到数据库中
将文本数据导入到数据库中的方法有很多,将文本格式(csv和txt)导入到SQL Server中,bulk insert是最简单的实现方法 1,bulk insert命令,经过简化如下 BULK INS ...
- 匹夫细说C#:委托的简化语法,聊聊匿名方法和闭包
0x00 前言 通过上一篇博客<匹夫细说C#:庖丁解牛聊委托,那些编译器藏的和U3D给的>的内容,我们实现了使用委托来构建我们自己的消息系统的过程.但是在日常的开发中,仍然有很多开发者因为 ...
- 细说Java主流日志工具库
概述 在项目开发中,为了跟踪代码的运行情况,常常要使用日志来记录信息. 在Java世界,有很多的日志工具库来实现日志功能,避免了我们重复造轮子. 我们先来逐一了解一下主流日志工具. java.util ...
随机推荐
- x-boot
https://github.com/Exrick/x-boot-front https://gitee.com/Exrick/x-boot
- python大作业-图书管理系统
#缺少循环执行和错误处理 #add()函数 添加了循环执行 #错误处理:regist()函数 登录和退出选择的时候添加了错误处理 import sys import importlib importl ...
- R语言学习笔记(三)
5. 数据结构 5.1 数据结构简介 (1)向量 一个向量的所有元素必须有相同的类型(模式) (2)列表 列表可以非同质的 列表可按位置索引:lst[[2]] 抽取子列表:lst[c(2,5)] 列表 ...
- npm 安装命令中的参数 --save-dev
为项目安装模块的npm命令一般是—— npm i module-name 执行完毕后,需要手动把模块名称连同版本号一同的添加到模块配置文件package.json中的依赖里(dependencies) ...
- UVA - 11029 输出前三位
题意:给定\(a\)和\(n\),输出\(a^n\)的前三位和后三位 后三位快速幂 \(log_{10}(a^n)=n*log_{10}(a)=n*log_{10}(x*y),y<10,x mo ...
- 计算hashCode通用计算公式
1.java计算公式 @Override public int hashCode() { //设置初始值 ; //假设有效域为: name,age,idCardNo,incomeAnnual,sex, ...
- n个骰子的和,组成数字m的可能
//n个骰子的和,组成数字m的可能 function f(n,m) { if(n==1){ return 1; } var len=m-n; var sum=0; while (len>=0){ ...
- 认识CSS中css背景样式设置
前端之HTML,CSS(五) CSS CSS背景 CSS可以添加背景颜色和背景图片,也可以对图片进行设置.设置的样式有: background-color 背景颜色 background-image ...
- Twitter Storm 安装实战
实际上安装Twitter Storm是上周三的事情了,周三的时候安装了一个单机版的,用WordCount跑了一下,感觉还不错.周四试着在集群上安装,碰到了一些问题,一直折腾到周五,留了个尾巴(没有做测 ...
- ABP Zero集成微信小程序登录
首先是ABPZero的第三方登录模块,通过调用第三方的登录接口返回用户信息,再交给ABP的登录验证模块去执行对应的登录注册. 涉及的数据库表主要是这两个表,AbpUsers存储了用户信息,AbpUse ...