CSV全称是Comma-Separated Values(逗号分隔值)。作为一种数据传输与存储的格式,它显然没有xml,json强大,只能进行一些二维数组的数据处理,但它在项目还是经常会用到.

CSV的字符规则:

1 开头是不留空,以行为单位。

2 可含或不含列名,含列名则居文件第一行。

3 一行数据不跨行,无空行。

4 以半角逗号(即,)作分隔符,列为空也要表达其存在。

5 列内容如存在半角逗号(即,)换行符\r(10)\n(13)则用半角引号(即"")将该字段值包含起来。

6 列内容如存在半角引号(即")则应替换成半角双引号("")转义,并用半角引号(即"")将该字段值包含起来。

7 文件读写时引号,逗号操作规则互逆。

8 内码格式不限,可为 ASCII、Unicode 或者其他。

9 数据结束外,有\r\n作为结束标记

说明:这个规则对于excel完全适合

算法实现

namespace CSV
{
/// <summary>
/// CSVUtil 用来处理CSV格式的文件内容成一二维数组。
/// </summary>
public class CSVUtil
{
private string content;
public CSVUtil()
{ }
public CSVUtil(string _content)
{
content = _content;
}
public CSVUtil(string _content, bool _hasHeader)
{
content = _content;
hasHeader = _hasHeader;
} private bool hasHeader = true;
public bool HasHeader
{
get { return hasHeader; }
set { hasHeader = value; }
} private string[] headr;
public string[] Header
{
get { return headr; }
} private string[][] data;
public string[][] Data
{
get { return data; }
} /// <summary> /// 分割 CVS 文件内容为一个二维数组。 /// </summary> /// <param name="src">CVS 文件内容字符串</param> /// <returns>二维数组。String[line count][column count]</returns> public void Parse()
{ // 如果输入为空,返回 0 长度字符串数组 if (content == null || content.Length == 0) return;
string st = "";
List<List<string>> lines = new List<List<string>>(); // 行集合。其元素为行
List<string> cells = new List<string>(); // 单元格集合。其元素为一个单元格
bool beginWithQuote = false;
int maxColumns = 0;
// 遍历字符串的字符
for (int i = 0; i < content.Length; i++)
{
char ch = content[i];
#region CR 或者 LF
//A record separator may consist of a line feed (ASCII/LF=0x0A),
//or a carriage return and line feed pair (ASCII/CRLF=0x0D 0x0A).
// 这里我不明白CR为什么不作为separator呢,在Mac OS上好像是用CR的吧。
// 这里我“容错”一下,CRLF、LFCR、CR、LF都作为separator if (ch == '\r')
{
#region CR
if (beginWithQuote)
{
st += ch;
}
else
{
if (i + 1 < content.Length && content[i + 1] == '\n')
{ // 如果紧接的是LF,那么直接把LF吃掉
i++;
} //line = new String[cells.Count];
//System.Array.Copy (cells.ToArray(typeof(String)), line, line.Length);
//lines.Add(line); // 把上一行放到行集合中去 cells.Add(st);
st = "";
beginWithQuote = false;
maxColumns = (cells.Count > maxColumns ? cells.Count : maxColumns);
lines.Add(cells);
st = "";
cells = new List<string>();
}
#endregion CR
} else if (ch == '\n')
{
#region LF
if (beginWithQuote)
{
st += ch;
}
else
{
if (i + 1 < content.Length && content[i + 1] == '\r')
{ // 如果紧接的是LF,那么直接把LF吃掉
i++;
}
//line = new String[cells.Count];
//System.Array.Copy (cells.ToArray(typeof(String)), line, line.Length);
//lines.Add(line); // 把上一行放到行集合中去 cells.Add(st);
st = "";
beginWithQuote = false;
maxColumns = (cells.Count > maxColumns ? cells.Count : maxColumns);
lines.Add(cells);
st = "";
cells = new List<string>(); }
#endregion LF
} #endregion CR 或者 LF
else if (ch == '\"')
{ // 双引号
#region 双引号 if (beginWithQuote)
{
i++;
if (i >= content.Length)
{
cells.Add(st);
st = "";
beginWithQuote = false;
}
else
{
ch = content[i];
if (ch == '\"')
{
st += ch;
}
else if (ch == ',')
{
cells.Add(st);
st = "";
beginWithQuote = false;
}
else
{
throw new Exception("Single double-quote char mustnt exist in filed " + (cells.Count + 1) + " while it is begined with quote\nchar at:" + i);
}
}
} else if (st.Length == 0)
{
beginWithQuote = true;
} else
{
throw new Exception("Quote cannot exist in a filed which doesnt begin with quote!\nfield:" + (cells.Count + 1));
}
#endregion 双引号
} else if (ch == ',')
{
#region 逗号
if (beginWithQuote)
{
st += ch;
}
else
{
cells.Add(st);
st = "";
beginWithQuote = false;
}
#endregion 逗号
} else
{
#region 其它字符
st += ch;
#endregion 其它字符
} } if (st.Length != 0)
{
if (beginWithQuote)
{
throw new Exception("last field is begin with but not end with double quote");
}
else
{
cells.Add(st);
maxColumns = (cells.Count > maxColumns ? cells.Count : maxColumns);
lines.Add(cells);
}
}
int dataRowCount = hasHeader ? lines.Count - 1 : lines.Count;
data = new string[dataRowCount][];
for (int i = 0; i < lines.Count; i++)
{
cells = (List<string>)lines[i];
try
{
if (hasHeader == true && i == 0)
{
headr = new string[maxColumns];
for (int j = 0; j < maxColumns; j++)
{
headr[j] = cells[j];
}
}
else
{
int dataIndex = hasHeader ? i - 1 : i;
data[dataIndex] = new string[maxColumns];
for (int j = 0; j < maxColumns; j++)
{
data[dataIndex][j] = cells[j];
}
}
}
catch (Exception ex)
{ throw new Exception(ex.Message + "\nfield:" + (i + 1));
}
}
//System.Array.Copy(lines.ToArray(typeof(String[])), ret, ret.Length);
return; } public static string FormatField(object obj)
{
string result = string.Empty;
if (obj != null)
{
string old = obj.ToString(); if (old.IndexOf('\"') > -1 || old.IndexOf(',') > -1 || old.IndexOf('\n') > -1 || old.IndexOf('\r') > -1)
{
result = "\"" + old.Replace("\"", "\"\"") + "\"";
}
else
{
result = old;
}
}
return result;
} public static string FormatList<T>(IEnumerable<T> source, List<string> outputPropertys)
{
StringBuilder sbResult = new StringBuilder();
Dictionary<string, MethodInfo> methods = new Dictionary<string, MethodInfo>();
object val = null;
foreach (string propertyName in outputPropertys)
{
PropertyInfo p = typeof(T).GetProperty(propertyName);
methods.Add(propertyName, p.GetGetMethod());
sbResult.Append(propertyName + ",");
}
sbResult.Remove(sbResult.Length - 1, 1);
sbResult.Append(Environment.NewLine);
foreach (T item in source)
{
foreach (KeyValuePair<string, MethodInfo> method in methods)
{
val = method.Value.Invoke(item, null);
sbResult.Append(FormatField(val) + ",");
}
sbResult.Remove(sbResult.Length - 1, 1);
sbResult.Append(Environment.NewLine);
}
return sbResult.ToString();
}
}
}

细说CSV的更多相关文章

  1. csvkit---python一个牛逼到不行的csv处理库

    先吐槽一下:不管是百度还是谷歌,查来查去除了官方文档之外就没有任何可以借鉴的例子,虽然官方文档写的挺好的.但是我一直以为是在python语言的方式运行的,结果是以命令行的方式运行的,搞得我还以为这个库 ...

  2. PHP生成器细说

    之前写过关于生成器的文章,可能还不够详细,正好群里有朋友在讨论.觉得还是有必要再细说下,如果大家做过Python或者其他语言的,对于生成器应该不陌生.生成器是PHP 5.5.才引入的功能,也许大家觉得 ...

  3. [转]RPA认证 Developer UIPath Certificate,细说uipath认证学习,Online Quiz和Practical Exam项目详解

    本文转自:https://blog.csdn.net/u010369735/article/details/88621195 UIPath,RPA里算是比较简单易操作的一款软件了,因为公司业务的需要, ...

  4. 匹夫细说C#:庖丁解牛迭代器,那些藏在幕后的秘密

    0x00 前言 在匹夫的上一篇文章<匹夫细说C#:不是“栈类型”的值类型,从生命周期聊存储位置>的最后,匹夫以总结和后记的方式涉及到一部分迭代器的知识.但是觉得还是不够过瘾,很多需要说清楚 ...

  5. 细说WebSocket - Node篇

    在上一篇提高到了 web 通信的各种方式,包括 轮询.长连接 以及各种 HTML5 中提到的手段.本文将详细描述 WebSocket协议 在 web通讯 中的实现. 一.WebSocket 协议 1. ...

  6. mysql 大表拆分成csv导出

    最近公司有一个几千万行的大表需要按照城市的id字段拆分成不同的csv文件. 写了一个自动化的shell脚本 在/home/hdh 下面 linux-xud0:/home/hdh # lltotal 1 ...

  7. Bulk Insert:将文本数据(csv和txt)导入到数据库中

    将文本数据导入到数据库中的方法有很多,将文本格式(csv和txt)导入到SQL Server中,bulk insert是最简单的实现方法 1,bulk insert命令,经过简化如下 BULK INS ...

  8. 匹夫细说C#:委托的简化语法,聊聊匿名方法和闭包

    0x00 前言 通过上一篇博客<匹夫细说C#:庖丁解牛聊委托,那些编译器藏的和U3D给的>的内容,我们实现了使用委托来构建我们自己的消息系统的过程.但是在日常的开发中,仍然有很多开发者因为 ...

  9. 细说Java主流日志工具库

    概述 在项目开发中,为了跟踪代码的运行情况,常常要使用日志来记录信息. 在Java世界,有很多的日志工具库来实现日志功能,避免了我们重复造轮子. 我们先来逐一了解一下主流日志工具. java.util ...

随机推荐

  1. 网页footer背景(stick footer布局)

    今天遇到了一个有意思的问题,想在网站的foot里面加入一张背景图片,并且在footer的底部写下一些内容于是乎在footer添加了background,并设置了footer的大小 先说一下开始的做法: ...

  2. elasticsearch head 连接不到elasticsearch

    配置好head后看到没有正常连接到elasticsearch.  重启后效果:

  3. Python之freshman02

    内置方法:https://docs.python.org/3/library/functions.html?highlight=built#abs 一.数学运算 1.abs()-取绝对值 2.divm ...

  4. bzoj 1005: [HNOI2008]明明的烦恼 树的prufer序列+万进制

    题目传送门 思路: 这道题需要前置知识prufer编码,这篇博客对prufer编码和这道题的分析写的很好. 这里主要讲一些对大数阶乘的分解,一个办法当然是用高精度,上面这篇博客用的是java,还有一个 ...

  5. Cannot reinitialise DataTable 问题

    加个 destroy:true,   //Cannot reinitialise DataTable,解决重新加载表格内容问题

  6. UVA - 11552 DP 划分

    每k个字符划分一个组,该组内字符顺序可以任意重排,定义块为最长的连续的字符子串,求长度为m*k的字符串中最少的块的数目 设\(dp[i][j]\):前\(i\)组中第\(i\)组结尾为\(j\)的最优 ...

  7. 挑战程序设计竞赛 P131 区间DP

    书上好多题没补 PS.整个DP是根据Q来划分的,dalao的代码就是不一样啊 #include<bits/stdc++.h> #define rep(i,j,k) for(int i=j; ...

  8. 路径path的正则通配符-nodejs

    function regDir(str){ var reg=str if(typeof reg=="string"){ reg=reg.replace(/[\[\]\\\^\:\. ...

  9. Spring Cload

    Spring Cloud 从入门到精通 转载: https://blog.csdn.net/valada/article/details/80892573 https://gitbook.cn/git ...

  10. 修改TrustedInstaller权限文件

    我们在删除文件的时候有可能出现无法删除,并且需要TrustedInstaller提供的权限,所以我们主要修改该文件的拥有者(修改为本机用户)即可.下文举例哦,方法如下: 总结起来:修改文件的所有着为本 ...