java opencsv解析csv文件

记一次使用opencsv解析csv文件时碰到的坑

最近在开发过程中需要解析csv文件，公司用的解析工具是opencsv，在根据opencsv的官方文档去解析时发现csv文件中含有繁体字，使用其自带的CsvToBean来转换会出现异常com.opencsv.exceptions.CsvRequiredFieldEmptyException: Number of data fields does not match number of headers.于是我这里想到的方法是使用CsvReader来读取文件，然后通过反射来注入到bean中，这里做个记录希望对大家有帮助

一、引入依赖包

<dependency>
    <groupId>com.opencsv</groupId>
    <artifactId>opencsv</artifactId>
    <version>4.4</version>
</dependency>

二、具体代码

1.自定义注解，基础一点的就是只需要定义数据列标题名title、格式转换convert，我这里是由于业务需要所以稍微复杂些

import java.lang.annotation.*;

/**
 * <p>
 * 解析csv文件注解
 * </p>
 *
 * @Author zlc0w01
 * @Date 2020/4/20 10:15
 * @Version 1.0
 */
@Target(ElementType.FIELD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface CsvReadColmn {
    /**
     * 该列数据的标题名
     */
    String title();

    /**
     * 是否需要加密
     */
    boolean encrypt() default false;

    /**
     * 读csv文件字段绑定
     * 绑定格式转换类，字符串转Object
     * @return
     */
    Class<? extends AbstractConvertCsvBase> convert() default AbstractConvertCsvBase.Converter.class;

    /**
     * 转换依赖字段，如有某个字段转换需要依赖其他字段，
     * 可设置为依赖字段的title
     * @return
     */
    String convertRelyColumn() default "";

}

2.接下来就是定义用于转换的基类了，这里面可以自己定义，我这里定义的意思是转换所有字段，去掉前面的单引号“'”，其他需要定义的转换规则可以继承这个类，然后重写convert方法就行了

public abstract class AbstractConvertCsvBase {
    private static final String SPLIT = "'";

    /**
     * 转换
     * @param params 参数中必须有key为"value"
     * @return
     */
    public Object startConvert(Map<String,String> params){
        String value = params.get("value");
        if (StringUtils.isNotBlank(value) && SPLIT.equals(value.substring(0,1))){
            value = value.substring(1);
        }
        if (StringUtils.isBlank(value)){
            return null;
        }
        params.put("value",value);
        return convert(params);
    }

    /**
     * 转换方法
     * @param params
     * @return
     */
    public abstract Object convert(Map<String,String> params);

    public static class Converter extends AbstractConvertCsvBase{
        public static Converter newInstance() {
            return new Converter();
        }
        @Override
        public Object convert(Map<String,String> params) {
            return params.get("value");
        }
    }
}

3.定义需要转换的bean

public class GbInsurancePolicy implements Serializable {

    private static final long serialVersionUID = 1L;

    /**
     * id
     */
    @CsvReadColmn(title = "内部号码")
    private String id;

    @CsvReadColmn(title = "出生日期",convert = CsvConvertStringToSimpleDate.class)
    private Date birthday;

}

//上面说到定义转换规则，这里拿出生日期举例

public class CsvConvertStringToSimpleDate extends AbstractConvertCsvBase {

   @SneakyThrows
   @Override
   public Object convert(Map<String, String> params) {
      String value = params.get("value");
      SimpleDateFormat sf = new SimpleDateFormat("yyyy-MM-dd");
      return sf.parse(value);
   }
}

4.定义反射来解析csv文件

public List<T> readSpecialCsv(String filePath) throws Exception{
        List<T> list = new ArrayList<>();
        FileInputStream fr = new FileInputStream(filePath);
        UnicodeInputStream unicodeInputStream = new UnicodeInputStream(fr, true);
        String enc = unicodeInputStream.getEncodingFromStream();
        InputStreamReader is = new InputStreamReader(unicodeInputStream, enc);
        CSVReader reader = new CSVReader(is);
        String [] nextLine;
        String[] header = reader.readNext();
        while ((nextLine = reader.readNext()) != null) {
            if (nextLine.length < header.length){
                continue;
            }
            T t = getTClass().newInstance();
            Field[] fields = t.getClass().getDeclaredFields();
            for (Field field : fields) {
                field.setAccessible(true);
                Field fieldName = t.getClass().getDeclaredField(field.getName());
                CsvReadColmn csvReadColmn = fieldName.getAnnotation(CsvReadColmn.class);
                if (null != csvReadColmn){
                    int columnPosition = Arrays.asList(header).indexOf(csvReadColmn.title());
                    String value = nextLine[columnPosition];
                    AbstractConvertCsvBase convert = csvReadColmn.convert().newInstance();
                    Map<String,String> params = new HashMap<>();
                    params.put("value",value);
                    //是否有需要依赖某个字段来转换的
                    if (StringUtils.isNotBlank(csvReadColmn.convertRelyColumn())){
                        int relyColumnPosition = Arrays.asList(header).indexOf(csvReadColmn.convertRelyColumn());
                        String relyColumn = nextLine[relyColumnPosition];
                        params.put("relyColumn",relyColumn);
                    }
                    Object obj = convert.startConvert(params);
                    String methodName = "set" + field.getName().substring(0, 1).toUpperCase() + field.getName().substring(1);
                    Method m = t.getClass().getDeclaredMethod(methodName, fieldName.getType());
                    m.invoke(t, obj);
                }
            }
            list.add(t);
        }
        reader.close();
        return list;
    }

以上就是整个流程，希望对大家有帮助