Apache-Tika解析HTML文档

通常在使用爬虫时，爬取到网上的文章都是各式各样的格式处理起来比较麻烦，这里我们使用Apache-Tika来处理HTML格式的文章，如下：

package com.mengyao.tika.app;

import java.io.File;
import java.io.FileInputStream;

import org.apache.tika.metadata.Metadata;
import org.apache.tika.parser.ParseContext;
import org.apache.tika.parser.html.HtmlParser;
import org.apache.tika.sax.BodyContentHandler;

public class HtmlApp {

    public static void main(final String[] args) throws Exception {
        // Tika默认是10*1024*1024，这里防止文件过大导致Tika报错
        BodyContentHandler handler = new BodyContentHandler(1024 * 1024 * 10);
        Metadata metadata = new Metadata();
        FileInputStream inputstream = new FileInputStream(new File("D:/product.html"));
        ParseContext pcontext = new ParseContext();

        // 解析HTML文档时应由超类AbstractParser的派生类HtmlParser实现
        HtmlParser msofficeparser = new HtmlParser();
        msofficeparser.parse(inputstream, handler, metadata, pcontext);
        // 获取HTML文档的内容
        System.out.println("HTML文档内容:" + handler.toString());

        // 获取HTML文档的元数据
        System.out.println("HTML文档元数据:");
        String[] metadataNames = metadata.names();

        for (String name : metadataNames) {
            System.out.println(name + " : " + metadata.get(name));
        }
    }

}