　　Jsp敏感词过滤

　　大部分论坛、网站等，为了方便管理，都进行了关于敏感词的设定。

　　在多数网站，敏感词一般是指带有敏感政治倾向（或反执政党倾向）、暴力倾向、不健康色彩的词或不文明语，也有一些网站根据自身实际情况，设定一些只适用于本网站的特殊敏感词。

比如，当你发贴的时候带有某些事先设定的词时，这个贴是不能发出的。或者这个词被自动替换为星号(*)或叉号(X)等，或者说是被和谐掉了。

　　在我看来敏感词过滤最重要的是在写过滤词汇的算法，如何过滤出大批量的敏感词，我感觉DFA的思想不错

　　DFA简介

在实现文字过滤的算法中，DFA是唯一比较好的实现算法。DFA即Deterministic Finite Automaton，也就是确定有穷自动机，它是是通过event和当前的state得到下一个state，即event+state=nextstate。下图展示了其状态的转换

在这幅图中大写字母（S、U、V、Q）都是状态，小写字母a、b为动作。通过上图我们可以看到如下关系

a b b
S -----> U S -----> V U -----> V

在实现敏感词过滤的算法中，我们必须要减少运算，而DFA在DFA算法中几乎没有什么计算，有的只是状态的转换。

　　 Java实现DFA算法实现敏感词过滤

在Java中实现敏感词过滤的关键就是DFA算法的实现。首先我们对上图进行剖析。在这过程中我们认为下面这种结构会更加清晰明了。

同时这里没有状态转换，没有动作，有的只是Query（查找）。我们可以认为，通过S query U、V，通过U query V、P，通过V query U P。通过这样的转变我们可以将状态的转换转变为使用Java集合的查找。

诚然，加入在我们的敏感词库中存在如下几个敏感词：日本人、日本鬼子、毛.泽.东。那么我需要构建成一个什么样的结构呢？

首先：query 日 ---> {本}、query 本 --->{人、鬼子}、query 人 --->{null}、query 鬼 ---> {子}。形如下结构：

下面我们在对这图进行扩展：

这样我们就将我们的敏感词库构建成了一个类似与一颗一颗的树，这样我们判断一个词是否为敏感词时就大大减少了检索的匹配范围。比如我们要判断日本人，根据第一个字我们就可以确认需要检索的是那棵树，然后再在这棵树中进行检索。

　　这个思想留着以后用，我先写一个过滤词汇的一些简单方法，没有涉及到算法

　　Java代码实现

　　基本思路：重写HttpServletRequestWrapper中的getParameter方法，让用户输入的字通过这个过滤，写一个类继承他，重写方法，在写一个过滤词汇的词典，来与输入的对比

先写一个jsp页面，js是用Ajax去刷新的，最近学的想用用试试看，感觉不错，Ajax是需要引js文件的

<body>

    <input type="text" name="word"  onblur="filter(this.value);" id="filter"/>

    <input type="submit" value="敏感词过滤" />

<script type="text/javascript" src="js/jquery.js"></script>

<script type="text/javascript">

    function filter(num){

        $.ajax({

            type:"post",//提交方式

            url:"FilterWordServlet",

            async:true,//是否异步请求

            dataType:"html",//数据的返回类型

            data:{"num":num},//数据传过去的值

            success:function(data,textStatus){//成功的执行之后，回调这个函数处理事务

                $("#filter").val(data);

            },

            error:function(){//失败执行这个函数，处理失败的事务

                alert("error");

            }

        })

    }

</script>

</body>

再继承HttpServletRequestWrapper在重写getParameter方法，

//主要思路是继承HttpServletRequestWrapper，去改写他的getParameter方法，让其有过滤的业务

public class WordFilter extends HttpServletRequestWrapper{

    public WordFilter(HttpServletRequest request) {

        super(request);

        // TODO Auto-generated constructor stub

    }

    @Override

    public String getParameter(String name){

        //先得到父亲的方法，传入值，得到的值在跟过滤字典中的比较看是否含有，有则替换，没有放过返回

        String word=super.getParameter(name);

        //调用字典中的文字

        List<String> list=Words.getList();

        for (String string : list) {

            //判断是否含有这样字典中的文字

            if (word.contains(string)) {

                //将字符串中含有的替换掉

                word=word.replace(string, "**");

            }

        }

        return word;

    }

}

再写一个Servlet，去获取用户输入的字，进行过滤操作

@WebServlet("/FilterWordServlet")

public class FilterWordServlet extends HttpServlet {

    private static final long serialVersionUID = 1L;

    protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {

        //设置请求和编码格式

        request.setCharacterEncoding("utf-8");

        response.setCharacterEncoding("utf-8");

        //自己创建的请求方法，继承与原来的，改写了getParameter方法让其有过滤的业务

        WordFilter wFilter=new WordFilter(request);

         String string=wFilter.getParameter("num");

         System.out.println("---------------");

         //out的响应方法。输出在页面上，让ajax得到这个去处理一些业务

         PrintWriter out=response.getWriter();

         out.println(string);

    }

    protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {

        // TODO Auto-generated method stub

        doGet(request, response);

    }

}

我自己建了一个list集合的过滤词汇，以后修改可以从这里开始词汇的搜索算法，先建一个词汇类

public class Words {

    //过滤词汇的词典

    static List<String> list=new ArrayList<>();

    static{

        list.add("你妹的");

        list.add("sb");

        list.add("滚");

    }

    public static List<String> getList() {

        return list;

    }

    public static void setList(List<String> list) {

        Words.list = list;

    }

}

这只是最基础的一种。高级的需要算法的实现，可以思考一下这个DFA算法，我感觉很不错

【版本声明】本文为博主原创文章，转载请注明出处