[Java]一段尚未雕琢的分词代码
package com.hy; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; public class Entry { public static void main(String[] args) throws IOException{ // 取得用户输入的表达式 BufferedReader br = new BufferedReader(new InputStreamReader(System.in)); System.out.print("请输入需要分词的文本:"); String rawExpression = br.readLine(); Lexer l=new Lexer(rawExpression); } }
package com.hy; import java.util.regex.Matcher; import java.util.regex.Pattern; // 分词器 public class Lexer { public Lexer(String expression) { String regex="\\s*((//.*)|([0-9]+)|(\"(\\\\\\\\\\\"|\\\\\\\\\\\\\\|\\\\\\\\n|[^\\\"])*\")" +"|[A-Z_a-z][A-Z_a-z0-9]*|==|<=|>=|&&|\\|\\||\\p{Punct})?"; Pattern pattern=Pattern.compile(regex); Matcher matcher=pattern.matcher(expression); matcher.useTransparentBounds(true).useAnchoringBounds(false); int pos=0; int end=expression.length(); while(pos<end) { matcher.region(pos, end); if(matcher.lookingAt()) { if(matcher.group(1)!=null) { System.out.print("1."+matcher.group(1)); if(matcher.group(2)!=null) { System.out.print(" 2."+matcher.group(2)); if(matcher.group(3)!=null) { System.out.print(" 3."+matcher.group(3)); } } } System.out.println(); pos=matcher.end(); } } } }
输出:
请输入需要分词的文本:int a=108;// 人数 1.int 1.a 1.= 1.108 1.; 1.// 人数 2.// 人数 请输入需要分词的文本:select a,b,c from tb1 where a='1' order by b desc 1.select 1.a 1., 1.b 1., 1.c 1.from 1.tb1 1.where 1.a 1.= 1.' 1.1 1.' 1.order 1.by 1.b 1.desc 请输入需要分词的文本:1+2*(4-3)-5 1.1 1.+ 1.2 1.* 1.( 1.4 1.- 1.3 1.) 1.- 1.5
诸位看官莫怪,一时没来得及收拾。
[Java]一段尚未雕琢的分词代码的更多相关文章
- Java认证:JavaRunnable线程编写接口代码
Java认证:JavaRunnable线程编写接口代码.JavaRunnable线程如何才能更好的适应目前的编程环境呢?下面我们就看看如何才能更好的进行相关环境.希望下面的文章对大家有所帮助.Java ...
- Java:程序不过是几行代码的集合
程序不过是几行代码的集合.就像下面这样: public class Test { public static void main(String[] args) { System.out.println ...
- Java中替换HTML标签的方法代码
这篇文章主要介绍了Java中替换HTML标签的方法代码,需要的朋友可以参考下 replaceAll("\\&[a-zA-Z]{0,9};", "").r ...
- 一段显示隐藏列表HTML代码
一段显示隐藏列表HTML代码, 技巧在于把页面上的元素(“返回首页”)和控制显示/隐藏的元素(id=navs-menu)放在一个共同的div上,并在该div上绑定onmouseover和onmouse ...
- java mail实现Email的发送,完整代码
java mail实现Email的发送,完整代码 1.对应用程序配置邮件会话 首先, 导入jar <dependencies> <dependency> <groupId ...
- 编程算法 - 字典分词 代码(C)
字典分词 代码(C) 本文地址: http://blog.csdn.net/caroline_wendy 给定字典, 给定一句话, 进行分词. 使用深度遍历(DFS)的方法. 使用一个參数string ...
- C#和Java中执行SQL文件脚本的代码(非常有用)
原文:C#和Java中执行SQL文件脚本的代码(非常有用) 我们在做程序的时候有事后会涉及到利用sql文件 直接执行,可是在sql文件中有很多注释,我们要一句一句的执行首先必须的得把sql文件解析 去 ...
- java中CRUD(增删查改)底层代码的实现
java中CRUD(增删查改)底层代码的实现: package com.station.dao; import com.station.model.Product; import java.sql.* ...
- “全栈2019”Java多线程第二十一章:同步代码块产生死锁的例子
难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java多 ...
随机推荐
- easyui-datagrid 编辑模式详解——combobox
用于列表显示号了,需要改动某一列的值,而且根据每一行的数据去加载data数据,放在这个列中供别人选择 //-------------------- 代码可变区//---------- 数据定义区var ...
- C语言特殊函数的应用
1. va_list相关函数的学习: va_list是一种变参量的指针类型定义. va_list使用方法如下: 1)首先在函数中定义一个具有va_list型的变量,这个变量是指向参数的指针. 2)首先 ...
- SQL语句复习【专题七】
SQL语句复习[专题七] 完整性约束分类1)域完整性约束(非空not null,检查check)2)实体完整性约束(唯一unique,主键primary key)3)参照完整性约束(外键foreign ...
- nginx的反向代理的优势,特点于原理(一)
说到反向代理,首先先说一下反向代理的概念 反向代理(Reverse Proxy)方式是指以代理服务器来接受客户端的连接请求,然后将请求转发给网络上的web服务器(可能是apache,nginx,tom ...
- manjaro 常用软件安装
1.搜狗输入法 sudo pacman -S fcitx-sogoupinyin fcitx-configtool fcitx-im yay -Sa fcitx-qt4 sudo vim /etc/e ...
- NIM 1
博弈论(一):Nim游戏 重点结论:对于一个Nim游戏的局面(a1,a2,...,an),它是P-position当且仅当a1^a2^...^an=0,其中^表示位异或(xor)运算. Nim游戏是博 ...
- 【SDR】UHD安装教程
USRP作为软件无线电系统中常用的射频设备,其驱动UHD的安装及稳定运行,是SDR系统稳定的必备条件,该篇博客总结UHD的相关安装方法,主要有三种,分别是apt-get.github clone源码编 ...
- https加载http资源,导致ios手机上的浏览器图片加载问题
今天解决一个线上bug的时候发现的问题,如下图: 从表象来看,同样的图片,安卓手机上可以正常展示,但是到ios手机上首次进入页面就不能正常显示图片,必须手动刷新一次页面才能正常加载. 这时候,我们首先 ...
- ios11返回按钮问题
在苹果系统升级到iOS11之后,页面的返回按钮的点击区域是根据设置的按钮的frame来确定的,在设置按钮太小的时候,点击就会出现点击多次才能点击到一次的现象,处理的方法就是设置按钮的frame变大代码 ...
- CodeForces 830B - Cards Sorting
将每个数字的位置存进该数字的vector中 原数组排个序从小到大处理,每次在vector里二分找到距离当前位置“最远”的位置(相差最大),更新答案 树状数组维护每个数字现在的位置和原位置之差 #inc ...