以前使用fastjson替换jackson时,没有直接在页面打印过json,都是js使用没有出现乱码,偶然 打印出来出现了中文乱码 之前使用的配置方式 @Configuration public class FastJsonConf { @Bean public HttpMessageConverters fastjsonHttpMessageConverter() { //消息转换对象 FastJsonHttpMessageConverter fastJsonHttpMessageConver

JSOUP乱码情况产生 这几天我用 JSOUP 多线程的方式,爬取了200 多万数据,数据为各地的地名相关.结果有小部分数据,不到 1 万乱码.我先检查了我的编码为UTF-8 ,觉得应该没有问题.代码基本如下如下: try{ doc = Jsoup.connect(url) .header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0&q

欢迎和大家交流技术相关问题: 邮箱: jiangxinnju@163.com 博客园地址: http://www.cnblogs.com/jiangxinnju GitHub地址: https://github.com/jiangxincode 知乎地址: https://www.zhihu.com/people/jiangxinnju linux系统中文件名内容为urf8编码, windows系统中文件名默认为gbk编码, 多数文档使用gbk编码,系统采用utf8编码 无中文输入法导致的乱码

本文适用于Ubuntu 16.04,造冰箱的大熊猫@cnblogs 2018/10/25 搜狗输入法时不时出现候选字乱码的问题.参照网上所说的修改Fcitx配置中的简体中文和繁体中文转换配置的方法,无效.而且个人经验感觉是候选字乱码时往往控制栏中出现了Fcitx的图标,正确时反倒没有Fcitx图标,怀疑是不是Fcitx和搜狗在启动次序/配置哪方面存在冲突. 在“Ubuntu下搜狗输入法乱码”中给出的解决方法是删除搜狗的配置文件然后退出重新登录.遇到频发出现乱码,经常重新登录也好闹心,改为如下方法

1.jieba库,介绍如下: (1) jieba 库的分词原理是利用一个中文词库,将待分词的内容与分词词库进行比对,通过图结构和动态规划方法找到最大概率的词组:除此之外,jieba 库还提供了增加自定义中文单词的功能. (2) jieba 库支持3种分词模式: 精确模式:将句子最精确地切开,适合文本分析. 全模式:将句子中所以可以成词的词语都扫描出来,速度非常快,但是不能消除歧义. 搜索引擎模式:在精确模式的基础上,对长分词再次切分,提高召回率,适合搜索引擎分词. 2.按安装jieba库 (1)

1.jieba库基本介绍 (1).jieba库概述 jieba是优秀的中文分词第三方库 - 中文文本需要通过分词获得单个的词语         - jieba是优秀的中文分词第三方库,需要额外安装 - jieba库提供三种分词模式,最简单只需掌握一个函数 (2).jieba分词的原理 Jieba分词依靠中文词库 - 利用一个中文词库,确定汉字之间的关联概率         - 汉字间概率大的组成词组,形成分词结果 - 除了分词,用户还可以添加自定义的词组 2.jieba库使用说明 (1).jie

1.jieba库基本介绍 (1).jieba库概述 jieba是优秀的中文分词第三方库 - 中文文本需要通过分词获得单个的词语         - jieba是优秀的中文分词第三方库,需要额外安装 - jieba库提供三种分词模式,最简单只需掌握一个函数 (2).jieba分词的原理 Jieba分词依靠中文词库 - 利用一个中文词库,确定汉字之间的关联概率         - 汉字间概率大的组成词组,形成分词结果 - 除了分词,用户还可以添加自定义的词组 2.jieba库使用说明 (1).jie

一.准备 在制作词云之前我们需要自行安装三个库,它们分别是:jieba, wordcloud, matplotlib 安装方法基本一致,下面我以安装wordcloud的过程为例. 第一步,按下Win+R打开命令输入框,并输入cmd,点击确定 第二步,找到IDLE文件(即平时打代码的程序),右击,点击属性,得到如下界面,再点击打开文件所在的位置 打开Scripts文件,可以看到pip文件 将pip文件直接拖至刚才输入cmd打开的界面 在pip.exe后方输入install wordcloud(注意

做这个主要是程序可以做到直接调用一个脚本,而不是从脚本中把类或者函数import出来这样调用,比如我们写的python命令行文件,让java来调用,让c++来调用,都是可以的.这样不需要整个语言都用py,否则什么都自己做加大了工作量. 做这个需要两点内容就行,一个是写一个接受命令行参数的脚本. 另外一个是写一个执行cmd命令的代码并获取控制台的结果. 以爬房天下网站的二手房为例,传入城市名和房屋名称就能搜到信息.可能有些人觉得为什么不去官网查,要做这个是不是多次一举,不是这样的,做这个是需要提供

最近在读取第三方上传的文件时,遇到一个问题,就是采用默认字符集读取,发现个别中文乱码,找到乱码的字,发现是生僻字:碶. 由于在window是环境下做的测试,并没有报错,但是在linux服务器上执行,发现读出后是乱码. 具体读取文件代码简化如下: Path path = Paths.get("d:", "1.txt"); String ss = null; try (BufferedReader br = new BufferedReader(new InputStr

和上一篇相比,差别不是很大 import xlrd#读取excel import xlwt#写入excel import requests import linecache import wordcloud import jieba import matplotlib.pyplot as plt from bs4 import BeautifulSoup if __name__=="__main__": f = xlwt.Workbook(encoding='utf-8') #创建工作

爬虫:requests,beautifulsoup 词云:wordcloud,jieba 代码加注释: # -*- coding: utf-8 -*- import xlrd#读取excel import xlwt#写入excel import requests import linecache import wordcloud import jieba import matplotlib.pyplot as plt from bs4 import BeautifulSoup if __name

一.HttpServletRequest介绍 HttpServletRequest对象代表客户端的请求,当客户端通过HTTP协议访问服务器时,HTTP请求头中的所有信息都封装在这个对象中,通过这个对象提供的方法,可以获得客户端请求的所有信息. 二.Request常用方法 2.1.获得客户机信息 getRequestURL方法返回客户端发出请求时的完整URL. getRequestURI方法返回请求行中的资源名部分. getQueryString 方法返回请求行中的参数部分. getPathInf

/**  * 判断是否为汉字  *   * @param str  * @return  */ public static boolean isGBK(String str) {  char[] chars = str.toCharArray();  boolean isGBK = false;  for (int i = 0; i < chars.length; i++) {   byte[] bytes = ("" + chars[i]).getBytes();   if (

这几天看了看 Ajax 的基础知识,在练习一个简单的 请求和响应时,PHP 返回来的数据 在 IE 中开头总显示 一个 “锘” 字!上网 Baidu 了一下,发现这是由于 系统 处理 UTF-8 的方法不同而导致的. php 返回的 UTF-8 数据 开头自动加了 标志,是对于 UTF-8的标识.对于 javascript 来说,不会在意这个标识,依然当作数据来读,所以就会出现 这个经典的 “锘”乱码. 解决办法:把相关的文件源码复制到 Dreamweaver 里然后再保存就可以了.      

/// <summary> /// 查看是否存在 /// </summary> /// <param name="str"></param> /// <returns></returns> public static bool Illegalchar(string str) { LoadIllegalchar();//查找到应该过滤的文件 string[] LimitedChars = LimitedChar.Sp

测试页面 <html> <head> <script Language="JavaScript" src="pinyin.js"></script> </head> <body> <script>var hz='行,衍,衎,衏,衐,衑,衒,術,衔,衕';document.write(hz,'<br>',CC2PY(hz));</script> </bod

在网上搜了很多资料都没有搞定,一般都有以下几种说法: 方法1:在后台中先获得字符串的iso-8859-1编码形式数组,再使用此数组实例一个UTF-8编码形式String类型字符串. 页面提交的url为: leavesp?work=部门主管审批 后台处理: String inStr=request.getParameter("work "); String outStr = new String(inStr.getBytes("iso-8859-1"),"U

沉寂了许久(大概有三个多月了吧),LZ"按捺不住"开始写博了! java编码中的中文问题是一个老生常谈的问题了,每次遇到中文乱码LZ要么是按照以前的经验修改,要么则是baidu.com来解决问题.阅读许多关于中文乱码的解决办法的博文后,发现对于该问题我们都(更加包括我自己)没有一个清晰明了的认识,于是LZ想通过这系列博文(估计只有几篇)来彻底分析.解决java中文乱码问题,如有错误之处望各位同仁指出!当然,此系列博文并非LZ完全原创,都是在前辈基础上总结,归纳,如果雷同纯属借鉴-- 问

很长时间不写博客了,最近一直在忙这学校的比赛都忘记更新博客了.新的任务又要开始了,我们要准备<2017年中国大学生计算机设计大赛软件服务外包竞赛>.这次不能再想像之前那样有PC端的功能作为参考,这次真的是要做到从无到有了,虽然过程肯定有点困难,但是想到如果能成功的话肯定是获益匪浅的.今天就是我开战的第一天,分析功能建立数据库,不知道数据库建立的是否完美但是在这次的建立数据库中真的是学到了之前没有学到的知识.下面我就把这次遇到的问题写下来,然后是我的解决方法希望可以帮助到遇到同样问题的你. 首先

字符集问题一直叫人头疼,究其原因还是不能完全明白其运作原理. 在整个运行环节中,字符集在3个环节中发挥作用: 1.软件在操作系统上运作时的对用户的显示,此时采用操作系统定义的字符集进行显示.我们在系统I/O编程的时候经常要指定字符集,C#中的Text.Encoding=Encoding.Default实际上就是告诉编译器,文本使用系统定义的默认字符集进行编码.sqlplus也是运行在操作系统上的软件,当然要使用系统所指定的字符集对外显示内容. 2.数据向Oracle服务端传送前的通告.也就是sq