paip.提升性能--多核cpu中的java/.net/php/c++编程
paip.提升性能--多核cpu中的java/.net/php/c++编程
作者Attilax 艾龙, EMAIL:1466519819@qq.com
来源:attilax的专栏
地址:http://blog.csdn.net/attilax
////////////////目前情况
需要一个处理50w行的文件,按行进行分词..需要50s才能完成..
经过调试,瓶颈在这个代码上... TokenStream ts = Analyzer.tokenStream("", reader); 换成IKSegmenter方式,还是一样.,
// IKSegmenter ik=new IKSegmenter(reader, true);
机器环境:win7 64bit..cpu双核,2.7g...内存8g
查看cpu使用,仅仅使用了1个cpu,另外一个空闲着了...要全部使用了,性能应该能行提升2倍了..
////////////使用多线程来提升多核cpu的性能..
多核随着硬件的不断升级,作为计算机核心的CPU也改头换面,成为一颗多心的家伙。设计它的专家声称这可以最大限度地提高程序的运行效率。但事实真的如此吗?众所周知,现在的程序大多都是基于单线程而设计的,然而这种设计模式如果在主频高的单核CPU上运行,效率是非常高的。但它并不能很好地协调多核一起工作。
更不幸的是单线程的程序在多核CPU上运行甚至可能会没有单核CPU快。
当然,就目前而言,要解决这种性能软瓶颈的最佳方法就是本专题所讨论的多线程编程。只有充分利用这种技术,才能发挥多核的最大潜力。好了,就说到这吧,最后让我们利用本专题所讲的内容尽情地享受多核给我们带来的惊喜和刺激吧!
2、线程分解和执行的区别:
对单核CPU,对客户端软件,采用多线程,主要是 创建多线程将一些计算放在后台执行,而不影响用户交互操作。(用户界面 & 其他计算 并行进行)提高用户的操作性能!
多核中,分别出多个线程,不再限于将用户界面操作和其他计算分离。分解多个线程使为了让计算分配到各CPU上执行。执行线程数量与CPU核数有关!如果线程数小于核数,某些CPU肯定处于空闲状态。
3、CPU核负载平衡:
单核中不考虑 负载平衡,各个线程计算量相差很大,也不会影响程序总计算时间。
多核中,必须考虑将各个线程计算量均衡到各CPU
7、串行计算与并行计算、分布式计算的区别
单核多线程编程中,都是串行算法。用不到并行计算,更用不到分布式计算
多核编程中,多采用 并行计算 和 分布式计算
并行计算=并行设计模式+并行算法
分布式计算复杂度 > 并行计算的复杂度 > 串行计算复杂度
并行计算:只考虑计算并行地执行,不考虑线程间的竞争导致CPU饥饿
分布式计算:相比并行计算,能更好解决CPU饥饿,使计算均衡地分配任务到各内核
/////////////////代码如下:
经过测试,因为仅仅有2个cpu核心,走凯里2个线程..果然,2个cpu占用都块道理100%的兰,时间一挂噪城里原来的一半儿..25s走ok兰...
List<String> lica7 = fc.fileRead2list(sourceTxt, "utf-8");
int mid = lica7.size() / 2;
final List<String> lica7_half1 = lica7.subList(0, mid);
List<String> lica7_half2 = lica7.subList(mid, lica7.size());
new Thread>>>>
lica7_half1_result = ftc.fentsiMuilttheard(lica7_half1,
wordLibs, "thd1");
half1_isfinesh=true;
//main thread
//wait 4 half_thread_finish
//habin lyag list..
/////////////true code.
List<String> lica7_half1_result;
boolean half1_isfinesh=false;
/**
* @author attilax 1466519819@qq.com
* @param sourceTxt
* @param targetTxt
* @param wordLibs
* for file line >5w bacause 50w time tooo long ,gujyi
* 1min...muset rewrite jeig swefa.
* @since cae
*/
public void fentsi4bigfile(String sourceTxt, String targetTxt,
final String wordLibs) {
// String wordLibs =
// "c:\\wordFromInputmethod.txt,c:\\word.txt,c:\\ext.txt";
// String sourceTxt = "c:\\sincin.txt";
// String targetTxt = "c:\\fentsiOK.txt";
int n = 0;
List<String> li_r = new ArrayList<String>();
fileC0 fc = new fileC0();
// String text = fc.fileRead(sourceTxt);
// if(true)return;
List<String> lica7 = fc.fileRead2list(sourceTxt, "utf-8");
int mid = lica7.size() / 2;
final List<String> lica7_half1 = lica7.subList(0, mid);
List<String> lica7_half2 = lica7.subList(mid, lica7.size());
List<String> lica7_half2_result;
// n = fentsiMuilttheard(wordLibs, n, lica7);
new Thread(new Runnable() {
public void run() {
try {
fentsiOr ftc = new fentsiOr();
lica7_half1_result = ftc.fentsiMuilttheard(lica7_half1,
wordLibs, "thd1");
half1_isfinesh=true;
} catch (Exception e) {
e.printStackTrace();
}
System.out.println(Thread.currentThread().getName());
}
}).start();
//main thread
fentsiOr ftc = new fentsiOr();
lica7_half2_result = ftc.fentsiMuilttheard(lica7_half2, wordLibs,
"thd_main");
//stop whiel half is not ok
int nn = 0;
while (true) {
if (half1_isfinesh) {
break;
}
nn++;
try {
Thread.sleep(50);
System.out.println("--sleep 500 ,num:" + nn);
} catch (InterruptedException e) {
e.printStackTrace();
throw new RuntimeException(e);
}
}
List<String> li_all=new ArrayList<String>();
li_all.addAll(lica7_half1_result);
li_all.addAll(lica7_half2_result);
fc.saveList2file(li_all, targetTxt, "utf-8");
}
参考:
多核编程 与 单核多线程编程的区别 - 点滴记录 不断进步 - 博客频道 - CSDN.NET.htm
paip.提升性能--多核cpu中的java/.net/php/c++编程的更多相关文章
- paip.提升性能--多核编程中的java .net php c++最佳实践 v2.0 cah
paip.提升性能--多核编程中的java .net php c++最佳实践 v2.0 cah 作者Attilax 艾龙, EMAIL:1466519819@qq.com 来源:attilax ...
- paip.提升性能---mysql 优化cpu多核以及lan性能的关系.
paip.提升性能---mysql 优化cpu多核以及lan性能的关系. 作者Attilax 艾龙, EMAIL:1466519819@qq.com 来源:attilax的专栏 地址:http:/ ...
- paip.提升性能----java 无锁结构(CAS, Atomic, Threadlocal, volatile, 函数式编码, 不变对象)
paip.提升性能----java 无锁结构(CAS, Atomic, Threadlocal, volatile, 函数式编码, 不变对象) 1 锁的缺点 2 CAS(Compare ...
- paip.提升性能---并行多核编程哈的数据结构list,set,map
paip.提升性能---并行多核编程哈的数据结构list,set,map vector/copyonwritearraylist 都是线程安全的. 或者经过包装的list ::: collection ...
- paip.提升性能---jvm java 工具使用.
paip.提升性能---jvm java 工具使用. 作者Attilax 艾龙, EMAIL:1466519819@qq.com 来源:attilax的专栏 地址:http://blog.csdn ...
- paip.提升性能---协程“微线程”的使用.
paip.提升性能---协程的使用. 近乎无限并发的"微线程" 作者Attilax 艾龙, EMAIL:1466519819@qq.com 来源:attilax的专栏 地址:h ...
- paip. 提升性能---hibernate的缓存使用 总结
paip. 提升性能---hibernate的缓存使用 总结 作者Attilax 艾龙, EMAIL:1466519819@qq.com 来源:attilax的专栏 地址:http://blog ...
- paip.提升性能----数据库连接池以及线程池以及对象池
paip.提升性能----数据库连接池以及线程池以及对象池 目录:数据库连接池c3po,线程池ExecutorService:Jakartacommons-pool对象池 作者Attilax 艾龙, ...
- paip.提升性能3倍--使用栈跟VirtualAlloc代替堆的使用.
paip.提升性能3倍--使用栈跟VirtualAlloc代替堆的使用. #----为什么要设计堆栈,它有什么独特的用途? 为了性能 .... 堆比栈的性能 也有的说法为了编程容易...这个是错误的 ...
随机推荐
- backbone框架思路
Backbone是MVC框架.如何使用这个框架来简化前端过程呢?作为一个初学者,虽然网上有它的官方文档,但是都是讲的一些方法,思路分析的却对初学者来说,看得晕乎乎的.现在就把自己对这个框架的理解记录在 ...
- R语言中的logical(0)和numeric(0)以及赋值问题
logical(0) 不等于 numeric(0).两者都不等于NULL值,即is.null(logical(0))和is.null(numeric(0))返还值都是FALSE.这很有意思,说明长度为 ...
- 二叉搜索树、B树
二叉搜索树又叫二叉排序树. B树又可写为B-树,“B-树”种的“-”无区分意义. 此外,还有B+树,B*树.
- alfresco install in linux, and integrated with tesseract ocr
本文描述在Linux系统上安装Alfresco的步骤: 1. 下载安装文件:alfresco-community-5.0.d-installer-linux-x64.bin 2. 增加执行权限并执行: ...
- 技术文档--studio技术文档
1.Google推出的毫无疑问,这个是它的最大优势,Android Stuido是Google推出,专门为Android“量身订做”的,是Google大力支持的一款基于IntelliJ IDEA改造的 ...
- wpa_supplicant代码走读
wpa_supplicant_add_iface wpa_supplicant_init_iface wpa_supplicant_set_driver wpa_config_read wpa_sup ...
- Visual Studio 2013 Nuget控制台无法找到程序包
前几天因为公司的项目使用的是MVC4框架,用VS2015不方便新增控制器,切换回2013.用了一个大半年没有用的功能,就是Nuget控制台. 当我尝试使用Nuget控制台的命令安装一个Package的 ...
- 重启Ubuntu后Hadoop的namenode起不来的解决办法
因为Ubuntu每次重启之后都会将/tmp目录清空,而默认配置下每次hadoop name node -format总是将数据信息定位到/tmp/hadoop-${user.name}中,因此需要修改 ...
- [leetcode 25]Reverse Nodes in k-Group
1 题目: Given a linked list, reverse the nodes of a linked list k at a time and return its modified li ...
- 解剖SQLSERVER 第十篇 OrcaMDF Studio 发布+ 特性重温(译)
解剖SQLSERVER 第十篇 OrcaMDF Studio 发布+ 特性重温(译) http://improve.dk/orcamdf-studio-release-feature-recap/ ...