单线程和多线程处理1W条数据对比代码
package study.interview; import java.util.ArrayList;
import java.util.HashMap;
import java.util.LinkedList;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import java.util.concurrent.Callable;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;
import java.util.Random;
import java.util.Set; public class TestEmailFromList {
final static String[] list = {"qq.com","126.com","168.com","sina.com","baidu.com","soho.com","yeah.net","139.com","hotmail.com"};
public static void main(String[] args) throws InterruptedException {
//email存放容器
LinkedList<Email> emailList = new LinkedList<Email>();
//统计各类邮箱使用人数容器
Map<String, Integer> mapEmail = new HashMap<String, Integer>();
//统计各类邮箱使用人数容器
Map<String, Integer> mapEmailPool = new HashMap<String, Integer>();
Random random=new Random();
//email原始邮箱初始化
for (int i = 0; i < 9999; i++) {
int num = random.nextInt(9);
emailList.add(new Email(String.valueOf(i+"@"+list[num])));
} // 单线程统计各类邮箱使用人数
long startTime = System.currentTimeMillis();
TestEmailFromList.countingBySingleThread(emailList, mapEmail);
long endTime = System.currentTimeMillis();
System.out.println("单线程统计用时:"+(endTime-startTime)); //多线程统计各类邮箱使用人数
long startTime2 = System.currentTimeMillis();
//用多少个线程
TestEmailFromList.countingByMultiThread(emailList, mapEmailPool);
long endTime2 = System.currentTimeMillis();
System.out.println("多线程统计用时:"+(endTime2-startTime2)); }
/*
* 单线程统计邮箱使用人数
*/
public static void countingBySingleThread(LinkedList<Email> emailList,Map<String, Integer> mapEmail){
for (int i = 0; i <emailList.size(); i++) {
String key = emailList.get(i).getUserName().split("@")[1];
if(mapEmail.containsKey(key)){
int value = mapEmail.get(key);
mapEmail.put(key, ++value);
}else{
mapEmail.put(key, 1);
}
}
printMap(mapEmail);
}
/*
* 多线程统计邮箱使用人数
*/
public static void countingByMultiThread(LinkedList<Email> emailList,Map<String, Integer> mapEmailPool){
ExecutorService executorService = Executors.newCachedThreadPool();
List<Future<Map<String, Integer>>> resultList = new ArrayList<Future<Map<String, Integer>>>();
for (int i = 0; i < 4; i++) {
LinkedList<Email> eList = null;
if(i==3){
eList = new LinkedList<Email>(emailList.subList(i*2500,(i+1)*2500-1));
}else{
eList = new LinkedList<Email>(emailList.subList(i*2500,(i+1)*2500));
}
System.out.println(eList.getFirst().getUserName()+"----"+eList.getLast().getUserName());
//使用ExecutorService执行Callable类型的任务,并将结果保存在future变量中
Future<Map<String, Integer>> future = executorService.submit(new TaskWithResultMap( eList,mapEmailPool));
//将任务执行结果存储到List中
resultList.add(future); } //遍历任务的结果
for (Future<Map<String, Integer>> fs : resultList) {
try {
System.out.println(fs.get());
} catch (InterruptedException e) {
e.printStackTrace();
} catch (ExecutionException e) {
e.printStackTrace();
}finally{
executorService.shutdown();
}
} printMap(mapEmailPool);
} /*
* 输出map
*/
public static void printMap(Map<String, Integer> mapEmail){
Set<Entry<String, Integer>> set = mapEmail.entrySet();
for (Entry<String, Integer> entry : set) {
System.out.println("使用"+entry.getKey()+"的人共"+entry.getValue());
}
} } class TaskWithResultMap implements Callable<Map<String, Integer>>{
LinkedList<Email> emailList;
Map<String, Integer> mapEmailPool;
public TaskWithResultMap(LinkedList<Email> emailList,Map<String, Integer> mapEmailPool){
this.emailList = emailList;
this.mapEmailPool = mapEmailPool;
} @Override
public Map<String, Integer> call() throws Exception {
synchronized (mapEmailPool) {
for (int i = 0; i <emailList.size(); i++) {
String key = emailList.get(i).getUserName().split("@")[1];
if(mapEmailPool.containsKey(key)){
int value = mapEmailPool.get(key);
mapEmailPool.put(key, ++value);
}else{
mapEmailPool.put(key, 1);
}
}
}
return mapEmailPool;
} } class MyThread implements Runnable {
LinkedList<Email> emailList;
Map<String, Integer> mapEmailPool; public MyThread(LinkedList<Email> emailList,Map<String, Integer> mapEmailPool) {
this.emailList = emailList;
this.mapEmailPool = mapEmailPool;
} public void run() {
while(true){
synchronized (mapEmailPool) {
try {
for (int i = 0; i <emailList.size(); i++) {
String key = emailList.get(i).getUserName().split("@")[1];
if(mapEmailPool.containsKey(key)){
int value = mapEmailPool.get(key);
mapEmailPool.put(key, ++value);
}else{
mapEmailPool.put(key, 1);
} }
} catch (Exception e) {
System.out.println(Thread.currentThread().getName()+"异常");
} }
}
} } class Email {
String username; public Email() {
} public Email(String username) {
this.username = username;
} public String getUserName() {
return username;
}
}
单线程和多线程处理1W条数据对比代码的更多相关文章
- 主要看思路:区域数据去重 + JavaScript一次性展示几万条数据实例代码
近期做1功能,Gis地图 基于百度地图api , 会遇到的问题的, 如后台接口给的数据很多,大几千上万的,如果拿了数据直接渲染dom ,这滋味爽爽的. 再遇上 客户端浏览器悲催的,这卡顿就来了... ...
- 面试官:"准备用HashMap存1w条数据,构造时传10000还会触发扩容吗?"
// 预计存入 1w 条数据,初始化赋值 10000,避免 resize. HashMap<String,String> map = new HashMap<>(10000) ...
- 面试官:”准备用HashMap存1w条数据,构造时传10000会触发扩容吗?“
通常在初始化 HashMap 时,初始容量都是根据业务来的,而不会是一个固定值,为此我们需要有一个特殊处理的方式,就是将预期的初始容量,再除以 HashMap 的装载因子,默认时就是除以 0.75. ...
- EDG夺冠!用Python分析22.3万条数据:粉丝都疯了!
一.EDG夺冠信息 11月6日,在英雄联盟总决赛中,EDG战队以3:2战胜韩国队,获得2021年英雄联盟全球总决赛冠军,这个比赛在全网各大平台也是备受瞩目: 1.微博热搜第一名,截止2021-11-1 ...
- 从1KW条数据中筛选出1W条最大的数
using System; using System.Collections.Generic; using System.Diagnostics; using System.Linq; using S ...
- json代码驾照考题批量加入MySQL数据库 ps.executeUpdate()永远只能悲催的加一条数据 去掉id主键自增 用foreach循环数据库只能出现一条语句
package com.swift; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStrea ...
- Java备份约9亿条数据
需求:有一张表9亿多条数据,数据加索引总数据量61GB.考虑到这张表的大部分数据都不会再被使用并且大数据量可能影响整库的性能,所以决定将表里某一个时刻之前的数据备份到一张新表中,待备份完成后将旧表中已 ...
- 极限挑战—C#+ODP 100万条数据导入Oracle数据库仅用不到1秒
链接地址:http://www.cnblogs.com/armyfai/p/4646213.html 要:在这里我们将看到的是C#中利用ODP实现在Oracle数据库中瞬间导入百万级数据,这对快速批量 ...
- 极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)
原文:极限挑战-C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码) 实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本实验将使用5中方法完成这个过程,并详细记录各种方 ...
随机推荐
- CSS3动画库——animate.css
初见animate.css的时候,感觉很棒,基本上很多常用的CSS3动画效果都帮我们写好了,所以想要哪一种效果直接就可以拿过来用,甚是方便: 效果展示官网:http://daneden.github. ...
- 分布式之zk的应用场景
分布式应用系统中,经常会用到zk,比如dubbo注册中心,kafka分布式集群等都用到zk这一工具.除了这些用来做分布式集群外,zk还有那西应用场景事我们可以使用到该工具的呢?所以接下来就是我们要了解 ...
- HDU 3339 In Action(最短路+背包)题解
思路:最短路求出到每个点的最小代价,然后01背包,求出某一代价所能拿到的最大价值,然后搜索最后结果. 代码: #include<cstdio> #include<set> #i ...
- POJ 1860 Currency Exchange(最短路&spfa正权回路)题解
题意:n种钱,m种汇率转换,若ab汇率p,手续费q,则b=(a-q)*p,你有第s种钱v数量,问你能不能通过转化让你的s种钱变多? 思路:因为过程中可能有负权值,用spfa.求是否有正权回路,dis[ ...
- Bitmap 位图
转自: http://dongxicheng.org/structure/bitmap/ 1. 概述 位图(bitmap)是一种非常常用的结构,在索引,数据压缩等方面有广泛应用.本文介绍了位图的实现 ...
- AIM Tech Round 5 (rated, Div. 1 + Div. 2)
A. Find Square 找到对角线的两个点的坐标,这道题就迎刃而解了. inline void work(int n) { int m; cin >> m; memset(str, ...
- python 去除不可见的控制字符
尤其是在json load的时候,字符串中的不可见控制字符可能会导致错误,应该先对字符串进行控制字符过滤. 对网页文本同样适用,最好在处理网页文本时先进性控制字符清洗. Replace null by ...
- 二进制文件和ASCII文件有何区别
二进制文件和ASCII文件(即文本文件)的区别,对于和计算机亲近时间尚短的同学是个难题. 1.一个例子:两种100000 有程序: #include<iostream> using nam ...
- 使用 Git Hook 自动部署 Hexo 到个人 VPS
安装 Hexo 既然我的标题都已经那样写了,当然这个小节就不是本篇文章的重点了. 关于 Hexo 的安装跟配置,其实网上已经有很多很多文章了,随便一搜一大把.这里就有一篇超详细的,大家可以参考一下. ...
- mysql之innodb的锁分类介绍
一.innodb行锁分类 record lock:记录锁,也就是仅仅锁着单独的一行 gap lock:区间锁,仅仅锁住一个区间(注意这里的区间都是开区间,也就是不包括边界值. next-key loc ...