工作中,经常有将文件中的数据导入数据库的表中,或者将数据库表中的记录保存到文件中。为了提高程序的处理速度,可以设置读线程和写线程,这些线程通过消息队列进行数据交互。本例就是使用了LinkedBlockingQueue来模仿生产者线程和消费者线程进行数据生产和消费。
为了方便,这些不同的类被写在了一个类中,实际使用的时候,可以单独拆开,举一反三地使用。

以下是例子:

LinkedBlockingQueueDemo.java

import java.util.Date;
import java.util.Random;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.TimeUnit; public class LinkedBlockingQueueDemo {
// 生产者线程数量
private final static int providerThreadAmount = 5; // 记录每一个生产者线程是否处理完毕的标记
private static boolean[] providerDoneFlag = new boolean[providerThreadAmount]; // 整个所有的生产者线程全部结束的标记
private static boolean done = false; // 一个线程安全的队列,用于生产者和消费者异步地信息交互
private static LinkedBlockingQueue<String> linkedBlockingQeque = new LinkedBlockingQueue<String>(); static class ProviderThread extends Thread {
private Thread thread;
private String threadName;
private int threadNo; public ProviderThread(String threadName2, int threadNo) {
this.threadName = threadName2;
this.threadNo = threadNo;
} public void start() {
if (thread == null) {
thread = new Thread(this, threadName);
} thread.start();
System.out.println(
(new Date().getTime()) + " " + threadName + " starting... " + Thread.currentThread().getName());
} @Override
public void run() {
int rows = 0;
for (int i = 0; i < 100; i++) {
String string = String.format("%s-%d-%s", threadName, i, Thread.currentThread().getName());
// offer不会去阻塞线程,put会
//linkedBlockingQeque.offer(string);
linkedBlockingQeque.put(string);
rows++;
/*
* try { Thread.sleep((new Random()).nextInt(5) * 1000); } catch
* (InterruptedException e) { e.printStackTrace(); }
*/
} // 本线程处理完毕的标记
LinkedBlockingQueueDemo.providerDoneFlag[threadNo] = true;
System.out.println((new Date().getTime()) + " " + threadName + " end. total rows is " + rows + "\t"
+ Thread.currentThread().getName());
}
} static class ConsumerThread implements Runnable {
private Thread thread;
private String threadName; public ConsumerThread(String threadName2) {
this.threadName = threadName2;
} public void start() {
if (thread == null) {
thread = new Thread(this, threadName);
} thread.start();
System.out.println(
(new Date().getTime()) + " " + threadName + " starting... " + Thread.currentThread().getName());
} @Override
public void run() {
int rows = 0;
// 生产者线程没有结束,或者消息队列中有元素的时候,去队列中取数据
while (LinkedBlockingQueueDemo.getDone() == false || linkedBlockingQeque.isEmpty() == false) {
try {
//在甘肃电信的实际应用中发现,当数据的处理量达到千万级的时候,带参数的poll会将主机的几百个G的内存耗尽,jvm会提示申请内存失败,并将进程退出。网上说,这是这个方法的一个bug。
//String string = linkedBlockingQeque.poll(3, TimeUnit.SECONDS);
String string = linkedBlockingQeque.poll();
if (string == null) {
continue;
} rows++; System.out
.println((new Date().getTime()) + " " + threadName + " get msg from linkedBlockingQeque is "
+ string + "\t" + Thread.currentThread().getName());
/*
* try { Thread.sleep((new Random()).nextInt(5) * 1000); } catch
* (InterruptedException e) { e.printStackTrace(); }
*/ } catch (InterruptedException e) {
e.printStackTrace();
} }
System.out.println((new Date().getTime()) + " " + threadName + " end total rows is " + rows + "\t"
+ Thread.currentThread().getName());
}
} public static synchronized void setDone(boolean flag) {
LinkedBlockingQueueDemo.done = flag;
} public static synchronized boolean getDone() {
return LinkedBlockingQueueDemo.done;
} public static void main(String[] args) {
System.out.println((new Date().getTime()) + " " + "process begin at " + Thread.currentThread().getName());
System.out.println(
(new Date().getTime()) + " " + "linkedBlockingDeque.hashCode() is " + linkedBlockingQeque.hashCode()); // 启动若干生产者线程
for (int i = 0; i < providerThreadAmount; i++) {
String threadName = String.format("%s-%d", "ProviderThread", i);
ProviderThread providerThread = new ProviderThread(threadName, i);
providerThread.start();
} // 启动若干个消费者线程
for (int i = 0; i < 10; i++) {
String threadName = String.format("%s-%d", "ConsumerThread", i);
ConsumerThread consumerThread = new ConsumerThread(threadName);
consumerThread.start();
} // 循环检测生产者线程是否处理完毕
do {
for (boolean b : providerDoneFlag) {
if (b == false) {
/*
* try { Thread.sleep(3 * 1000); System.out.println((new Date().getTime()) +
* " "+"sleep 3 seconds. linkedBlockingQeque.size() is "+linkedBlockingQeque.
* size() + "\t" + Thread.currentThread().getName()); } catch
* (InterruptedException e) { e.printStackTrace(); }
*/ // 只要有一个生产者线程没有结束,则整个生产者线程检测认为没有结束
break;
} LinkedBlockingQueueDemo.setDone(true);
} // 生产者线程全部结束的时候,跳出检测
if (LinkedBlockingQueueDemo.getDone() == true) {
break;
}
} while (true); System.out.println((new Date().getTime()) + " process done successfully\t" + Thread.currentThread().getName());
}
}

结果略。

使用LinkedBlockingQueue来实现生产者消费者的例子的更多相关文章

  1. 通过生产者消费者模式例子讲解Java基类方法wait、notify、notifyAll

    wait(),notify()和notifyAll()都是Java基类java.lang.Object的方法. 通俗解释wait():在当前线程等待其它线程唤醒.notify(): 唤醒一个线程正在等 ...

  2. kafka集群配置和java编写生产者消费者操作例子

    kafka 安装 修改配置文件 java操作kafka kafka kafka的操作相对来说简单很多 安装 下载kafka http://kafka.apache.org/downloads tar ...

  3. Java设计模式—生产者消费者模式(阻塞队列实现)

    生产者消费者模式是并发.多线程编程中经典的设计模式,生产者和消费者通过分离的执行工作解耦,简化了开发模式,生产者和消费者可以以不同的速度生产和消费数据.这篇文章我们来看看什么是生产者消费者模式,这个问 ...

  4. java 多线程并发系列之 生产者消费者模式的两种实现

    在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题.该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度. 为什么要使用生产者和消费者模式 在线程世界里,生产者就是生产数据 ...

  5. 生产者-消费者问题:介绍POSIX线程的互斥量和条件变量的使用

    全局初始化互斥量和条件变量(不全局也行,但至少要对线程启动函数可见,这样才能使用.) static pthread_cont_t cond = PTHREAD_COND_INITIALIZER; st ...

  6. [Spark][kafka]kafka 生产者,消费者 互动例子

    [Spark][kafka]kafka 生产者,消费者 互动例子 # pwd/usr/local/kafka_2.11-0.10.0.1/bin 创建topic:# ./kafka-topics.sh ...

  7. LinkedBlockingQueue 实现 生产者 消费者

    转载:https://blog.csdn.net/sinat_36553913/article/details/79533606 Java中使用LinkedBlockingQueue实现生产者,消费者 ...

  8. go语言实现"生产者"和"消费者"的例子

    学习java的多线程的时候最经典的一个例子就是生产者消费者模型的例子,最近在研究go语言协程,发现go提供的sync包中有很多和java类似的锁工具,尝试着用锁工具配合协程实现一个"消费者& ...

  9. Java里的生产者-消费者模型(Producer and Consumer Pattern in Java)

    生产者-消费者模型是多线程问题里面的经典问题,也是面试的常见问题.有如下几个常见的实现方法: 1. wait()/notify() 2. lock & condition 3. Blockin ...

随机推荐

  1. 【cs231n】神经网络学习笔记3

    + mu) * v # 位置更新变了形式 对于NAG(Nesterov's Accelerated Momentum)的来源和数学公式推导,我们推荐以下的拓展阅读: Yoshua Bengio的Adv ...

  2. vjudge-A-这是测试你会不会语言的模拟

    2017-07-14 18:13:35 writer:pprp 介绍:最基本用代码展示思想的一道题 题意如下; 他细细观察了自己的工作环境,发现整个工作室是一个N行M列的矩形布局,或者是因为屌丝的本性 ...

  3. POJ 1236 Network of School

    http://poj.org/problem?id=1236 题意: 给出一个图,至少要选多少个点才能遍历全图和至少需要添加多少边使得整个图是强连通. 思路: 强连通计算连通分量后缩点,计算入度为0的 ...

  4. java自带的MD5

    前言:        MD5可生成16.32.64位数的签名. // MD5加码,32位 public static String toMD5(String plainText) { String r ...

  5. Android -- 网络图片查看器,网络html查看器, 消息机制, 消息队列,线程间通讯

    1. 原理图 2. 示例代码 (网络图片查看器) (1)  HttpURLConnection (2) SmartImageView (开源框架:https://github.com/loopj/an ...

  6. js从一个select选择数据添加到另一个select(包括移除)

    一.实现效果 二.要求 1.选中左侧的菜单,点击“>>”,该菜单(1项或多项选中的)将添加到右侧菜单 2.选中右侧菜单,点击“<<”,则移除选中的菜单 3.点击“>> ...

  7. 堆 Heap

    2018-03-01 20:38:34 堆(Heap)是可以用来实现优先的队列的数据结构,而不是堆栈. 若采用数组或者链表实现优先队列 若采用树的结构 如果采用二叉搜索树,那么每次删除,比如删除最大值 ...

  8. html合并单元格

    在合并的首位置加上colspan或者rowspan属性即可 code: <html>   <body>   <h4>横跨两列的单元格:</h4> < ...

  9. HDU 5694 分治+规律

    http://acm.hdu.edu.cn/showproblem.php?pid=5694 此题一开始我也找到了规律,也知道是分治可是,,,想的太复杂了没写开, 我一直想的通过L,R两个参数分治,可 ...

  10. UVALive-3523 Knights of the Round Table (双连通分量+二分图匹配)

    题目大意:有n个骑士要在圆桌上开会,但是相互憎恶的两个骑士不能相邻,现在已知骑士们之间的憎恶关系,问有几个骑士一定不能参加会议.参会骑士至少有3个且有奇数个. 题目分析:在可以相邻的骑士之间连一条无向 ...