记一次synchronized锁字符串引发的坑兼再谈Java字符串
问题描述
业务有一个需求,我把问题描述一下:
通过代理IP访问国外某网站N,每个IP对应一个固定的网站N的COOKIE,COOKIE有失效时间。
并发下,取IP是有一定策略的,取到IP之后拿IP对应的COOKIE,发现COOKIE超过失效时间,则调用脚本访问网站N获取一次数据。
为了防止多线程取到同一个IP,同时发现该IP对应的COOKIE失效,同时去调用脚本更新COOKIE,针对IP加了锁。为了保证锁的全局唯一性,在锁前面加了标识业务的前缀,使用synchronized(lock){...}的方式,锁住"锁前缀+IP",这样保证多线程取到同一个IP,也只有一个IP会更新COOKIE。
不知道这个问题有没有说清楚,没说清楚没关系,写一段测试代码:
public class StringThread implements Runnable {
private static final String LOCK_PREFIX = "XXX---";
private String ip;
public StringThread(String ip) {
this.ip = ip;
}
@Override
public void run() {
String lock = buildLock();
synchronized (lock) {
System.out.println("[" + JdkUtil.getThreadName() + "]开始运行了");
// 休眠5秒模拟脚本调用
JdkUtil.sleep(5000);
System.out.println("[" + JdkUtil.getThreadName() + "]结束运行了");
}
}
private String buildLock() {
StringBuilder sb = new StringBuilder();
sb.append(LOCK_PREFIX);
sb.append(ip);
String lock = sb.toString();
System.out.println("[" + JdkUtil.getThreadName() + "]构建了锁[" + lock + "]");
return lock;
}
}
简单说就是,传入一个IP,尽量构建一个全局唯一的字符串(这么做的原因是,如果字符串的唯一性不强,比方说锁的"192.168.1.1",如果另外一段业务代码也是锁的这个字符串"192.168.1.1",这就意味着两段没什么关联的代码块却要串行执行,代码块执行时间短还好,代码块执行时间长影响极其大),针对字符串加锁。
预期的结果是并发下,比如5条线程传入同一个IP,它们构建的锁都是字符串"XXX---192.168.1.1",那么这5条线程针对synchronized块,应当串行执行,即一条运行完毕再运行另外一条,但是实际上并不是这样。
写一段测试代码,开5条线程看一下效果:
public class StringThreadTest {
private static final int THREAD_COUNT = 5;
@Test
public void testStringThread() {
Thread[] threads = new Thread[THREAD_COUNT];
for (int i = 0; i < THREAD_COUNT; i++) {
threads[i] = new Thread(new StringThread("192.168.1.1"));
}
for (int i = 0; i < THREAD_COUNT; i++) {
threads[i].start();
}
for (;;);
}
}
执行结果为:
[Thread-1]构建了锁[XXX---192.168.1.1]
[Thread-1]开始运行了
[Thread-3]构建了锁[XXX---192.168.1.1]
[Thread-3]开始运行了
[Thread-4]构建了锁[XXX---192.168.1.1]
[Thread-4]开始运行了
[Thread-0]构建了锁[XXX---192.168.1.1]
[Thread-0]开始运行了
[Thread-2]构建了锁[XXX---192.168.1.1]
[Thread-2]开始运行了
[Thread-1]结束运行了
[Thread-3]结束运行了
[Thread-4]结束运行了
[Thread-0]结束运行了
[Thread-2]结束运行了
看到Thread-0、Thread-1、Thread-2、Thread-3、Thread-4这5条线程尽管构建的锁都是同一个"XXX-192.168.1.1",但是代码却是并行执行的,这并不符合我们的预期。
关于这个问题,一方面确实是我大意了以为是代码其他什么地方同步控制出现了问题,一方面也反映出我对String的理解还不够深入,因此专门写一篇文章来记录一下这个问题并写清楚产生这个问题的原因和应当如何解决。
问题原因
这个问题既然出现了,那么应当从结果开始推导起,找到问题的原因。先看一下synchronized部分的代码:
@Override
public void run() {
String lock = buildLock();
synchronized (lock) {
System.out.println("[" + JdkUtil.getThreadName() + "]开始运行了");
// 休眠5秒模拟脚本调用
JdkUtil.sleep(5000);
System.out.println("[" + JdkUtil.getThreadName() + "]结束运行了");
}
}
因为synchronized锁对象的时候,保证同步代码块中的代码执行是串行执行的前提条件是锁住的对象是同一个,因此既然多线程在synchronized部分是并行执行的,那么可以推测出多线程下传入同一个IP,构建出来的lock字符串并不是同一个。
接下来,再看一下构建字符串的代码:
private String buildLock() {
StringBuilder sb = new StringBuilder();
sb.append(LOCK_PREFIX);
sb.append(ip);
String lock = sb.toString();
System.out.println("[" + JdkUtil.getThreadName() + "]构建了锁[" + lock + "]");
return lock;
}
lock是由StringBuilder生成的,看一下StringBuilder的toString方法:
public String toString() {
// Create a copy, don't share the array
return new String(value, 0, count);
}
那么原因就在这里:尽管buildLock()方法构建出来的字符串都是"XXX-192.168.1.1",但是由于StringBuilder的toString()方法每次都是new一个String出来,因此buildLock出来的对象都是不同的对象。
如何解决?
上面的问题原因找到了,就是每次StringBuilder构建出来的对象都是new出来的对象,那么应当如何解决?这里我先给解决办法就是sb.toString()后再加上intern(),下一部分再说原因,因为我想对String再做一次总结,加深对String的理解。
OK,代码这么改:
public class StringThread implements Runnable {
private static final String LOCK_PREFIX = "XXX---";
private String ip;
public StringThread(String ip) {
this.ip = ip;
}
@Override
public void run() {
String lock = buildLock();
synchronized (lock) {
System.out.println("[" + JdkUtil.getThreadName() + "]开始运行了");
// 休眠5秒模拟脚本调用
JdkUtil.sleep(5000);
System.out.println("[" + JdkUtil.getThreadName() + "]结束运行了");
}
}
private String buildLock() {
StringBuilder sb = new StringBuilder();
sb.append(LOCK_PREFIX);
sb.append(ip);
String lock = sb.toString().intern();
System.out.println("[" + JdkUtil.getThreadName() + "]构建了锁[" + lock + "]");
return lock;
}
}
看一下代码执行结果:
[Thread-0]构建了锁[XXX---192.168.1.1]
[Thread-0]开始运行了
[Thread-3]构建了锁[XXX---192.168.1.1]
[Thread-4]构建了锁[XXX---192.168.1.1]
[Thread-1]构建了锁[XXX---192.168.1.1]
[Thread-2]构建了锁[XXX---192.168.1.1]
[Thread-0]结束运行了
[Thread-2]开始运行了
[Thread-2]结束运行了
[Thread-1]开始运行了
[Thread-1]结束运行了
[Thread-4]开始运行了
[Thread-4]结束运行了
[Thread-3]开始运行了
[Thread-3]结束运行了
可以对比一下上面没有加intern()方法的执行结果,这里很明显5条线程获取的锁是同一个,一条线程执行完毕synchronized代码块里面的代码之后下一条线程才能执行,整个执行是串行的。
再看String
JVM内存区域里面有一块常量池,关于常量池的分配:
- JDK6的版本,常量池在持久代PermGen中分配
- JDK7的版本,常量池在堆Heap中分配
字符串是存储在常量池中的,有两种类型的字符串数据会存储在常量池中:
- 编译期就可以确定的字符串,即使用""引起来的字符串,比如String a = "123"、String b = "1" + B.getStringDataFromDB() + "2" + C.getStringDataFromDB()、这里的"123"、"1"、"2"都是编译期间就可以确定的字符串,因此会放入常量池,而B.getStringDataFromDB()、C.getStringDataFromDB()这两个数据由于编译期间无法确定,因此它们是在堆上进行分配的
- 使用String的intern()方法操作的字符串,比如String b = B.getStringDataFromDB().intern(),尽管B.getStringDataFromDB()方法拿到的字符串是在堆上分配的,但是由于后面加入了intern(),因此B.getStringDataFromDB()方法的结果,会写入常量池中
常量池中的String数据有一个特点:每次取数据的时候,如果常量池中有,直接拿常量池中的数据;如果常量池中没有,将数据写入常量池中并返回常量池中的数据。
因此回到我们之前的场景,使用StringBuilder拼接字符串每次返回一个new的对象,但是使用intern()方法则不一样:
"XXX-192.168.1.1"这个字符串尽管是使用StringBuilder的toString()方法创建的,但是由于使用了intern()方法,因此第一条线程发现常量池中没有"XXX-192.168.1.1",就往常量池中放了一个
"XXX-192.168.1.1",后面的线程发现常量池中有"XXX-192.168.1.1",就直接取常量池中的"XXX-192.168.1.1"。 因此不管多少条线程,只要取"XXX-192.168.1.1",取出的一定是同一个对象,就是常量池中的"XXX-192.168.1.1"
这一切,都是String的intern()方法的作用
后记
就这个问题解决完包括这篇文章写完,我特别有一点点感慨,很多人会觉得一个Java程序员能把框架用好、能把代码流程写出来没有bug就好了,研究底层原理、虚拟机什么的根本就没什么用。不知道这个问题能不能给大家一点启发:
这个业务场景并不复杂,整个代码实现也不是很复杂,但是运行的时候它就出了并发问题了。 如果没有扎实的基础:知道String里面除了常用的那些方法indexOf、subString、concat外还有很不常用的intern()方法
不了解一点JVM:JVM内存分布,尤其是常量池
不去看一点JDK源码:StringBuilder的toString()方法
不对并发有一些理解:synchronized锁代码块的时候怎么样才能保证多线程是串行执行代码块里面的代码的 这个问题出了,是根本无法解决的,甚至可以说如何下手去分析都不知道。
因此,并不要觉得JVM、JDK源码底层实现原理什么的没用,恰恰相反,这些都是技术人员成长路上最宝贵的东西。
记一次synchronized锁字符串引发的坑兼再谈Java字符串的更多相关文章
- 记一次 synchronized 锁字符串引发的坑兼再谈 Java 字符串
业务有一个需求,我把问题描述一下: 通过代理IP访问国外某网站N,每个IP对应一个固定的网站N的COOKIE,COOKIE有失效时间. 并发下,取IP是有一定策略的,取到IP之后拿IP对应的COOKI ...
- 浅谈Java字符串
从概念上而言,Java字符串就是Unicode字符序列.由于Java没有内置的字符串类型,而是在标准Java类库中提供了一个预定义类String,每个用双引号的括起来的字符串都是String类的一个实 ...
- synchronized锁级别的一个坑
在实现一次对限流接口访问时,我错误的使用了单例+synchronized修饰方法的形式实现,这样在限流方规则为不同接口不同限制,单独限制时,同一个实例中的所有被synchronized修饰的方法竞争同 ...
- 浅谈 Java 字符串(String, StringBuffer, StringBuilder)
我们先要记住三者的特征: String 字符串常量 StringBuffer 字符串变量(线程安全) StringBuilder 字符串变量(非线程安全) 一.定义 查看 API 会发现,String ...
- 为什么Java字符串是不可变对象?
转自 http://developer.51cto.com/art/201503/468905.htm 本文主要来介绍一下Java中的不可变对象,以及Java中String类的不可变性,那么为什么Ja ...
- Java 字符串简介
从概念上讲,Java 字符串就是 Unicode 字符序列.Java 没有内置的字符串类型,而是在标准 Java 类库中提供了一个预定义类,很自然地叫做 String.每个用双引号括起来的字符串都是 ...
- Java多线程4:synchronized锁机制
脏读 一个常见的概念.在多线程中,难免会出现在多个线程中对同一个对象的实例变量进行并发访问的情况,如果不做正确的同步处理,那么产生的后果就是"脏读",也就是取到的数据其实是被更改过 ...
- 线程 synchronized锁机制
脏读 一个常见的概念.在多线程中,难免会出现在多个线程中对同一个对象的实例变量进行并发访问的情况,如果不做正确的同步处理,那么产生的后果就是"脏读",也就是取到的数据其实是被更改过 ...
- synchronized锁机制(六)
前言 1.理解同步关键词synchronized 2.同步方法与同步代码块的区别 3.理解锁的对象this 脏读 一个常见的概念.在多线程中,难免会出现在多个线程中对同一个对象的实例变量进行并发访问的 ...
随机推荐
- java中浅层克隆和深层克隆
1.浅复制与深复制概念 浅复制(浅克隆) 被复制对象的所有变量都含有与原来的对象相同的值,而所有的对其他对象的引用仍然指向原来的对象.换言之,浅复制仅仅复制所考虑的对象,而不复制它所引用的对象 ...
- 第四章:JQuery选择器
一.使用选择器的目的 从页面上的万万千千个元素中选择自己需要的. 二.选择器的分类 1.基本选择器 *:标签 *:类 *:ID 交集 AB AB共同的部分 并集 A,B AB使用相同的 ...
- 微信小程序,超能装的实例教程
序言 开始开发应用号之前,先看看官方公布的「小程序」教程吧!(以下内容来自微信官方公布的「小程序」开发指南) 本文档将带你一步步创建完成一个微信小程序,并可以在手机上体验该小程序的实际效果.这个小程序 ...
- .Net程序员学用Oracle系列(19):我知道的导出和导入
1.传统的导出/导入工具 1.1.EXP 命令详解 1.2.IMP 命令详解 1.3.EXP/IMP 使用技巧 2.新的导出/导入工具 2.1.EXPDP/IMPDP 参数说明 2.2.EXPDP/I ...
- 谈JavaScript的继承
最近在忙前端的工作,因为之前做.net和php的开发比较多,前端开发喜欢把库拿来就用,几次事实证明,不懂原理,连改代码也改不好,所以还是下定决心研究下JavaScript的几个技术难点. 0x1.Ja ...
- 手把手教你webpack、react和node.js环境配置(上篇)
很多人刚学习react的时候,往往因为繁琐的配置而头疼,这里我将手把手教大家怎么用webpack配置react和redux的环境,这篇教程包括前端react和后台node整个网站的环境配置,对node ...
- CSS实现覆盖弹窗(效果如JQuery-UI的Dialog)
原理:定义一个新的div用来覆盖整个页面,再把想要弹出的窗口放在这个div上面 1.定义一个div,设置其隐藏(display:none),用于覆盖整个页面,并设置其CSS属性为: #divBg { ...
- (Mac OS平台)升级.NetCore1.0正式版小记
昨天终于发布了.NetCore1.0正式版.昨晚回去就顺手把手里的一个.NetCore项目升级了一下.还是遇到了一些问题,这里记录下吧. 1.Restore问题 这个问题一直都有,一直放那没去解决.主 ...
- 常见的html面试题
1.doctype作用?标准模式和兼容模式各有什么区别? (1).<doctype>声明位于文档第一行,在<html>标签之前.用于告知浏览器的解析器以什么样的标准解析该文档. ...
- Matlab自带常用的分类器,直接复制用就好了,很方面。
很方面的,懒得自己写了. clc clear all load('wdtFeature'); % 训练样本:train_data % 矩阵,每行 ...