进程理解 HDFS相关进程理解(NN,DN,SSN) NameNode中存放的是数据文件与元数据的映射信息,数据文件和block快的映射信息,block块和DataNode的映射信息,前两者存放在磁盘里,Hadoop stop后不会消失,第三个存放在内存中,会消失:​DataNode通过PING PONG 机制被NameNode识别,每三秒中做一次应答,若失联十分钟则DataNode宕机,宕机后,数据不完整,NameNode会自动将该DataNode上的block块在其他节点上的副本增加一个,并

随着月末来临,又到了汇报总结的时刻. (图片来自网络) 到了这个特殊时期,你的老板就一定想要查看企业整体的运转情况.销售业绩.客户实况分析.客户活跃度.Top10 sales. 产品情况.订单处理情况等信息. 对业务有一定了解的同学就会明白,整理出这些内容需要跨业务.跨功能模块,对数据进行整合. 而每次当领导下达数据分析的任务时,还是会让本U8老用户略微头疼 你可能想说,U8的业务处理功能那么完善,不够完美吗? 但是对于数据分析,下面这些问题还需要处理: 难以进行财务业务联系分析: 历史数据无法

OpenFeign 是 Spring 官方推出的一种声明式服务调用和负载均衡组件.它的出现就是为了替代已经进入停更维护状态的 Feign(Netflix Feign),同时它也是 Spring 官方的顶级开源项目.我们在日常的开发中使用它的频率也很高,而 OpenFeign 有一些实用的小技巧,配置之后可以让 OpenFeign 更好的运行,所以本文我们就来盘点一下(也欢迎各位老铁评论区留言补充). 1.超时优化 OpenFeign 底层内置了 Ribbon 框架,并且使用了 Ribbon 的请

目录 1. 概述 2. 详论 2.1. 静态类型 2.1.1. 静态方法成员 2.1.2. 静态数据成员 2.2. 单例模式 2.2.1. 实现 2.2.2. 问题 3. 参考 1. 概述 很多的知识,学习的时候理解其实并不是很深,甚至觉得是是不太必要的:而到了实际使用中遇到了,才有了比较深刻的认识. 2. 详论 2.1. 静态类型 2.1.1. 静态方法成员 比如说类的静态成员函数.从学习中我们可以知道,类的静态成员表示这个类成员直接属于类本身:无论实例化这个类对象多少次,静态成员都只是一份相

1.实验3 (1)当运行Servlet时,碰到"空指针异常"错误怎么处理? 答:应提示用户操作有误,或设置对象值为空字符串或一个默认值,或是不执行某操作,直接跳转到其他处理中. (2)谈谈你对JSP中Session的理解. 答:session对象实现了HttpSession接口,用于保存每个用户的状态.session对象保存在容器里,sessionId通过Cookie在服务器和客户端之间往返发送.如果客户端不支持Cookie,就自动转换为使用URL重写. 一般情况下,客户端首次访问We

大家好,本文我将继续来剖析SpringCloud中负载均衡组件Ribbon的源码.本来我是打算接着OpenFeign动态代理生成文章直接讲Feign是如何整合Ribbon的,但是文章写了一半发现,如果不把Ribbon好好讲清楚,那么有些Ribbon的细节理解起来就很困难,所以我还是打算单独写一篇文章来剖析Ribbon的源码,这样在讲Feign整合Ribbon的时候,我就不再赘述这些细节了.好了,话不多说,直接进入主题. 系列文章还在持续更新,如有喜欢的小伙伴可以关注微信公众号 三友的java日记

你好呀,我是歪歪. 上周我不是发了<我怀疑这是IDEA的BUG,但是我翻遍全网没找到证据!>这篇文章吗. 主要描述了在 IDEA 里面反编译后的 class 文件中有这样的代码片段: 很明显,这玩意就是一个语法错误. 但是当我用其他的编译器打开之后,显示又是正常的.于是我当时就断然的下了一个结论:这是 IDEA 的 BUG. 其实写那篇文章的时候我就在想,这应该是 IDEA 使用的反编译器的 BUG,但是 IDEA 使用的是什么反编译器,工作原理是什么,这一块东西就触及到我知识的盲区了. 我实

语句优化 即优化器利用自身的优化器来对我们写的SQL进行优化,然后再将其放入InnoDB引擎中执行. 条件简化 移除不必要的括号 select * from x where ((a = 5)); 上面的括号很没必要,优化器就会直接去掉. select * from x where a = 5; 等值传递 select * from x where b = a and a = 5; 同样的,虽然是两列比较,但是a的值只有一个,所以可以优化 select * from x where b = 5 a

蓄水池采样算法解决的是在给定但长度未知的大数据集中,随机等概率抽取一个数据.如果知道数据的长度,可以用随机数rand()%n得到一个确切的随机位置,或者分块取值来构造随机,那么该位置的对象就是所求的对象,选中的概率是1/n.那长度未知特别是如果这个大数据集不能一次性放入内存中,蓄水池抽样算法就非常有用,在我的项目中采用的蓄水池随机抽样还加入了权重的计算. 其中方法中核心代码,也就是蓄水池抽样就是如下代码. if (i < spotQuantity) { titleIndexList.Add(i)

常用的标准库 序列化模块 import pickle 序列化和反序列化 把不能直接存储的数据变得可存储,这个过程叫做序列化.把文件中的数据拿出来,回复称原来的数据类型,这个过程叫做反序列化. 在文件中存储的数据只能是字符串,或者是字节流,不能是其它的数据类型,但是如果想要将其存储就需要序列化. Python中的序列化模块叫做 pickle,PHP等其它的一些语言将其称作serialize 或者unserialize,每个语言的序列化功能可以序列化它本身的一切数据类型. 使用场景 现在存在一段数据

摘要:几乎所有涉及应用数据交互的场景都可以通过DCM来改善应用结构,提升开发与计算效率. 本文分享自华为云社区<DCM:中间件家族迎来新成员>,作者: 石臻臻的杂货铺. DCM是什么 现代应用无时无刻不在与数据打交道,数据计算无处不在,报表统计.数据分析.业务处理不一而足.当前数据处理的主要手段仍然是以关系数据库为代表的相关技术,虽然使用高级语言(如Java)硬编码也能实现各类计算,但远不如数据库(SQL)方便,数据库在当代数据处理中仍然发挥举足轻重的作用. 不过,随着信息技术的发展,存储与计

PicGo的使用 安装 picGo 2.3版本 (window可用)---官网有点慢,已经下载到个人仓库 https://gitee.com/lht1132950411/study/blob/master/apk/PicGo-Setup-2.3.0-x64.exe macOS请到官网下载.dmp安装包 https://github.com/Molunerfinn/PicGo/ PicGo连接 连接gitee 获取私人令牌 gitee图床链接近期有失效问题暂时用文字描述 1.进入gitee码云登录

在进行多线程程序的开发和设计的过程中,不可避免的需要引入semaphore信号量这个组件,这是.net框架提供的一个对多线程计数互斥的方案,就是允许指定的线程个数访问特定的资源而增加的 一个"红绿灯",只有获取了semaphore的信号后,才能进入特定的资源.那么从netcore 后,又引入了semaphoreslim这个工具类,它与semaphore 有什么区别呢?网上搜搜后,发现它们两个区别大概是一个是通过windows 内核kernal提供的,一个是.net运行时提供的.网上信息

信息收集系统的设计和实现 渗透测试是保卫网络安全的一种有效且必要的技术手段,而渗透测试的本质就是信息收集,信息搜集整理可为后续的情报跟进提供强大的保证,目标资产信息搜集的广度,决定渗透过程的复杂程度,目标主机信息搜集的深度,决定后渗透权限的持续把控. 实现功能 系统主要基于Python实现了Web指纹探测.端口扫描和服务探测.真实IP信息探测.WAF防火墙探测.子域名扫描.目录扫描和敏感信息探测的功能. 设计思路 Web指纹探测 CMS识别功能主要通过调用本地识别接口识别,或者调用网络识别接口识

目录 GlobalTransactionScanner 继承AbstractAutoProxyCreator 实现InitializingBean接口 写在最后 以AT为例,我们使用Seata时只需要在全局事务的方法上加上@GlobalTransactional,就开启了全局事务的支持.那么Seata的底层到底是怎么实现的呢? 首先我们知道,Seata也是一个SpringBoot项目,如果对Seata源码无从下手,那么不妨从Spring切入: GlobalTransactionScanner 在

Golang可重入锁的实现 项目中遇到了可重入锁的需求和实现,具体记录下. 什么是可重入锁 我们平时说的分布式锁,一般指的是在不同服务器上的多个线程中,只有一个线程能抢到一个锁,从而执行一个任务.而我们使用锁就是保证一个任务只能由一个线程来完成.所以我们一般是使用这样的三段式逻辑: Lock(); DoJob(); Unlock(); 但是由于我们的系统都是分布式的,这个锁一般不会只放在某个进程中,我们会借用第三方存储,比如 Redis 来做这种分布式锁.但是一旦借助了第三方存储,我们就必须面对

1. 单实现接口注入方法 1.1 构造注入(推荐) @RequiredArgsConstructor public class TestController { // 其只有一个具体的实现类 private final DemoService demoService; } 1.2 全参构造注入 @AllArgsConstructor public class TestController { DemoService demoService; } 注: 当需要注入的全部是service时候, 这两

目录 1.declare命令介绍 2.声明数组变量类型 3.声明变量为环境变量 4.声明只读属性 5.补充: 1.declare命令介绍 Shell中所有变量的默认类型是字符串类型,如果你需要进行特殊数据类型进行运算,使用declare命令就可以实现声明变量的类型. declare命令是一个内置命令,命令如下: [root@localhost ~]# declare [+/-] [选项] 变量名 选项: -: 给变量设定类型属性. +: 取消变量的类型属性. -а: 将变量声明为数组型. -i:

为了解决uchart作为子组件在主组件里引用但不显示的情况,(同样适用于弹窗之中)目前有三种方法. 1-解决方式 1>如果你使用的uchart子组件是从官方拿的例子:进入到uchart子组件将onReady或者onLoad(){}的方法的名字换成mounted. 2>以父组件给子组件传值的方式给子组件的图表数据赋值. import EchartsBar from '@/components/cardReportCharts/index.vue'//父组件的js <template>

ThreadPoolExecutor 简介 ThreadPoolExecutor 是 java.util.concurrent 包下的一个类,在jdk1.5版本引入,帮助开发人员管理线程并方便地执行并行任务. 通俗来说,ThreadPoolExecutor 的作用是生产和管理线程池的,可以通过调用其 execute 方法和 submit 方法执行多线程任务. ThreadPoolExecutor 使用 创建执行器 ExecutorService 对象和 ThreadPoolExecutor 的关