主要知识点: 直接对分词的term进行聚合后果 设置fielddata=true 直接用.keyword进行聚合 doc value 的性能问题     一.直接对分词的term进行聚合后果     对于分词的field执行aggregation,发现报错...     1.新建一条数据(隐式创建一个索引和type)     POST /test_index/test_type/1 { "test_field":"test" }     2.进行聚合操作     G…

SpringBoot-02 运行原理初探 本篇文章根据b站狂神编写 pom.xml 2.1.父依赖 其中它主要是依赖一个父项目,主要是管理项目的资源过滤及插件! <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.2.5.RELEASE</versio…

数据库内容大概如下: { _id:, "hero_list" : { " : { , , "equip" : [ [ ], [ ], [ ], { , , "uuid" : "4a727ee1-e7b0-4265-b004-e2b75890378a", }, [ ], [ ] ], , , } } } > db.hero.update({_id:1},{$set:{"hero_list.15521.e…

Python源代码剖析笔记3-Python执行原理初探 本文简书地址:http://www.jianshu.com/p/03af86845c95 之前写了几篇源代码剖析笔记,然而慢慢觉得没有从一个宏观的角度理解python执行原理的话,从底向上分析未免太easy让人疑惑.不如先从宏观上对python执行原理有了一个基本了解,再慢慢探究细节.这样或许会好非常多. 这也是近期这么久没有更新了笔记了,一直在看源代码剖析书籍和源代码.希望能够从一个宏观层面理清python执行原理.人说读书从薄读厚,再从…

[libprotobuf ERROR google/protobuf/wire_format.cc:1053] String field contains invalid UTF-8 data when serializing a protocol buffer. Use the 'bytes' type if you intend to send raw bytes. 原因是中间,用char[]把它截断了,造成utf8字符不完整…

组内技术分享的内容,目前网上相关资料很多,但读起来都不太合自己的习惯,于是自己整理并编写一篇简洁并便于(自己)理解和分享的文章. 因为之前对密码学没有专门研究,自己的体会或理解会特别标注为"个人理解",请注意甄别,如有必要可以自行查证. 阅读前需要树立一种观点:大部分场景都是基于概率的大小而言的,比如SHA256安全性.区块链不可更改性等. SHA-256算法 简介 区块链的基础算法之一,在其中用于区块hash计算方法. 是SHA-2下的一个算法标准,而SHA-2全称安全散列算法2,即…

String作为Java中最常用的引用类型,相对来说基本上都比较熟悉,无论在平时的编码过程中还是在笔试面试中,String都很受到青睐,然而,在使用String过程中,又有较多需要注意的细节之处. String的连接 @Testpublic void contact () { //1连接方式 String s1 = "a"; String s2 = "a"; String s3 = "a" + s2; String s4 = "a&qu…

说到Git大家应该都非常熟悉,几乎每天都会用到它.在日常使用过程中,我们貌似并不需要关注其内部的原理,只需要记住那几个常用的命令,就可以说自己是会Git的人了.可是,事实真的是这样子的吗?今天我们就来聊聊那些不太被关注到的内部原理. 引言 首先我们要明白的一点就是,Git是一个内容寻址(content-addressable)文件系统,并在此之上提供了一个版本控制系统的用户界面. 还有一点需要明白的就是,我们日常使用的命令(checkout.commit)对用户更加友好,因此被称为高层(porc…

一.运行架构概览 Spark架构是主从模型,分为两层,一层管理集群资源,另一层管理具体的作业,两层是解耦的.第一层可以使用yarn等实现. Master是管理者进程,Worker是被管理者进程,每个Worker节点启动一个Worker进程,了解每台机器的资源有多少,并将这些信息汇报各Master进程. 每个提交的作业程序对应一个Driver和多个Executor,每个Executor执行具体的任务. 图 Spark基本运行架构 二.运行模式 Local 伪分布式 Standalone Yarn/…

狂神说SpringBoot系列连载课程,通俗易懂,基于SpringBoot2.2.5版本,欢迎各位狂粉转发关注学习. 微信公众号:狂神说(首发)    Bilibili:狂神说Java(视频) 未经作者授权,禁止转载 运行原理探究 我们之前写的HelloSpringBoot,到底是怎么运行的呢,Maven项目,我们一般从pom.xml文件探究起: pom.xml 父依赖 其中它主要是依赖一个父项目,主要是管理项目的资源过滤及插件! <parent> <groupId>org.spr…

本文转载于:http://blog.csdn.net/jack_chen3/article/details/41927395 测试框架图: Android测试环境的核心是Instrumentation框架,Instrumentation框架通过将主程序和测试程序在同一个进程来实现这些功能.在测试工程的manifest文件中添加<Instrumentation>元素来指定要测试的应用程序.官网api:http://developer.android.com/reference/android/a…

1. 偏差与方差 - 机器学习算法泛化性能分析 在一个项目中,我们通过设计和训练得到了一个model,该model的泛化可能很好,也可能不尽如人意,其背后的决定因素是什么呢?或者说我们可以从哪些方面去改进从而使下次得到的model更加令人满意呢? ”偏差-方差分解(bias-variance decomposition)“是解释学习算法泛化能力性能的一种重要工具.偏差-方差分解试图对学习算法的期望泛化错误率进行拆解. 假设测试样本为x,yd 为 x 在数据集中的标记(注意,有可能出现噪声使得 y…

0. 引言 0x1:为什么会有条件随机场?它解决了什么问题? 在开始学习CRF条件随机场之前,我们需要先了解一下这个算法的来龙去脉,它是在什么情况下被提出的,是从哪个算法演进而来的,它又解决了哪些问题,它有哪些优缺点. 实际上我们可以不太严谨地这么说,HMM -> HEMM -> CRF,它们之间是逐渐演进的结果. 隐马尔可夫模型(Hidden Markov Model,HMM).最大熵马尔可夫模型(Maximum Entropy Markov Model,MEMM).以及条件随机场(Cond…

阅前热身 为了更加形象的说明同步异步.阻塞非阻塞,我们以小明去买奶茶为例. 同步与异步 同步与异步的重点在消息通知的方式上,也就是调用结果通知的方式. 同步:当一个同步调用发出去后,调用者要一直等待调用结果的通知,直到得到调用结果. 异步:当一个异步调用发出去后,调用者不能立即得到调用结果的返回. 异步调用,要想获得结果,一般有两种方式: 1.主动轮询异步调用的结果; 2.被调用方通过callback来通知调用方调用结果. 举个栗子: 同步买奶茶:小明点单交钱,然后等着拿奶茶: 异步买奶茶:小明…

详细的废话相信很多书籍视频资料都已经很多了,这里说几个小编个人认为对于理解Spring框架很重要的点.欢迎批评指正. 1)Spring的控制反转 先说说“依赖”,在面向对象程序设计中,类A中用到了类B的实例对象或者类B的方法,叫做类A依赖于类B. 在传统的代码实现中,这种依赖关系通过程序代码直接实现.而在Spring中,把这个工作交给了IoC容器,对象的依赖关系由容器来控制,程序只负责接口(Interface)的控制. 这种控制权从代码到外部容器的转移,称为“控制反转(IoC—Inversion…

SpringBoot从宏观上说,就是对spring容器进行了一层包装.它内部的入口是利用 SpringApplication类的static的 run 方法进行启动的,调用的图: 上图中的这些方法都位于org.springframework.boot.SpringApplication这个类中,由此可见SpringApplication这个类在springboot框架中的作用. //调用示例: public static void main(String[] args) throws Excep…

SSM开发Web的框架已经很成熟了,成熟得以至于有点落后了.虽然如今是SOA架构大行其道,微服务铺天盖地的时代,不过因为仍有大量的企业开发依赖于SSM,本文简单对基于SSM的Java开发做一快速入门,方便读者尽快把握脉络,理解Java Web开发的主轴,便于做进一步深入学习. 关于第一代MVC开发可见:JavaWeb开发之详解Servlet及Servlet容器 SpringMVC 跟许多MVC框架一样,SpringMVC底层依赖Servlet实现底层HTTP请求的处理.不久前Spring 5.0…

Spark job server是一个基于Spark的服务系统,提供了管理SparkJob,context,jar的RestFul接口. 专注标注原文链接 http://www.cnblogs.com/shenh062326/p/6193375.html 使用说明 参考 http://debugo.com/spark-jobserver/ 原理介绍 服务端JobServer首先启动,它会启动一个名叫WebApi的HttpService服务,它提供下面这几个Routes val myRoutes…

原因: 在protobuf 的string字段中存在中文,序列化的时候会出现截断数据,string这个类型带有检查功能 解决方法: 把protobuf中存在中文的string字段类型 改为bytes string的序列化函数多以下代码 ::google::protobuf::internal::WireFormat::VerifyUTF8StringNamedField( this->strdeptname().data(), this->strdeptname().length(), ::g…

*在spring boot中有一个基础的配置文件application.yam(application.property)用于对spring boot的默认设置做一些改动. *在spring boot中有集成很多其他的包或者框架,如redis的操作的包,日志的等等. *在spring boot程序启动的时候,也就是下面这个类: @SpringBootApplicationpublic class Springboot1Application { public static void main(S…

目录 1.聚合报告介绍 2.聚合报告界面详解 3.聚合报告中信息点说明 (1)百分位数的说明 (2)吞吐量说明 提示:聚合报告组件的使用和察看结果树组件的使用方式相同.本篇文章主要是详细的介绍一下聚合报告组件内容,不做示例演示. 1.聚合报告介绍 在使用JMeter进行性能测试时,聚合报告(Aggregate Report)可以说是必用的监听器. (1)聚合报告的生成方式 聚合报告有2中生成方式: 在已有.jtl文件的情况下,直接选择加载文件即可生成聚合报告. 在运行JMeter的过程中,动态生…

去年11月,一篇名为<Playing Atari with Deep Reinforcement Learning>的文章被初创人工智能公司DeepMind的员工上传到了arXiv网站.两个月之后,谷歌花了500万欧元买下了DeepMind公司,而人们对这个公司的了解仅限于这篇文章.近日,Tartu大学计算机科学系计算神经学小组的学者在robohub网站发表文章,阐述了他们对DeepMind人工智能算法的复现. 在arXiv发表的原始论文中,描述了一个单个的网络,它能够自我学习从而自动的玩一些…

之前看<thinkinjava>时记得书上分析国这个问题,然后面试的时候问道了,结果面试官说时的很含糊说是new了一个对象,我说底层用的Stringbuild.他还是说我说错了.谨以此文的记一下这个问题,不要以后面试时再被忽悠了. 文章详见 http://www.jianshu.com/p/849f1d443b3a…

http://www.imooc.com/learn/126 chkconfig setup 解压update.zip这个文件,可发现它一般打包了如下这几个文件: 或者没有updates而是system这个目录,不同的原因是我这里在updates里放置的是system.img等镜像文件,这些文件都由源码编译而来.而如果是system目录,这里一般放的是android系统的system目录下的内容,可以是整个android系统的system目录,也可以是其中的一部分内容,如一些so库等等,这样为补…

Root Linux:Root == Windows:Adminstrator Android是Linux系统吗? 操作系统 = 系统内核 + 文件系统 Linux发行版:Linux内核 + 文件系统(ext3/4) Android:Linux内核 + 文件系统(ext3/4) Android 没有本地窗体系统 而Linux是能够脱离X窗体的. Android 没有glibc library Android并不包含一整套标准的Linux应用程序 而Linux也是能够脱离这两点的. Android…

我们在这篇文章里有尝试讨论三个重点.第一,讨论的 MCMC.第二,学习 MCMC 的实现过程,学习 MCMC 算法如何收敛,收敛到何处.第三,将会介绍为什么从后验分布中能返回成千上万的样本,也许读者和我一样,刚开始学习时,面对这种采样过程看起来有点奇怪. 1. 贝叶斯景象图 当构造一个有…

由小编的上篇博文可以一窥基于AspectJ注解配置的AOP编程实现. 本文一下未贴出的相关代码示例请关注小编的上篇博文<Spring学习之旅(七)基于XML配置与基于AspectJ注解配置的AOP编程比较>,在此不再赘述. 基于AspectJ注解配置的AOP编程,就是将所有配置信息都放在源代码中以注解的方式标注.以与“基于XML配置”的AOP编程相区别. 1)Spring AOP注解就是依赖AspectJ来实现.因此使用Spring AOP注解,必须引入Aspectj框架及相应的包(aspec…

AOP(Aspect-Oriented  Programming,面向切面编程)是Spring提供的关键技术之一. AOP基于IoC,是对OOP(Object-Oriented Programming,面向对象编程)的有效补充. 利用一种“横切”的技术,剖解封装的对象内部,并将那些影响了多个类的公共行为封装到一个可重用模块,并将其命名为Aspect(切面,也称方面). AOP的核心思想就是“将应用程序中的业务逻辑与对其提供支持的通用服务功能进行分离,而业务逻辑与通用服务功能之间通过配置信息,实现…

今天跟踪一下SendMessage的实现. 用向导先创建一个Windows application. 向导生成了一个简单的窗口,如下. 在File菜单添加SendMessage,顺便添加一个PostMessage,点击菜单打开关于对话框,加入已下代码. 用WinDbg调试,点击SendMessage,程序断在IDM_ABOUT的时候查看堆栈. 原来SendMessage是通过内部调用SendMessageWorker通过InternalCallWinProc直接调用的WndProc!! 跟踪到调…

相关文章 Android内存优化系列 Java虚拟机系列 前言 要学习Android的内存优化,首先要了解Java虚拟机,此前我用了多篇文章来介绍Java虚拟机的知识,就是为了这个系列做铺垫.在Android开发中我们接触的是与Java虚拟机类似的Dalvik虚拟机和ART虚拟机,这一篇我们就来了解它们的基本原理. 1.Dalvik虚拟机 Dalvik虚拟机( Dalvik Virtual Machine ),简称Dalvik VM或者DVM.它是由Dan Bornstein编写的,名字源于他的…