作者|林俊(万念) 来源|尔达 Erda 公众号 Erda Pipeline 是端点自研.用 Go 编写的一款企业级流水线服务.截至目前,已经为众多行业头部客户提供交付和稳定的服务. 为什么我们坚持自研,而不用 jenkins 等产品呢?在当时,至少有以下几点理由: 时至今日,开源社区仍没有一个事实上的流水线标准 K8s.DC/OS 等的 Job 实现都偏弱,上下文传递等缺失,不满足我们的需求,更不要说 Flow 了 自研能更快地响应业务需求,进行定制化开发 作为基础服务,Pipeline 在

原文链接:基于SLF4J的MDC机制和Dubbo的Filter机制,实现分布式系统的日志全链路追踪 一.日志系统 1.日志框架 在每个系统应用中,我们都会使用日志系统,主要是为了记录必要的信息和方便排查问题. 而现在主流的就是 SLF4J + Logback. 当我们的系统是单体应用,日志做起来时非常简单的,直接使用 log.info,log.error,log.warn 等等方法. 而当我们的系统是分布式系统,服务之间通信通常都是使用 Dubbo 这个 RPC 框架. 此时做日志就不是这么简单

随笔- 102  文章- 3  评论- 476  发布订阅 - 基于A2DFramework的事件机制实现   SUMMARY 能做什么 DEMO 原理图 应用场景 能做什么 A2DFramework的事件机制是基于发布订阅模式改进得来的一套API,中间件部分实现了msmq.redis.Supersocket可替换.能够实现较彻底的模块事件传递过程中的解耦,支持分布式环境.由于订阅端采用了消息队列作为转发层,因此也能支持事件量很大的场景. DEMO Demo工程下载地址(可右键保存): 发布订阅

mybatis – MyBatis 3 | 日志 http://www.mybatis.org/mybatis-3/zh/logging.html MyBatis 内置日志工厂基于运行时自省机制选择合适的日志工具.它会使用第一个查找得到的工具(按上文列举的顺序查找).如果一个都未找到,日志功能就会被禁用. 不少应用服务器(如 Tomcat 和 WebShpere)的类路径中已经包含 Commons Logging,所以在这种配置环境下的 MyBatis 会把它作为日志工具,记住这点非常重要.这将

Seq2Seq(Attention) @ 目录 Seq2Seq(Attention) 1.理论 1.1 机器翻译 1.1.1 模型输出结果处理 1.1.2 BLEU得分 1.2 注意力模型 1.2.1 Attention模型 1.2.2 Seq2Seq(Attention)模型结构 1.2.2.1 Encoder 1.2.2.2 Decoder 1.2.2.2.1 原始解码器 1.2.2.2.2 带有注意力机制的解码器 1.3 特殊字符 2.实验 2.1 实验步骤 2.2 算法模型 2.2.1

Bi-LSTM(Attention) @ 目录 Bi-LSTM(Attention) 1.理论 1.1 文本分类和预测(翻译) 1.2 注意力模型 1.2.1 Attention模型 1.2.2 Bi-LSTM(Attention)模型结构 2.实验 2.1 实验步骤 2.2 算法模型 1.理论 1.1 文本分类和预测(翻译) 文本分类的输入处理和预测(翻译)不同: 预测(翻译)通常用eye()把每个输入向量转换为one-hot向量, 但文本分类模型通常用Embedding初始化一个嵌入矩阵用来

Seq2Seq(Attention) 目录 Seq2Seq(Attention) 1.理论 1.1 机器翻译 1.1.1 模型输出结果处理 1.1.2 BLEU得分 1.2 注意力模型 1.2.1 Attention模型 1.2.2 Seq2Seq(Attention)模型结构 1.2.2.1 Encoder 1.2.2.2 Decoder 1.2.2.2.1 原始解码器 1.2.2.2.2 带有注意力机制的解码器 1.3 特殊字符 2.实验 2.1 实验步骤 2.2 算法模型 2.2.1 En

首先行为扩展这个概念是TP架构的核心组成之一,关于行为的解释我就粗略的概括一下吧:TP在从接受到HTTP请求到最终将视图输出,期间经历的很多步骤,这些步骤大家可以在http://document.thinkphp.cn/manual_3_2.html#system_process 这里面看到,这里就不再详细叙述了,那么行为扩展实际上就是在这些流程里埋下了一个钩子,你可以往钩子里添加你自己的业务逻辑,当程序执行到某个钩子位置时将自动触发你的业务逻辑,关于系统预置的一些钩子可以参考:http://d

点击打开链接 一:wakeup_source简介: linux 3.4内核PM使用了wakeup_source来保持唤醒状态,也就是keep awake.之前android一直是基于Linux加入了wake_lock机制来阻止系统休眠,后来Linux 3.4内核加入了wakeup_source来管理,安卓4.4跟着升级内核也就摒弃了自己的臃肿的wake_lock机制,在对上层接口并不改变,在内核wake_lock实现直接基于wakeup_source来实现的.当然也会带来debug上的一些问题,

SUMMARY 能做什么 DEMO 原理图 应用场景 能做什么 A2DFramework的事件机制是基于发布订阅模式改进得来的一套API,中间件部分实现了msmq.redis.Supersocket可替换.能够实现较彻底的模块事件传递过程中的解耦,支持分布式环境.由于订阅端采用了消息队列作为转发层,因此也能支持事件量很大的场景. DEMO Demo工程下载地址(可右键保存): 发布订阅Demo.rar 一.建立各个工程,并且加入A2DFramework.EventService的引用 二.给各个

首先行为扩展这个概念是TP架构的核心组成之一,关于行为的解释我就粗略的概括一下吧:TP在从接受到HTTP请求到最终将视图输出,期间经历的很多步骤,这些步骤大家可以在http://document.thinkphp.cn/manual_3_2.html#system_process 这里面看到,这里就不再详细叙述了,那么行为扩展实际上就是在这些流程里埋下了一个钩子,你可以往钩子里添加你自己的业务逻辑,当程序执行到某个钩子位置时将自动触发你的业务逻辑,关于系统预置的一些钩子可以参考:http://d

原文网址:http://www.jianshu.com/p/21d9b3b94cfc WebSocket 的使得浏览器提供对 Socket 的支持成为可能,从而在浏览器和服务器之间提供了一个基于 TCP 连接的双向通道.Web 开发人员可以非常方便地使用 WebSocket 构建实时 web 应用. 1.WebSocket 机制 以下简要介绍一下 WebSocket 的原理及运行机制. WebSocket 是 HTML5 一种新的协议.它实现了浏览器与服务器全双工通信,能更好的节省服务器资源和带

    假设说事件监听机制是一种托付式的事件处理,那么回调机制则与之相反,对于基于回调的事件处理模型来说,事件源和事件监听器是统一的,或者说事件监听器全然消失了,当用户在GUI控件上激发某个事件时,控件自己特定的方法将会负责处理该事件. 转载请表明出处:http://blog.csdn.net/u012637501(嵌入式_小J的天空) 一.View类的常见回调方法     为了使用回调机制来处理GUI控件上所发生的事件,须要为该组件提供相应的事件处理方法,而Java又是一种静态语言,我们无法为

一.前言 SQL阻塞Block是事务联机系统OLTP的产物.由于锁导致的资源等待,事务执行时间过长,直接影响业务:了解阻塞,发现阻塞,已作为DBA日常维护的重中之重. 通过dmv可以发现当前正在阻塞的语句,编写存储过程,使用agent作业定时执行,也能达到收集阻塞的效果:然而此方法存在一定的误差.使用扩展事件记录所有等待一定时间的阻塞,能完整的记录所有发生阻塞的SQL. 1.1.blocked process threshold (s) 通过以下脚本查看:默认blocked process收集不

1.说明 针对需要恢复的应用场景,提供了HA的的机制 内部实现原理:基于checkpoint的 当程序被kill的时候,下次恢复的时候,会从checkpoint对用的文件中进行数据的恢复 2.HA原理 当job执行的时候,将数据同步到checkpoint设置的对应文件夹中 同步的数据包括: 类的信息(包名 + 类名) Job DAG执行图(在运行后,代码的DAG图不能进行任何修改,否则下次执行的时候会报错<类型不匹配>; 只要DAG图不变,其它API内部的代码执行逻辑可以随便更改) Job执行

在前一篇博文中我们了解了阿里云容器服务的路由机制: 请求 -> 负载均衡80端口 -> 容器主机9080端口 -> acsrouting路由容器80端口 --基于域名--> Web站点容器的80端口 在这篇博文中,我们用nginx镜像创建一个容器实际体验一下. 使用容器服务首先要创建一个集群(Cluster),比如这里我们创建一个名叫websites的集群(使用的是swarm mode): 创建好集群后,点击“管理”,进入集群管理页面 -> “负载均衡” -> “域名设

服务注册 注册中⼼作为一般的RPC/Web服务中的底层设施提供了服务进程元数据(IP, Port, Interface, Group,Method等)存储,被Watch的功能,每个服务进程均需接⼊同⼀组持久化的K/V介质集群(⽐如: zookeeper,etcdv3等).各进程均需将本进程的元数据存储于注册中⼼,并且能够Watch到其他服务进程的元数据变化(包括创建,更新等). Kubernetes Kubernetes作为容器集群化管理⽅案管理资源的维度可主观的分为服务进程管理和服务接⼊管理.

前言:在实现过程查找过许多资料,各种波折,最后综合多篇文章最终实现并上线使用.为了减少大家踩坑的时间,所以写了本文,希望有用.对于实现过程中有用的参考资料直接放上链接,可能有些内容相对冗余,不过时间允许多看看也并不无益. 入门文章: http://www.tuicool.com/articles/mEJvYb netty官网: http://netty.io/ (官网的user guide相对一般,javadoc倒是要看的)   需求场景: 实现用户的在线离线状态实时展现(我们的客户端是andr

按键驱动分析: #include <linux/module.h> #include <linux/kernel.h> #include <linux/fs.h> #include <linux/init.h> #include <linux/delay.h> #include <linux/poll.h> #include <linux/irq.h> #include <asm/irq.h> #include

在学习linux内核代码及一些开源软件的源码(如:DirectFB),经常可以看到有关__attribute__的相关使用.本文结合自己的学习经历,较为详细的介绍了__attribute__相关语法及其使用. ---------------------------------------------------------------- 声明:     此文为原创,欢迎转载,转载请保留如下信息     作者:聂飞(afreez)  北京-中关村     联系方式:afreez@sina.com

IE8下,用户点击下载文件,会发现文件类型失丢的问题,解决方案如下: //IE8下载时,只显示action的名字,没有文件名和后缀 @仰止网Simba //return File(bufferbyte, "application/octet-stream", filename); //全兼容:高版本浏览器不需要编码文件名否则会成ASCII乱码,IE8需要编码否则不能识别文件名 return File(bufferbyte, "application/octet-stream&