Overview 是不是感觉看了这篇 Paxos算法 感觉完全没看懂?2333我也是 之前Paxos算法在工程实现的过程中,会遇到非常多的问题. Chubby Google Chubby是一个大名鼎鼎的分布式锁服务 GFS和Big Table等大型系统都用它来解决分布式协作.元数据存储和Master选举等一系列与分布式锁服务相关的问题. Chubby的底层一致性实现就是以Paxos算法为基础的. Overview Chubby是一个面向松耦合分布式系统的锁服务,通常用于一个由大量小型计算机构成的…

来某厂接近半年了,几乎没写过C++代码,说实话还真的有点手生.最近刚好有一个需求,然而我感觉我也没有办法用C++以外的语言去实现它.于是还是花了几天时间用C++完成编码,这是一个简单的任务执行引擎,它被我称作panguan.写这 篇文章主要记录一下开发过程中的一些思路和想法.不足之处,劳烦大家给予指出. 1.写在前面 1.1需求来源 最近有一个需求,假设我们有很多任务需要定时执行甚至定时重复运行,并且其中有一些任务之间可能存在控制依赖和/或数据依赖,甚至我们希望可以利用一些原子任务去组成一个更大…

公司简介 - CCDI悉地国际-工程实践专业服务的引领者 关于悉地国际         CCDI悉地国际(以下简称"CCDI")创立于1994年,是在城市建设和开发领域从事综合专业服务的大型工程实践咨询机构.我们拥有上海.北京.深圳.成都.纽约五大区域,在重庆.南京.天津.武汉.西安.昆明等国内主要城市设置分公司或办事处,实现在遍布全国各地的服务网络.CCDI曾成功主持设计了国家游泳中心"水立方".国家网球中心.深圳平安国际金融大厦.上海洛克菲勒外滩源.济南奥林匹克…

本文摘录<嵌入式Linux驱动模板简洁和工程实践>一本书"开发和调试技术". Linux强大的是,有那么多的开源项目可以使用.通常非常需要可以通过寻找相关的源模块被定义为高速的解决方案.使这些开源模块的嵌入.对开源项目进行交叉编译. 依据详细情况.下载的开源项目在组织上有非常多情况,在此对各种情况进行归类介绍. 1. 下载的开源软件包找不到Makefile 对于这样的开源包一般是採用configure的方式组织的,那么第一步就是使用软件包中的configure生成Makef…

研究生二年级实习(2010年5月)开始,一直跟着王益(yiwang)和靳志辉(rickjin)学习LDA,包括对算法的理解.并行化和应用等等.毕业后进入了腾讯公司,也一直在从事相关工作,后边还在yiwang带领下,与孙振龙.严浩等一起实现了一套大规模并行的LDA训练系统——Peacock.受rick影响,决定把自己对LDA工程实践方面的一些理解整理出来,分享给大家,其中可能有一些疏漏和错误,还请批评指正. Rickjin在<LDA数学八卦>[1]一文中已经对LDA的数学模型以及基本算法介绍得比…

工程实践:给函数取一个"好"的名字 早在2013年,国外有个程序员做了一个有意思的投票统计(原始链接请见:<程序员:你认为最难做的事情是什么?>),该投票是让程序员从以下几个选项中选出平时在工作中自己认为最难做的事情: 做项目方案设计 编写测试用例 撰写设计文档 向别人解释我们在做什么事情 实现你不认同的feature 在别人写的代码基础上做改造 与人沟通 给函数.变量命名 进行工作量估时 也许在大家的印象中,撰写设计文档和在别人写的代码基础上做改造应该是最难的事情.但是最…

from:https://www.jianshu.com/p/9349c30a6b3e?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation GitChat技术杂谈 前言 本文较长,为了节省你的阅读时间,在文前列写作思路如下: 什么是 webpack,它要解决的是什么问题? 对webpack的主要配置项进行分析,虽然不会涉及太多细节,但是期待在本节能让我们知晓如果…

打算把C++工程过程中的一些总结写下来.从打算写这个内容到今天(2017/1/12)已经很多年了,但是一直没有想好如何写,反正就这样,有什么写什么吧. C++工程实践之所以难产,主要原因有几个 内容比较繁多,细节艰难. 工程实践很难说良好,更多各种程度的妥协.失去了当时环境,只是记录下这种妥协的结果,并没有太多的意义. C++这些年(2010-2017)在飞快的变化,C++1y让很多以前的实践需要重新验证. 但是道理总要讲一讲才能更明白,所以写一点是一点吧.…

在今年 1 月由七牛云主办的 ECUG Con 十周年盛会上,真有趣技术总监陈明达带来了题为< Go 在游戏行业中的工程实践>的精彩分享,深入讲解了 Go 的工程经验,错误和异常处理,interface 的应用以及去 DSL 的尝试等内容,以下是对他演讲实况的记录. 陈明达 真有趣技术总监.从事游戏行业,开发过<神仙道><仙侠道>等项目. 先从工程说起 软件工程三要素 我创业后,总结了过往工作和创业过程中参与的项目,发现不论做什么,软件工程都回到三个问题上: 需求.首先…

一.什么是用例建模(Use Case Modeling) 1.用例(Use Case) (1)概念:用例是软件工程或系统工程中对系统如何反应外界请求的描述,是一种通过用户的使用场景来获取需求的技术. (2)作用:每个用例提供了一个或多个场景,该场景说明了系统是如何和最终用户或其它系统互动,也就是谁可以用系统做什么,从而获得一个明确的业务目标. (3)注意点:编写用例时要避免使用技术术语,而应该用最终用户或者领域专家的语言. (4)用例一般是由软件开发者和最终用户共同创作的. 2.用例建模的步骤…

这个月的8号.9号,个人很荣幸参加了China.NET Conf 2019 , 中国.NET开发者峰会,同时分享了技术专题<.NET技术架构下的混沌工程实践>,给广大的.NET开发小伙伴介绍混沌工程和高可用性改造实践.会后大家伙聚餐的时候,陈计节老师建议大家将各自的议题分享到社区,分享给大家.因此,今天和大家分享我的技术专题<.NET技术架构下的混沌工程实践>. 整个专题主要分为四个部分: .NET分布式.微服务架构下的高可用性挑战 混沌工程简介 .NET混沌工程的实践和成果分享…

在AI业务的开发的过程中,我们常常需要对模型文件进行加密.我们从以下几个方面来说一说AES的加密原理以及AOE里的工程实践. 常见的加密算法 AOE对模型加密需求的思考 AES的加密原理 AOE工程实践-AES和AOE的结合 常见的加密算法 常见的加密算法,主要分为两种:对称加密,采用单密钥的加密方法,同一个密钥可以同时用来加密和解密.常用的对称加密算法有DES,3DES,AES等.非对称加密,需要两个密钥来进行加密和解密,这两个密钥是公开密钥(public key,简称公钥)和私有密钥(pri…

目录 一.准备工作 1.C/C++环境搭建 2.VSCode的配置 (1) 安装插件: (2) 设置配置文件: 二.工程化编程实战 1.模块化设计 2.可重用设计:进一步抽象 menu的进一步优化 可重入函数和线程安全 可重入的概念 线程安全的概念 两者之间的关系 对linktable模块的分析 计算机软件发展也有很多年了,软件工程越来越复杂,对代码的重用,工程的抽象和模块化需求越来越大,从一开始的面相过程,到面向对象,再到组件,微服务--现借本次课程的机会,梳理一下软件工程中基本的实践方法,看…

ProtoBuf 作为一种跨平台.语言无关.可扩展的序列化结构数据的方法,已广泛应用于网络数据交换及存储.随着互联网的发展,系统的异构性会愈发突出,跨语言的需求会愈加明显,同时 gRPC 也大有取代Restful之势,而 ProtoBuf 作为g RPC 跨语言.高性能的法宝,我们技术人有必要 深入理解 ProtoBuf 原理,为以后的技术更新和选型打下基础. 我将过去的学习过程以及实践经验,总结成系列文章,与大家一起探讨学习,希望大家能有所收获,当然其中有不正确的地方也欢迎大家批评指正. 本系…

西方经典管理理论认为,组织效率可以归为劳动效率.组织效率和人的效率.美国管理学家泰勒所著的<科学管理原理>被德鲁克誉为"20 世纪最伟大的发明",劳动效率说认为分工提升生产效率,福特的流水线就是分工和工业化的典型代表.经济学家亚当斯密也在<国富论>里描述了螺丝制造的十八道工序,通过工具的分解能分别由十八个专门的工人负责完成,实现效率上的提升. 让组织效率最大化的手段是专业化水平与等级制度的结合,意即让不同专业能力的人匹配适合的岗位.在现代,数字化.平台化的企业强…

本文来自尚妆前端团队南洋 发表于尚妆github博客,欢迎订阅! 前言 尚妆大前端团队使用 weex 进行三端统一开发有一段时间了,截止本文发表「达人店」APP大部分页面都已经用 weex 进行了重构,在此期间也积累了一些基础组件和业务组件. 之前维护组件的方式是在达人店项目的工程内维护一个 components 文件夹,随日常开发迭代,并行需求与开发人员的增多,这种维护方式也暴露出一些问题. 1.开发人员可以随意跟随需求开发修改 components 内的组件,破坏约定好的规范,或埋入 bug…

在上篇文章中对libsvm的流程和简单的java代码测试做了说明,本篇简单对libsvm如何在工程中实践进行简短说明,不当的地方欢迎大家指正. 第一步是对libsvm的预测函数进行调整,我是从svm_predict类中抽取部分代码组成预测防范,代码如下: /** * 对传入的文本特征根据训练好的分类模型进行分类 * @param model 已经训练好的模型 * @param contentFeature 传入的计算好的文本分词后的特征 * @return */ public static in…

总体来看,网络上成体系的可用的 Fabric 教程极少--不是直接在 Fabric 官网复制内容大谈基础理论就是在描述一个几乎无法复现的项目实践,以至于学习 Fabric 的效率极低,印象最深刻的就是我曾经花费几天时间尝试按照官方教程 CA Deployment steps 搭建自己的 CA 服务,却始终无法成功也找不到原因.因此,为了提高生产效率,本系列虚拟了一个工作室联盟链需求并将逐步实现,致力于提供一个易理解.可复现的工程项目,其中工程部署配置的各个环节都清晰可见,并且可以通过流程脚本能够…

近年来,IT应用越来越复杂,一旦出现故障,诊断越来越困难,使用传统技术来管理机器数据的组织会让其运维团队不堪重负.幸好随着大数据.机器学习和AI技术的飞速发展,智能化运维给这一现状带来了改变. 那么就当下而言,我们应如何理解智能运维的概念?如何将大数据和机器学习的方法引入运维的各个领域方向?怎样解决海量指标的自动算法选择与参数自动训练问题?带着这些问题,我们邀请了百度智能运维负责人 曲显平及百度智能运维团队为我们带来业界最新的实践及趋势. 另外,在即将于7月14-15日举办的北京MPD工作坊上,…

在本机jdk(主要配置环境变量).scala(主要配置环境变量).sbt(主要配置①私服repositories  ②sbtconfig.txt)都已经安装且配置好的情况下. repositories: [repositories] local Ivy Repositories: http://xxxIP:port/repositories/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]…

本课主要2个实践内容: 1.keras中数据集丰富,从数据集中提取更多特征(Data augmentation) 2.迁移学习(Tranform learning) 代码:https://github.com/jsxyhelu/DateSets 1.keras中数据集丰富,从数据集中提取更多特征(Data augmentation) keras是比较现代化的DL工具,所以这方面的功能都是具备的.这里首先将相关知识进行整理,然后将例子进行实现,特别注重结果的展示. 具体内容包括: 旋转 | 反射变…

概述 数据增强 思路:在训练的时候引入干扰,在测试的时候避免干扰. 翻转图片增强数据. 随机裁切图片后调整大小用于训练,测试时先图像金字塔制作不同尺寸,然后对每个尺寸在固定位置裁切固定大小进入训练,最后对所有结果取平均值. 对颜色信息进行主成分分析并重建 迁移学习 三种网络训练思路: 中量数据的训练思路:先训练附加层,收敛后整体整体微调(funetuning) 值得注意:少量低相似度数据处理方式,虽然不乐观,但可以尝试不同层提取特征后组合处理(感觉和之前看的腾讯的检测文档边缘工程案例相似:基于…

Eclipse转Android Studio工程有两种方式, 一种是兼容Eclipse,两者都可以使用,一种是全新的Android Gradle Project. 这里使用的Android Studio版本为2.2.3 一.兼容模式 1. 在Eclipse中生存Gradle文件 File->Export->Android->Generate Gradle build files 一路Next. 选择你要转的工程,包括主工程和库工程. 点击完成. 2. 修改导出文件参数 1)修改build…

作者:杨科 NCNN是腾讯开源的一个为手机端极致优化的高性能神经网络前向计算框架.在AOE开源工程里,我们提供了NCNN组件,下面我们以SqueezeNet物体识别这个Sample为例,来讲一讲NCNN组件的设计和用法. 直接集成NCNN缺点 为SqueezeNet接入NCNN,把相关的模型文件,NCNN的头文件和库,JNI调用,前处理和后处理相关业务逻辑等.把这些内容都放在SqueezeNet Sample工程里.这样简单直接的集成方法,问题也很明显,和业务耦合比较多,不具有通用性,前处理后处…

作者:杨科 近期我们开发了一个银行卡 OCR 项目.需求是用手机对着银行卡拍摄以后,通过推理,可以识别出卡片上的卡号. 工程开发过程中,我们发现手机拍摄以后的图像,并不能满足模型的输入要求.以 Android 为例,从摄像头获取到的预览图像是带 90 度旋转的 NV21 格式的图片,而我们的模型要求的输入,只需要卡片区域这一块的图像,并且需要转成固定尺寸的 BGR 格式.所以在图像输入到模型之前,我们需要对采集到的图像做图像处理,如下图所示: 在开发的过程中,我们对 YUV 图像格式和 liby…

在程序开发时候一套好的开发环境和工具栈,可以帮我们极大的提高开发的效率,避免把大量时间浪费在周边琐事上.本文以Python为例,教大家如何快速打造完美的Python项目开发环境:内容涵盖了模块依赖管理.代码风格管理.调试测试管理和Git版本管理,使用git hook做项目规范检查等. pipx Pipx是一款跨平台的Python环境隔离管理工具,可以在支持在 Linux.Mac OS 和 Windows 上运行.Pipx默认在是个人用户下建立虚拟Python环境,并以此建立实现完全隔离的Pyth…

欢迎访问元宇宙中文社区,在这里大家可以提问,回答,分享,诉说,一起构建一个元宇宙社区. 2021年"元宇宙"的这个词的火热程度在业内绝对不亚于疫情,趁着这个热度,本文记录了如何搭建一个社区网站的实践过程. 目标 一个社区网站主要专注于用户之间通过帖子进行互动,从用户角度看基本的功能包含发帖.回复.点赞.评论以及用户注册登录等功能,从管理员角度看必须有帖子.用户.权限以及各种后台管理能力. 技术选型 现在利用云计算的能力,个人或者小型企业都能快速的搭建网站,笔者也曾经用过多个公司的云计算…

概述 计算加速 方法一: 由于计算机计算矩阵乘法速度非常快,所以这是一个虽然提高内存消耗但是计算速度显著上升的方法,把feature map中的感受野(包含重叠的部分,所以会加大内存消耗)和卷积核全部拉伸成为向量,组成两个矩阵相乘,再想办法恢复为输出的feature map. 方法二: 利用傅里叶变换的特性加速计算,思路来源于信号处理,只对大卷积核有效. 方法三: 思路来源于经典算法,用的人很少,老师也没怎么介绍,个人亦是不太感兴趣,需要的时候自己查资料吧. 总结: 比较简要的总结就是,如果真的…

https://mp.weixin.qq.com/s/0monDPkAlMk7Yhq9swW7gQ 原创 郭彦梅 InfoQ 2020-11-17  …

作者|刘宇   前言:本文将以阿里云函数计算为例,提供了在线调试.本地调试等多种应用优化与调试方案. Serverless 应用调试秘诀 在应用开发过程中,或者应用开发完成,所执行结果不符合预期时,我们要进行一定的调试工作.但是在 Serverless 架构下,调试往往会受到极大的环境限制,出现所开发的应用在本地可以健康.符合预期的运行,但是在 FaaS 平台上发生一些不可预测的问题的情况.而且在一些特殊环境下,本地没有办法模拟线上环境,难以进行项目的开发和调试.   Serverless 应用…