#研发解决方案介绍#Recsys-Evaluate（推荐评测）

郑昀基于刘金鑫文档最后更新于2014/12/1 关键词:recsys.推荐评测.Evaluation of Recommender System.piwik.flume.kafka.storm.redis.mysql 本文档适用人员:研发推荐系统可不仅仅是围着推荐算法打转先明确一下,我们属于工业领域.很多在学术论文里行之有效的新特奇算法,在工业界是行不通的.当年我们做语义聚合时,分词.聚类.相似性计算.实体词识别.情感分析等领域最终还都采用了工业界十几年前乃至于几十年前就流行的成…

#研发解决方案介绍#Tracing（鹰眼）

郑昀最后更新于2014/11/12 关键词:GoogleDapper.分布式跟踪.鹰眼.Tracing.HBase.HDFS. 本文档适用人员:研发分布式系统为什么需要 Tracing? 先介绍一个概念:分布式跟踪,或分布式追踪. 电商平台由数以百计的分布式服务构成,每一个请求路由过来后,会经过多个业务系统并留下足迹,并产生对各种Cache或DB的访问,但是这些分散的数据对于问题排查,或是流程优化都帮助有限.对于这么一个跨进程/跨线程的场景,汇总收集并分析海量日志就显得尤为重要.…

#研发解决方案介绍#IdCenter（内部统一认证系统）

郑昀基于朱传志的设计文档最后更新于2014/11/13 关键词:LDAP.认证.权限分配.IdCenter. 本文档适用人员:研发曾经一个IT内部系统配一套帐号体系和授权线上生产环境里,技术人员需要登录许多内部系统,如: memcached/redis/mongodb 的管控系统譬如我得有个把线上某个 memcached 的某个业务端口下某个/某些键值清空的 Web 界面吧: 譬如我得有个查出某个缓存键值并选择用哪一个Java Class反序列化的功能吧: jobcenter/…

#研发解决方案介绍#基于StatsD+Graphite的智能监控解决方案

郑昀基于李丹和刘奎的文档创建于2014/12/5 关键词:监控.dashboard.PHP.graphite.statsd.whisper.carbon.grafana.influxdb.Python 本文档适用人员:研发和运维员工提纲: 监控平台要做到什么程度?为什么要自己做? 几个通用技术问题绘图所依赖的数据如何收集?如何加工?如何存储? 图形如何绘制,各种指标如何叠加? 拓扑关系如何绘制? 技术选型哲学最终选了statsd+graphite 数据的采集数据存储的粒度天机的技术…

#研发解决方案介绍#基于ES的搜索+筛选+排序解决方案

郑昀基于胡耀华和王超的设计文档最后更新于2014/12/3 关键词:ElasticSearch.Lucene.solr.搜索.facet.高可用.可伸缩.mongodb.SearchHub.商品中心本文档适用人员:研发和运维提纲: 曾经的基于MongoDB的筛选+排序解决方案 MongoDB方案的缺陷看中了搜索引擎的facet特性看中了ES的简洁看中了ES的天生分布式设计窝窝的ES方案 ES的几次事故和教训 ES自身存在的问题首先要感谢王超和胡耀华两位研发经理以严谨治学的研…

#研发中间件介绍#定时任务调度与管理JobCenter

郑昀最后更新于2014/11/11 关键词:定时任务.调度.监控报警.Job.crontab.Java 本文档适用人员:研发员工没有JobCenter时我们要面对的: 电商业务链条很长,业务逻辑也较为复杂,需要成百上千种定时任务.窝窝的大多数定时任务其实调用的是本地或远端 Java/PHP/Python Web Service.如果没有一个统一的调度和报警,在集群环境下,我们会: 不知道哪一个定时任务执行失败或超时,不见得能第一时间知道——直到最终用户投诉反馈过来: 要求每一个定时任…

#研发中间件介绍#异步消息可靠推送Notify

郑昀基于朱传志的设计文档最后更新于2014/11/11 关键词:异步消息.订阅者集群.可伸缩.Push模式.Pull模式本文档适用人员:研发电商系统为什么需要 NotifyServer? 如子柳所说,电商系统『需要两种中间件系统,一种是实时调用的中间件(淘宝的HSF,高性能服务框架).一种是异步消息通知的中间件(淘宝的Notify)』.那么用传统的 ActiveMQ/RabbitMQ 来实现异步消息发布和订阅不行吗? 2013年之前我们确实用的是 ActiveMQ,当…

著名ERP厂商的SSO单点登录解决方案介绍一

SSO英文全称Single Sign On,单点登录.SSO是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统.它包括可以将这次主要的登录映射到其他应用中用于同一个用户的登录的机制.认证系统的主要功能是将用户的登录信息和用户信息库相比较,对用户进行登录认证:认证成功后,认证系统应该生成统一的认证标志(ticket),返还给用户.它是比较流行的企业业务整合的解决方案之一. 企业应用集成(EAI, Enterprise Application Integr…

#研发解决方案#分布式并行计算调度和管理系统Summoner

郑昀创建于2015/11/10 最后更新于2015/11/12 关键词:佣金计算.定时任务.数据抽取.数据清洗.数据计算.Java.Redis.MySQL.Zookeeper.azkaban2.oozie.mesos 提纲: 为什么要做“数据”并行计算调度? 他山之玉:azkaban2/oozie/mesos Summoner的特性 Summoner 是国玺部门推出的基于 MySQL+Redis+Zookeeper 的分布式并行计算调度和管理系统,李红红主设. 0x00,为什么要做“数据”…

IT运维监控解决方案介绍

现状 •小公司/ 创业团队< 500台服务器规模 开源方案:Zabbix.Nagios.Cacti- 云服务提供商:监控宝.oneAlert等 •BAT级别> 10万台服务器 投入大量的人力,内部自研,与业务严重耦合没法作为产品推出 •中间阶层无从可选早期,选用Zabbix •Zabbix是一款开源的企业级监控系统 •对其进行二次开发.封装.调优... •为什么选择Zabbix •Cacti •Collectd •RRDtool •Nagios •openTSDB Za…

#研发解决方案#iDB-数据库自动化运维平台

郑昀创建于2015/12/2 最后更新于2015/12/2 关键词:数据库,MySQL,自动化运维,AutoDDL,刷库,帐号授权,审核,回滚提纲: 数据库自动化运维什么?别人家是怎么玩的? 我们打算做哪些特性? 我们的iDB iDB 是刘勤红部门推出的数据库自动化运维平台,它其实已经断断续续开发了几个月了,线上也跑了一段时间,最近又发布了新版本.版本迭代的主力是王晓华同学,李世杰也参与了一部分开发工作,曹富志和张永奎是需求方. iDB 的主要目的是解决绝大部分重复.复杂的数据库运维工作 ,…

.NET开源项目介绍及资源推荐：数据持久层

在.NET平台下,关于数据持久层框架非常多,本文主要对如下几种做简要的介绍并推荐一些学习的资源: 1．NHibernate 2．NBear 3．Castle ActiveRecord 4．iBATIS.NET 5．DAAB 附加介绍:DLinq 一．NHibernate 提起NHibernate,相信大家都不陌生,NHibernate来源于非常优秀的基于Java的Hibernate关系型持久化工具,它从数据库底层来持久化.Net对象到关系型数据库,NHibernate为我们完成这一切,而不用自己…

#研发解决方案#研发协作平台CloudEngine

Cloud Engine:大杀器如何炼成郑昀(微博:http://weibo.com/yunzheng) 创建于2016/6/18 最后更新于2016/6/19 点击查看我的<如何从零搭建一个技术平台>,这是一个系列.转载时请注明“转载自旁观者-博客园”或者给出本文的原始链接. 本文档适用人员:技术人员提纲: 蚂蚁金服的研发协作是怎么运转的我们向何处去我们现阶段如何聚焦 CE 简介何谓 ACP?阿里协作平台是也. 自动化测试.自动化构建.自动化运维.环境维护.资源申请和释放.虚拟机集…

android 7.0 调用系统相机崩溃的解决方案(非谷歌官方推荐)

解决方案: 1.(推荐)7.0之后你的app就算有权限,给出一个URI之后手机也认为你没有权限. 不用修改原有代码,在Application的oncreate方法中:(或者直接放在调用相机的activity的onCreate方法中) if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.N) { StrictMode.VmPolicy.Builder builder = new StrictMode.VmPolicy.Builder(); Strict…

Markdown介绍及工具推荐

什么是Markdown? Markdown是一种可以使用普通文本编辑器编写的标记语言,通过简单的标记语法,它可以使普通文本内容具有一定的格式.百度百科markdown 还没听说过Markdown?那赶紧去搜搜吧太多,看的眼花缭乱,那就接着看我这篇吧! 常用Markdown工具推荐!! 联网版常用的主要是如下几款吧,有的我也没用过,大家挑用的顺手的就行,都大同小异有道云笔记印象笔记 gitbook 以上几款均有电脑客户端和网页版(或许有手机版),而且可相互同步,也可以团队协作以上是不是都…

CAS Client集群环境的Session问题及解决方案介绍，下篇介绍作者本人项目中的解决方案代码

CAS Client集群环境的Session问题及解决方案程序猿讲故事 2016-05-20 原文 [原创申明:文章为原创,欢迎非盈利性转载,但转载必须注明来源] 之前写过一篇文章,介绍单点登录的基本原理.这篇文章重点介绍开源单点登录系统CAS的登录和注销的实现方法.并结合实际工作中碰到的问题,探讨在集群环境中应用单点登录可能会面临的问题.这篇文章在上一篇的基础上,增加了第四部分,最终的解决方案. 1 单点登录的过程为了描述方便,假设有如下一个单点登录系统.一套CASServer,两套…

abp(net core)+easyui+efcore仓储系统——解决方案介绍(二)

abp(net core)+easyui+efcore仓储系统目录 abp(net core)+easyui+efcore仓储系统——ABP总体介绍(一) ABP框架首先介绍一下abp框架,abp其实基于DDD(领域驱动设计)原则,具体的体系结构如下图: 现在我们开始介绍我们的解决方案,我们的项目解决方案如下: 二 . ABP项目文件的介绍 ABP.TPLMS.Application,应用层:进行展现层与领域层之间的协调,协调业务对象来执行特定的应用程序的任务.它不包含业务逻辑,主要包含一些模…

单点登录（SSO）解决方案介绍

一.单点登录的介绍单点登录(Single Sign On),简称为 SSO,是目前比较流行的企业业务整合的解决方案之一.SSO的定义是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统. 例如:百度旗下有很多的产品,比如百度贴吧.百度知道.百度文库等,只要登录百度账号,在任何一个地方都是已登录状态,不需要重新登录. 当用户第一次访问应用系统的时候,因为还没有登录,会被引导到认证系统中进行登录:根据用户提供的登录信息,认证系统进行身份校验,如果通过校验,应该返回给用户一个认证的…

OSSCore 开源解决方案介绍

基于.NetCore的积木化服务框架,主要将常规解决方案进行进一步的抽象下沉形成相关基础可选框架单元(在Framework 目录),并在此基础上实现常规系统模块(在Modules 目录),如用户管理,权限管理等. 当前项目,目的是为了提供一个思路,而不是模板.除了 Framework 下提供的基础框架,OSSCore还有其他多个独立的中间件类库,见文档下方. 已实现常规模块 Portal 用户门户用户登录注册,支持以下方式自由组合: 用户类型:管理员,用户账号类型:手机号,邮箱,第三方(待完善)…

#研发解决方案#基于Apriori算法的Nginx+Lua+ELK异常流量拦截方案

郑昀基于杨海波的设计文档创建于2015/8/13 最后更新于2015/8/25 关键词:异常流量.rate limiting.Nginx.Apriori.频繁项集.先验算法.Lua.ELK 本文档适用人员:技术人员提纲: 所谓异常流量如何识别异常流量 Apriori如何工作如何让 Nginx 拦截可疑 IP 0x00,所谓异常流量有害的异常流量大概分为以下几种: 僵尸网络中的节点对主站发起无目的的密集访问: 黑客.白帽子或某些安全公司为了做漏洞扫描,对主站各个 Web 工程发起字典式…

#研发解决方案#discache-分布式缓存查询与管理系统

郑昀基于马海元和闫小波的文档关键词:memcached.redis.分布式缓存.控制台.反序列化.Java 本文档适用人员:研发和运维员工提纲: 如何查看缓存里的序列化数据? 批量删除来一个监控每个缓存端口的访问情况是很有必要的 discache 解决了这些问题电商系统的分布式缓存一般是 redis 和 memcached 集群,每一个节点上会起很多实例,因为一个业务类型对应于一个端口,拆分得很清楚.既然节点很多,端口很多,业务也在变化,随时都有变动,如何管理呢?当然,最迫切的…

NAT穿透解决方案介绍

最近公司要实现在各种网络环境下面的多屏互动(机顶盒.android phone.iphone及PC端)的需求:由于IP地址资源有限的原因,目前我们使用的各种终端设备都位于局域网后面也就是多台设备共享同一个公网IP:例如:如果位于局域网里面的一个终端Agent A要与互联网上的另一个终端Agent B通信,当A发送的data packet经过局域网出口处的NAT设备时,NAT会将data packet里面的source address字段替换成相应的公网IP和Port,然后再发送data pack…

[python] 基础工具介绍好文推荐

Github上有个哥们写的,还不错,mark一下: https://github.com/lijin-THU/notes-python/blob/master/index.ipynb 相对全面的介绍了numpy,scipy,matplotlib以及Python基础,适合小白入门扫描. 争取这周刷完.…

Oracle集群和灾备解决方案介绍

Oracle本身有各种各样的解决方案,本文主要是对以下几种解决方案做一下简单的梳理. 1. Oracle Rac解决方案. Oracle Rac主要通过两台Oracle服务器来组件集群,提高Oracle的性能,同时具有一定的好可用性的特性. l 搭建最小配置:2台Oracle服务器(安装Oracle DB和Oracle Rac)+共享存储服务器+光纤交换机(最好2台). 其中Rac软件不需要单独部署到单独的服务器上. l Oracle Rac的特性: Oracle Rac中的两个数据库节点…

DevOps到底是什么鬼？DevOps介绍及工具推荐。

什么是DevOps DevOps是Development和Operations的组合,是一组过程.方法与系统的统称,用于促进开发(应用程序/软件工程).技术运营和质量保障(QA)部门之间的沟通.协作与整合.它的出现是由于软件行业日益清晰地认识到:为了按时交付软件产品和服务,开发和运营工作必须紧密合作. 可以把DevOps看作开发(软件工程).技术运营和质量保障(QA)三者的交集. 传统的软件组织将开发.IT运营和质量保障设为各自分离的部门.在这种环境下如何采用新的开发方法(例如敏捷软件开发),这…

NAT穿透解决方案介绍（转）--Java ICE实现

转:http://www.cnblogs.com/javaminer/p/3575282.html 最近公司要实现在各种网络环境下面的多屏互动(机顶盒.android phone.iphone及PC端)的需求:由于IP地址资源有限的原因,目前我们使用的各种终端设备都位于局域网后面也就是多台设备共享同一个公网IP:例如:如果位于局域网里面的一个终端Agent A要与互联网上的另一个终端Agent B通信,当A发送的data packet经过局域网出口处的NAT设备时,NAT会将data packe…

RoadFlowCore 解决方案介绍及开发概述

RoadFlow解决方案如下: RoadFlow.Business:业务层 RoadFlow.Integrate:组织机构获取层(如果你系统要使用第三方组织架构的时候修改这里面的方法即可) RoadFlow.Cache:缓存 RoadFlow.Data:数据层 RoadFlow.Mapper:如果映射及操作(相当于dbhelper) RoadFlow.Model:实体映射(数据表对应的实体) RoadFlow.Pinyin:获取汉字拼音Dll RoadFlow.Utility:公共通用方法 Ro…