作者:个推应用平台基础架构高级研发工程师 阿飞   01业务背景   随着微服务架构的流行,系统变得越来越复杂,单体的系统被拆成很多个模块,各个模块通过轻量级的通信协议进行通讯,相互协作,共同实现系统功能.   单体架构时,一个请求的调用链路很清晰,一般由负载均衡器将用户请求转发到后端服务,由后端服务进行业务处理,需要的数据从外部的存储中获取,处理完请求后,再经由负载均衡器返回给用户.   而在微服务架构中,一个请求往往需要多个模块共同协作处理,不同模块可能还依赖于不同的外部存储,各个模块的实现…

基本思路:基于parameter server + multiple workers模式.同步方式:parameter server负责网络参数的统一管理,每次迭代均将参数发送给每一个worker,多个worker同时迭代数据集,计算当前批次的损失和梯度,当所有worker全部完成当前批次的计算后,将每个worker的梯度回传给parameter server,parameter server使用该梯度进行参数优化.异步方式:与同步方式不同的是,parameter server不需要每次等待所有…

基本思路:1.对数据分块,使用多个worker分别处理一个数据块,每个worker暴露两个接口,分别是损失计算的接口loss和梯度计算的接口grad:2.同时定义full_loss和full_grad接口对每个worker的loss和grad进行聚合:3.使用bfgs算法进行参数优化,分别使用full_loss和full_grad作为bfgs的损失函数和梯度函数,即可进行网络参数优化:注意:在此实现中,每个worker内部每次均计算一个数据块上的损失和梯度,而非一个batch.#0.导入依赖 i…

0. 前言 AI的场景丰富多彩,AI的评价方法百花齐放,这对于设计一套更通用的评测框架来说,是一个极大的挑战,需要兼顾不同的协议,不同的模型环境,甚至是不同的操作系统.本文分享了我们在AI评测路上的一些实践经验,重点介绍了我们在解决执行环境的不确定性方面所做的一些尝试.弹性容器是我们当前最合适的解决方案,期望对大家也有所启发. 1. AI评测是什么? 在当前的AI产品研发中,需要经常回答类似这样的问题.比如哪一款智能音箱更好一些,哪一款引擎更加厉害,或者是哪一个机器学习算法更适合我去用. 诸如此…

最近看的一个swoole的课程,前段时间被邀请的参与的这个课程 比较有特点跟一定的深度,swoole的实战教程一直也不多,结合swoole构建一个新型框架,最后讲解如何实现分布式RPC的调用. 内容听下来还是蛮有水准的 课程简介: 部分课程截图:   下载链接: https://pan.baidu.com/s/1YQTrFTN4w_6u7UmNVa29IA提取码: i1cx 更多精彩内容:你每先多积累一分,时间越长你与其他人的差距就会越发明显,复利算法了解一下: BAT资深工程师由浅入深分析Tp…

本文由微信开发团队工程是由“oneliang”原创发表于WeMobileDev公众号,内容稍有改动. 1.引言   Kotlin 是一个用于现代多平台应用的静态编程语言,由 JetBrains 开发(也就是开发了号称Java界最智能的集成开发工具IntelliJ IDEA的公司).Kotlin可以编译成Java字节码(就像Groovy和Scala一样),也可以编译成JavaScript,方便在没有JVM的设备上运行.Kotlin已于2017年的Google I/O开发者大会上正式被宣布为Andr…

本文来自微信开发团队guoling的技术分享. 1.前言 本文要分享的是iOS版微信内部正在推广和使用的一个高性能通用key-value 组件的技术实践过程,该组件在微信内部被命名为MMKV(以下简称MMKV). MMKV 是基于 mmap 内存映射的 key-value 组件,底层序列化/反序列化使用 protobuf 实现,性能高,稳定性强.希望对于有高性能key-value 组件或类似技术需求的IM同行,能通过本文获得一定的启发. 学习交流: - 即时通讯开发交流群:320837163[推…

本文来自微信开发团队yanyang的技术分享. 1.引言 相信大家都遇到过一段特殊文本可以让iOS设备所有app闪退的经历.前段时间大年初一,又出现某个印度语字符引起iOS11系统奔溃,所幸iOS版微信客户端做了保护并没有引起太大问题(字符处理这类技术问题,其实曾在Android版微信上导致过严重的用户体验危机,感兴趣的可以看看文章<微信团队披露:微信界面卡死超级bug“15....”的来龙去脉>). 一般来说,特殊字符闪退是系统漏洞引起,只要更新系统就行.但大部分用户不愿意更新系统,而苹果也…

一夜之间,微信小程序刷爆了行业网站和朋友圈,小程序真的能如张小龙所说让用户"即用即走"吗? 其功能能和动辄几十兆安装文件的APP相比吗? 开发小程序,是不是意味着移动应用开发的一次推倒重来,企业的运营成本会不会因此增加? 近日,笔者参加了一次腾讯自选股介绍小程序开发过程的内部沙龙,自选股小程序产品经理Poppy和首席开发工程师小K的一番海聊,从开发技术和行业走势两个方面为我们揭开了小程序的秘密. 今年7月,腾讯自选股团队接到微信的邀请,做一个Web+的应用测试.当时他们还不知道,这就是…

[微信支付]分享一个失败的案例 2018-06-04 08:24 by stoneniqiu, 2744 阅读, 29 评论, 收藏, 编辑 这个项目是去年做的,开始客户还在推广,几个月后发现服务器已经关掉了.这是一个发图片猜谜语的应用,用户猜对了分红包,所得奖金可以提现.开发的时候对需求都不太看好,觉得用户粘性太低了.今天就把所有的程序拿了出来放在了github上.供有兴趣的伙伴玩耍. 产品逻辑 用户从公众号直接进来,可以做两件事,一个是发布悬赏谜题,一个是去答题.答题获得赏金可以提现.之前还…