作者:Jack47 转载请保留作者和原文出处 欢迎关注我的微信公众账号程序员杰克,两边的文章会同步,也可以添加我的RSS订阅源. 交代一下背景:我们的后台系统是一套使用Kafka消息队列的数据处理管线:Kafka->Logstash->Elasticsearch.这些组件都跑在Docker的容器环境里,我们是基于Kubernetes来编排整个后端的数据处理管线上的容器.Kafka需要暴露在外网里,接收Kafka Producer(filebeat, collectd)发过来的消息.本文是记录基…

基于Azure构建PredictionIO和Spark的推荐引擎服务 1. 在Azure构建Ubuntu 16.04虚拟机 假设前提条件您已有 Azure 帐号,登陆 Azure https://portal.azure.com . 点击左上部的 +New 按钮,在搜索框中输入 Ubuntu ,或者点击 Virtual Machine 选择 Ubuntu Server 14.04 LTS,然后点击 Create 创建虚拟机. 创建完成虚拟机后,在虚拟机的设置中找到 Azure 为其分配的 IP…

一.引言 在上两个专题中我为大家介绍.NET 1.0中的APM和.NET 2.0中的EAP,在使用前面两种模式进行异步编程的时候,大家多多少少肯定会感觉到实现起来比较麻烦, 首先我个人觉得,当使用APM的时候,首先我们要先定义用来包装回调方法的委托,这样难免有点繁琐, 然而使用EAP的时候,我们又需要实现Completed事件和Progress事件,上面两种实现方式感觉都有点繁琐,同时微软也意识到了这点,所以在.NET 4.0中提出了一个新的异步模式--基于任务的异步模式TAP(Task-bas…

一.离线推荐服务 离线推荐服务是综合用户所有的历史数据,利用设定的离线统计算法和离线推荐算法周期性的进行结果统计与保存,计算的结果在一定时间周期内是固定不变的,变更的频率取决于算法调度的频率. 离线推荐服务主要计算一些可以预先进行统计和计算的指标,为实时计算和前端业务相应提供数据支撑. 离线推荐服务主要分为统计性算法.基于ALS的协同过滤推荐算法以及基于ElasticSearch的内容推荐算法. 在recommender下新建子项目StatisticsRecommender,pom.xml文件中…

soar-web 基于小米 soar 的开源 sql 分析与优化的 WEB 图形化工具,支持 soar 配置的添加.修改.复制,多配置切换,配置的导出.导入与导入功能. 环境需求 python3.xFlaskpymysql Python 环境未安装的可参考下面操作: Windows:step 1 去 python 官网下载安装 python3 (已安装可跳过此步骤)setp 2 pip install Flasksetp 3 pip install pymysql Mac:step 1 brew…

基于NVIDIA GPUs的深度学习训练新优化 New Optimizations To Accelerate Deep Learning Training on NVIDIA GPUs 不同行业采用人工智能的速度取决于最大化数据科学家的生产力.NVIDIA每月都会发布优化的NGC容器,为深度学习框架和库提高性能,帮助科学家最大限度地发挥潜力.英伟达持续投资于全数据科学堆栈,包括GPU架构.系统和软件堆栈.这一整体方法为深度学习模型训练提供了最佳性能,正如NVIDIA赢得了提交给MLPerf的所…

基于自动驾驶车辆的NVIDIA-TensorRT推理实时优化 Optimizing NVIDIA TensorRT Conversion for Real-time Inference on Autonomous Vehicles 自动驾驶系统使用各种神经网络模型,这些模型需要在gpu上进行非常精确和高效的计算.Zoox是一家全新开发robotaxis的初创公司,利用NVIDIA DRIVE的高性能.节能计算.最近,Zoox在旧金山发布了一个小时的完全自主的游戏,详细展示了他们的人工智能堆栈.…

[论文标题]Automatic recommendation technology for learning resources with convolutional neural network (2016 ISET) [论文作者]Xiaoxuan Shen, Baolin Yi*, Zhaoli Zhang,Jiangbo Shu, and Hai Liu [论文链接]Paper(5-pages // Double column) <札记非FY> [摘要] 自动学习资源推荐已经成为一个越来…

近几天用到了aws的s3存储服务,公司内部的完全兼容aws并对其进行了封装,之前也用过,现在把经验总结一下. 既然要用,首先需要安装sdk,下边提供了几种安装方法 方法一:使用composer安装 1.先建立个安装目录,/opt/s3,本程序运行的实际工作目录是项目路径 /data/www/XXX,运行的其实是该目录下的vendor 然后进到该目录 ,下载并安装composer , 因是在linux下,执行 curl -sS https://getcomposer.org/installer |…

来源EDB2018---EDB 一.摘要: 组推荐是将一种项目(例如产品.服务)推荐给由多个成员组成的组的方法. 最小痛苦法(least Misery)是一种具有代表性的群体推荐方法,其能够推荐考虑群体不满意的项目,但存在推荐准确率低的缺点. 均值法推荐精度较高,但是不能考虑群体的不满意项目. 本文提出一种基于机会成本和个人活动的群组推荐方法,[机会成本,当选择特定项目时所丢弃的剩余项目的最大值],其优点:考虑了准确度以及满意度. 二.介绍: 协同过滤是一种传统的推荐算法,可以给用户推荐新的项目…