本文主要讲述 vivo 评论中台在数据库设计上的技术探索和实践. 一.业务背景 随着公司业务发展和用户规模的增多,很多项目都在打造自己的评论功能,而评论的业务形态基本类似.当时各项目都是各自设计实现,存在较多重复的工作量:并且不同业务之间数据存在孤岛,很难产生联系.因此我们决定打造一款公司级的评论业务中台,为各业务方提供评论业务的快速接入能力.在经过对各大主流 APP 评论业务的竞品分析,我们发现大部分评论的业务形态都具备评论.回复.二次回复.点赞等功能. 具体如下图所示: 涉及到的核心业务概念…

一.背景 vivo评论中台通过提供评论发表.点赞.举报.自定义评论排序等通用能力,帮助前台业务快速搭建评论功能并提供评论运营能力,避免了前台业务的重复建设和数据孤岛问题.目前已有vivo短视频.vivo浏览器.负一屏.vivo商城等10+业务接入.这些业务的流量大小和波动范围不同,如何保障各前台业务的高可用,避免因为某个业务的流量暴增导致其他业务的不可用?所有业务的评论数据都交由中台存储,他们的数据量大小不同.db压力不同,作为中台,应该如何隔离各个业务的数据,保障整个中台系统的高可用? 本文将…

https://github.com/gopherchina/conference/blob/master/2019/2.7%20花椒直播基于golang的中台技术实践%20-%20周洋.pdf 花椒直播基于golang的中台技术实践 - 周洋.pdf…

作为系列的最后一篇,得要说说C#驱动对mongodb的操作,目前驱动有两种:官方驱动和samus驱动,不过我个人还是喜欢后者, 因为提供了丰富的linq操作,相当方便. 官方驱动:https://github.com/mongodb/mongo-csharp-driver/downloads.下载后,还提供了一个酷似msdn的帮助文档. samus驱动:https://github.com/samus/mongodb-csharp/downloads. 下面就具体看看samus驱动,https:…

Mongodb很适合做这件事,api的调用仅仅是使用到了入门级别的CRUD,理清楚了思路,编码也会顺风顺水,所以你会发现我在这篇博客中说的比编码还多 评论榜预期的功能 就像是StackOverFlow的那样, 用户可以发出自己的提问,其他用户来解答, 同时楼主可以回复别人的评论,别人依然可以回复楼主 数据结构 mongodb可以存储文档啊, 其实我们要做的就是构建一个合适的类,评论帮也就成功一大半了 问题/问题 实体如下 问题 public class Problem implements Se…

注: 刚开始学习MongoDB,写的有点麻烦了,网上教程都是很少的代码就完成了集群的部署, 纯属个人实践,错误之处望指正!有好的建议和资料请联系我QQ:1176479642 集群架构: 2mongos                最好多台路由服务器以上    3configure server,    最好3台配置服务器以上    2shards                最好3个分片以上                        每个分片对应1个副本集rs,包括:          …

1:如何设计数据存储结构 1.1:mysql 1:评论表 2:回复表(评论的评论) 1.2:mongodb 不需要两张表,一个collection 就可以搞定. 数据结构如图: 通过对象数组中的字段作为查询条件的写法: 根据下标准确查询: 若有偏差,望斧正!…

MongoDB数据模型选择• CAP定理(Consistency ,Availability 和Partition Tolerance )– Consistency(一致性):数据一致更新,所有数据变动都是同步的– Availability(可用性):好的响应性能– Partition Tolerance(分区容错性):数据可靠性– 分布式系统三选二 官方CP模型• CP– Replica Set,设置写入节点数w=Replica Set数据节点数,查询开启SlaveOk• AP– Replic…

数据及账号准备 首先您需要将数据上传至您的MongoDB数据库.本例中使用阿里云的云数据库 MongoDB 版,网络类型为VPC(需申请公网地址,否则无法与DataWorks默认资源组互通),测试数据如下.   { "store": { "book": [ { "category": "reference", "author": "Nigel Rees", "title&quo…

简介 NOSQL有这些优势: 大数据量,可以通过廉价服务器存储大量的数据,轻松摆脱传统mysql单表存储量级限制. 高扩展性,Nosql去掉了关系数据库的关系型特性,很容易横向扩展,摆脱了以往老是纵向扩展的诟病. 高性能,Nosql通过简单的key-value方式获取数据,非常快速.还有NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说就要性能高很多. 灵活的数据模型,NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式.而在关系数据库里…

kaggle链接:https://www.kaggle.com/c/word2vec-nlp-tutorial/overview 简介:给出 50,000 IMDB movie reviews,进行0和1情感二分类 我的github代码仓库:https://github.com/beathahahaha/kaggle_IMDB_sentiment_classification 给出两段代码,都值得借鉴: 第一个是,lstm实现的pytorch版本,调参以后从0.90569提升到了0.95718(…

PostcardRecord.findOne({user:userid, $or : [ { at:{$gte:start.valueOf(), $lte:end.valueOf()} } , { id : id } ] },function(err,data){ if(!data){ res.json({success:true,userid:userid,postcard:id}); }else{ res.json({success:false}); } }); $or:[,]主要是这个条件…

MongoDB作为一个阶层型数据库,在很短的时间里面是不可能被大面积推广使用的, 本文作为一个实验性的课题,探讨一下MongoDB作为网站数据库的可能性. 1.MongoDB作为代替关系型数据库的可能性. 2.MongoDB作为代替文件服务器的可能性. 通过探讨来加强对于MongoDB的认识 环境准备 技术选型 1.由于是验证性质的课题,这里没有使用MVC5/6.如果有人对MVC6有兴趣,可以另开一个课题讨论.这里使用的是传统的WebForm. 2.使用MongoDB最新版本作为数据库 3.Mo…

原文链接:http://www.mongoing.com/mongodb-advanced-pattern-design 12月12日上午,TJ在开源中国的年终盛典会上分享了文档模型设计的进阶技巧,就让我们来回顾一下吧: —————————————————————————————————————————————————————————- 从很久以前,我就开始接触开源产品:从最开始的使用.受益者到后来的贡献者,到现在的热情推广者.现在,我是MongoDB的技术顾问.我的职责是为MongoDB的客户…

mongo是基于内存的数据库,应尽量将工作集中的数据全部加载到内存中,即内存应大于工作集 本文译自Chad Tindel的英文博客: http://www.mongodb.com/blog/post/capacity-planning-and-hardware-provisioning-mongodb-ten-minutes . 大部分MongoDB部署都运行于多台服务器的集群中,相对于传统数据库,这增加了容量规划及配置方面的复杂性.系统架构师 Chad Tindel 在MongoDB 世界大会…

WeTest 导读 腾讯WeTest受邀参加2019年DevOps 国际峰会,由WeTest产品负责人-殷柱伟老师分享了腾讯DevOps测试中台的实践经验与心得, 议题受到了现场听众及行业媒体的关注与好评.殷柱伟老师不仅获得了由现场听众票选出的“金牌讲师”奖项,还受邀参加了央视7套<态度>栏目组的专访. 2019年7月DevOps 国际峰会(DevOps International Summit,缩写:DOIS)在北京顺利举行,作为国内唯一的国际性DevOps 技术峰会, 其涵盖了精益与敏捷.…

Redis和MongoDB的区别以及应用场景 项目中用的是MongoDB,但是为什么用其实当时选型的时候也没有太多考虑,只是认为数据量比较大,所以采用MongoDB. 最近又想起为什么用MongoDB,就查阅一下,汇总汇总: 之前也用过redis,当时是用来存储一些热数据,量也不大,但是操作很频繁.现在项目中用的是MongoDB,目前是百万级的数据,将来会有千万级.亿级. 就Redis和MongoDB来说,大家一般称之为Redis缓存.MongoDB数据库.这也是有道有理有根据的, Redis主…

小结: 1. 微服务中台不是 /1堆砌技术组件就是中台 /2拥有服务治理就是中台 /3增加部分业务功能就是中台 /4Cloud Native 就是中台 https://mp.weixin.qq.com/s/uuaraAWReOYeZuEJiLs9dw 企业微服务中台落地实践和思想之我见 From  朱德明 InfoQ 4/3 微服务和中台是这几年非常时髦随处可见的词,最先在一批互联网企业中开始谈论和建设,并逐渐的蔓延至一些传统企业和传统的 IT 部门,以至于现在在构建信息系统时,很多企业都在说要…

目录 一.高可用集群的解决方案 二.MongoDB的高可用集群配置 三.Mongo集群实现高可用方式详解 四.Sharding分片技术 一.高可用集群的解决方案 高可用性即HA(High Availability)指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非计划)所导致的停机时间,以提高系统和应用的可用性. 计算机系统的高可用在不同的层面上有不同的表现: 1.网络高可用 由于网络存储的快速发展,网络冗余技术被不断提升,提高IT系统的高可用性的关键应用就是网络高可用性,网络高可用性…

NoSQL数据库作为数据库市场最重要的组成之一,它的一举一动都影响着成千上万的企业.本专场邀请了行业顶级的NoSQL核心成员与大家共同展望NoSQL数据库的未来,阿里巴巴.MongoDB.Redisson.斗鱼等公司的技术大咖与大家共同分享了阿里云NoSQL数据库的企业级特性及行业解决方案. Redis & MongoDB云数据库技术剖析 阿里云智能事业群数据库产品事业部技术总监,MongoDB中国用户组杭州用户会主席杨成虎(叶翔)为大家深度剖析了Redis和MongoDB云数据库的技术. Re…

2019年已经过去,小编为大家整理了这一年以来云加社区发布的 200多篇腾讯干货,点击文章标题即可跳转到原文,请速速收藏哦~ 看腾讯技术: 腾讯成本优化黑科技:整机CPU利用率最高提升至90%: 腾讯科技升级1000天:团战.登月与烟囱革命: “看一看”推荐模型揭秘!微信团队提出实时Look-alike算法,解决推荐系统多样性问题: 10亿级存储挑战!看一看.微信广告.微信支付.小程序都在用的存储系统究竟是怎么扛住的?! 微信扫物上线,全面揭秘扫一扫背后的识物技术! 微信搜一搜正在用的新一代海量…

GopherChina第二天小结 今天继续昨天的文章,参加了第二天的GopherChina,例行完成总结. 基于MINIO的对象存储方案在探探的实践 关于对象存储,之前用过seaweedfs,但是对MINIO这个项目真是一无所知.于乐分享了下东道主探探在使用MINIO的整个过程.现在回想下来,最具有印象的是他们针对上线后的问题做的一些优化.首先在写过程做了小文件写合并成一个大文件的写的优化,另外一个是读的过程做的优化,把meta信息存放在levelDB中.最后说出来的优化操作也就这两个地方,但是…

REST 风格的优秀设计应该像下面这些: - GET /users 获取所有用户 - GET /users/1234 获取ID为1234的用户 - POST /users 创建一个新用户 - PUT /users/1234 更新ID为1234的用户 - PATCH /users/1234 更新ID为1234的用户的部分内容 - DELETE /users/1234 删除ID为1234的用户 如果要设计一个资源拥有另外一个资源的情况的API,例如,设计一个包含用户(users)和用户的评论(com…

转自:http://www.dewen.org/q/971/memcache%E5%92%8Credis%E6%9C%AC%E8%B4%A8%E5%8C%BA%E5%88%AB%E5%9C%A8%E5%93%AA%E9%87%8C%EF%BC%9F 7个答案 票 数 何远伦4 票何远伦86731.Redis中,并不是所有的数据都一直存储在内存中的,这是和Memcached相比一个最大的区别. 2.Redis不仅仅支持简单的k/v类型的数据,同时还提供list,set,hash等数据结构的存储.…

摘要 今天我们要推荐给大家的是关于奥斯汀OpenStack Summit的OpenStack网络方面功能与工具相关的技术演讲. 希望可以帮助国内的开发者.架构师和用户更好地了解OpenStack在SDN网络领域的最新发展. 功能与工具篇的视频目录: Tap-As-A-Service What You Need to Know Now Skydive, Real-Time Network Topology and Protocol Analyzer Neutron DSCP Policing yo…

本课程专注于构建:高可扩展性.高性能.大数据量.高并发.分布式的系统架构. 从零开始.全面系统.成体系的软件架构课程,循序渐进的讲述构建上述系统架构所需要的各种技术知识和技能. 适应人群: 1:有一定工作经验,还未从事架构工作,但想要向架构方面发展的朋友2:已经开始从事架构工作,但想要系统学习提升的朋友3:了解一些架构的知识,但是一直停留在理论上,不会实际操作,也无法让这些理论知识落地的朋友4:有一定开发经验,想要系统学习架构方面的知识,扩展知识面和提升开发能力的朋友 技术要点: 1:构建基本的…

一.背景 基于公司发展硬性需求,生产VM服务器要统一迁移到ZStack 虚拟化服务器.检查自己项目使用的服务器,其中zookeeper集群中招,所以需要进行迁移. 二.迁移计划 为了使迁移不对业务产生影响,所以最好是采用扩容 -> 缩容 的方式进行. 说明: 1.原生产集群为VM-1,VM-2,VM-3组成一个3节点的ZK集群: 2.对该集群扩容,增加至6节点(新增ZS-1,ZS-2,ZS-3),进行数据同步完成: 3.进行缩容,下掉原先来的三个节点(VM-1,VM-2,VM-3): 4.替换n…

作者:Łukasz Kosman 和 Jakub Wojtczak 原文:https://medium.com/swlh/lessons-learned-after-making-the-first-10-commercial-apps-in-flutter-f420808048cd 在过去的24个月中,我们花费 17.193,00 个小时使用 Flutter 完成了10个商业应用程序,本文将分享我们的见解. 阅读本文后,您将学习到: 选择Flutter的原因是什么? Flutter对预算和稳定…

作者介绍:TJ,唐建法,Tapdata 钛铂数据 CTO,MongoDB中文社区主席,原MongoDB大中华区首席架构师,极客时间MongoDB视频课程讲师. 通过前面几篇文章,我们从企业数据整合与分享的痛点,以及对数据中台的定义.技术需求以及技术产品的选项,都分别做了具体的阐述. 有了这么多解决方案,我们来看一下,如果是基于一个 MongoDB 的方案会是怎么样?我们刚才只是讲的数据平台在做一些选择,但是做一个完善的数据中台的话还需要很多其他模块,所以这里面是用到了另一个产品,就是Tapdat…

MongoDB 极简实践入门 1. 为什么用MongoDB? 传统的计算机应用大多使用关系型数据库来存储数据,比如大家可能熟悉的MySql, Sqlite等等,它的特点是数据以表格(table)的形式储存起来的.数据库由一张张排列整齐的表格构成,就好像一个Excel表单一样,每个表格会有若干列,比如一个学生信息表,可能包含学号.姓名.性别.入学年份.高考成绩.籍贯等等.而表格的每一排,则是一个个学生的具体信息.在企业级应用和前互联网时代,关系型数据库几乎是不二选择.关系型数据库的特点是有整齐划一…