TDW 是腾讯最大的离线数据处理平台.本文主要从需求.挑战.方案和未来计划等方面,介绍了TDW在建设单个大规模集群中采取的 JobTracker 分散化和 NameNode 高可用两个优化方案. TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件 Hadoop 和 Hive 进行构建,打破了传统数据仓库不能线性扩展.可控性差的局限,并且根据腾讯数据量大.计算复杂等特定情况进行了大量优化和改造. TDW服务覆盖了腾讯绝大部分业务产品,单集

前言 公司目前使用的项目中关于日志记录这块,之前一直都是使用的Log4net 存放于后台文件中的,对于异常错误啊,或者需要查看一些详情错误的时候感觉很不方便,要到服务器上去打开日志文件检索错误,降低了解决问题的速度,所以针对日志这块的优化就提上日程了.考虑了好久决定采用ExceptionLess日志框架来处理和收集系统日志.在实际操作中我也遇到了很多坑,现在将ExceptionLess分布式日志框架在Windows上的本地化部署做个记录. 一.安装ExceptionLess GitHub上有关于

准备工作 首先下载ArcGIS API for JavaScript4.x,这里下载的是4.19. 官方下载地址:https://developers.arcgis.com/downloads/ arcgis_js_v419_api:这个是ArcGIS的Api网站,部署后,我们可以引用这个网站里的JS,然后实现地图的使用. arcgis_js_v419_sdk:这个是ArcGIS的Api的SDK网站,里面详细介绍各个JS类的使用方式的软件开发帮助文档(因为官网经常打不开,所以部署这个API的SD

在之前的文章MobSF移动安全扫描平台环境搭建与试用中,我们用docker进行了搭建,那么我们如何在本地直接搭建呢,其实也是很简单的. 本地化部署 我们在本地安装 其实是很简单的,里面有两个文件,在不同的电脑上可以自行安装.在windows,执行setup.bat即可以完成环境的搭建.完毕后执行 run.bat 127.0.0.1:8001 这样就完成了部署.那么mac或者ubantu如何做呢,也差不多,先执行 sh setup.sh 然后执行 sh run.sh 127.0.0.1:8001

TDW是基于Hadoop生态圈研发的大数据处理平台,MapReduce计算引擎在TDW平台中承担了所有的离线数据计算,是TDW最重要的底层支撑平台之一.在TDW 平台中,除了MR程序会生成MapReduce作业外,被广泛应用的Hive.tPig等计算框架最终也会把查询语言翻译成MapReduce作业来进行计算,因此对MapReduce作业运行信息进行收集并提供给开发人员查询分析,是他们定位业务问题的最重要手段.不仅仅如此,基于收集的MapReduce作业运行信息,还能建立众多的监控指标来对整个M

推荐理由 ----搭建个人的空间博客目前深受个人开发者的追捧,然而博客的种类和平台有很多,Hexo是一个开源的静态博客生成器.相比于其他博客而言它只要是web容器就能用.除了闷头专研技术之外,程序员还需要不断地写作进行技术积累,写博客是其中最重要的方式之一.商业博客平台不少,但是更符合程序员背景的方案,是自己开发一个博客平台或者使用开源的博客平台.开源的博客平台多如牛毛,而且不乏优秀之作,如 Hexo.Octopress.Jekyll.Wordpress.本系列文章将分享如何利用各种博客引擎在云

腾讯云上有些操作比起 Amazon AWS 还是很方便的, 尤其部署EMR Cluster,下面详细介绍步骤:

CentOS7下部署Django项目详细操作步骤 前记:购买腾讯云服务器,配置自选,当然新用户免费体验半个月,我选择的系统是centos7系统版本, 接下来我们来看整个配置项目流程. 部署是基于:centos7+nginx+uwsgi+python3+django 之上做的 1,详细步骤(下面步骤都是ROOT权限执行): 一.更新系统软件包 yum update -y 二.安装软件管理包和可能使用的依赖 yum -y groupinstall "Development tools" y

现在云服务器已经很普及了,其价格.安全优势等成为不少开发者的首选.本人由于兴趣爱好,从朋友那边借了一个过来玩了两天,下面就分享整个部署流程吧. 1. 先到腾讯云官网购买服务器,这边就不演示.很简单,跟着提示一步一步走,不过在选择服务器系统的时候看自己的实际需求选择服务器系统.windows的话有图形界面,操作很容易,而Linux要用命令的,不过后期装个图形控制面板也很好用.这边因为要部署PHP所以选择Linux系统,更能释放PHP性能. 2. 购买完服务器,当然要远程连接了,我使用的是Xshel

蓝鲸配置平台 (CMDB)http://172.16.6.10:8088 环境(单机测试): Centos6 16G 200G 依赖环境: Java 1.8.0_92 python 2.7 ZooKeeper Redis MongoDB  一.工作目录: /usr/local/java /usr/local/python /opt/cmdb/{zookeeper,redis,monogodb}  二.安装方式: yum 依赖: yum install gcc gcc-c++  三.java环境变

自从GitHub批量禁止滥用Action功能后,项目不得不考虑另外方案执行应用.其中腾讯云函数被大家作为不错的选择(虽然马上也要收费了). 但对于.Net的部署目前资源很少,而且我也没学过bash.在去年请教了大佬后,终于误打误撞的配置成功了.本篇博客只是记录过程,有什么遗漏还需要各位大佬指出. 脚本步骤 首先在新建,选择 运行环境 Custom Runtime. boostrap配置 虽然在文档有给出包需要包含 boostrap,但我并不知道boostrap具体实现方式,以下是我从文档和大佬的

随着业务的快速增长,TDW的节点数也在增加,对单个大规模Hadoop集群的需求也越来越强烈.TDW需要做单个大规模集群,主要是从数据共享.计算资源共享.减轻运营负担和成本等三个方面考虑. 数据共享.TDW之前在多个IDC部署数十个集群,主要是根据业务分别部署,这样当一个业务需要其他业务的数据,或者需要公共数据时,就需要跨集群或者跨IDC访问数据,这样会占用IDC之间的网络带宽.为了减少跨IDC的数据传输,有时会将公共数据冗余分布到多个IDC的集群,这样又会带来存储空间浪费. 计算资源共享.当一个

springboot可以打包为jar和war,jar不多说了,最近的一个工程需要打包为war发布,大致说一下吧: 先看一下项目的大致结构: 第一步,需要排除springboot自带的tomcat插件 然后,不要忘记所要打包的那个工程吧默认的jar改为war 第三步,由于我们使用了外部tomcat,所以需要加入servlet依赖: 第四步,在application的同级包下创建新的启动类: /** * 继承 SpringBootServletInitializer, 就是相当于使用了web.xml

腾讯云服务器,在申请成功后就可以使用远程桌面了. FTP服务器端软件 下载地址:https://filezilla-project.org/download.php?type=server FTP客户端软件 下载地址:https://filezilla-project.org/download.php?type=client 安装过程全部默认,安装成功后,什么也不用设置,默认即可. 有两个地方会控制你能否连接FTP服务器成功: 1.腾讯云主机的安全组设置,这里要开放21端口 2.服务器自身的防火

CentOs 7.0云服务器部署Python Flask 使用: Python 2.7 Flask nginx gunicorn easy_install python-dev yum install python-pip yum install python-virtualenv yum install nginx mkdir /var/www/myFlask sudo chmod 777 /var/www/myFlask pip install gunicorn pip install Fl

环境准备 | 主机 | IP | 配置(最低要求配置) | | :----- | ------------- | ------------------ | | node-1 | 192.168.1.81 | 8核16G | | node-2 | 192.168.1.160 | 8核16G | | node-3 | 192.168.1.202 | 8核16G | 自己整理的文档[7天有效期]: 链接:https://pan.baidu.com/s/1MS1YMx2IobyJYkghVqcHrQ 提

1.申请腾讯云服务 我申请了免费使用的云服务器 ,选择安装的Linux版本是ubuntu16.04.1 LTSx86_64.我个人PC安装使用的也是这个版本,比较熟悉些. 详细参考帮助文档. 2.登录云主机 使用ssh公钥方式登录云主机,ssh原理参考:SSH原理与运用(一):远程登录. 在云主机页面点击SSH密钥,创建密钥-->选择已有的公钥,输入本机的ssh公钥-->将此公钥绑定到云主机上.如下图我创建本机的公钥命名为thinkpads5. 本机的公钥位于$HOME/.ssh/目录下的id

使用背景: 通过调用python SDK在腾讯云手动部署keepalived高可用 部署环境 系统:centos7.3 Master:192.168.0.100 Slave:192.168.0.14 VIP:192.168.0.76 ================================================================= master和slave上部署python命令行环境 yum -y install python python-pip pip ins

商业转载请联系腾讯WeTest获得授权,非商业转载请注明出处. 能否解决"高并发"问题一直是检验一个产品后台是否稳定,架构是否合理,性能是否强大的核心标准.对于产品而言,多高的并发才算是"高"?不同的产品不尽相同.对于小型的产品来说,每秒上百的在线人数就会导致产品无法响应,而对于一些几经考验的产品,每秒上万,上百万的并发才能满足他们的业务需求.当产品的承载能力遇到瓶颈的时候,会出现什么样的问题呢?发包不断超时,页面不断加载,然后页面无法响应,直到最后服务器崩溃. 在

在获客成本不断上升的时代里,产品品质愈发是互联网应用的决胜标准.随着用户需求更加多样,开发者不仅要深挖应用功能,更需要面向业务所在领域,建立全面.专业的测试架构,掌控开发进度.提高开发效率,才能在互联网产品“肉搏战”中笑到最后. 2019年6月28日至29日,由TesterHome与腾讯课堂联合主办的第五届中国移动互联网测试开发大会(以下简称MTSC大会)在京顺利举行,来自世界各地的2000+测试和技术精英们参加会议,学习分享软件测试行业最前沿的技术和质量管理最佳实践. (2019MTSC大会现

导语 | Serverless Components 是 Serverless Framework 推出的最新解决⽅案,具有基础设施编排能⼒,开发者通过使⽤ Serverless Components,可以灵活构建.组合和部署 Serverless 应⽤.本文是对腾讯云云函数团队前端负责人蔡卫峰在云+社区沙龙online的分享整理,介绍Serverless Components在腾讯云的落地和实践,希望与大家一同交流. 点击此链接查看完整直播回放 一.Serverless Components