前提 随着现在业务开展,几个业务系统的数据量开始急剧膨胀.之前使用了关系型数据库MySQL进行了一次数据仓库的建模,发现了数据量上来后,大量的JOIN操作在提高了云MySQL的配置后依然有点吃不消,加之开发了一个基于关系型数据库设计的标签服务,日全量标签数据(无法避免的笛卡尔积)单表超过5000W.目前采取了基于用户ID分段配合多进程处理的方式暂时延缓了性能的恶化,但是考虑到不远将来,还是需要做一个小型的数据平台.Hadoop的那套体系过于庞大,组件过多,硬件和软件的学习成本比较高,不是一朝一夕…

参考网站:   https://blog.csdn.net/zhangphil/article/details/78962159 1.先安装JDK 和python,参考网站:https://www.cnblogs.com/twinhead/p/8409209.html JAVA JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html python 下载地址  https…

Windows系统上搭建Clickhouse开发环境 总体思路 微软的开发IDE是很棒的,有两种:Visual Studio 和 VS Code,一个重量级,一个轻量级.近年来VS Code越来越受欢迎,因为她的轻量级和丰富的插件,更重要的是VS Code消耗资源更少,打开大项目的时候不会崩溃.因此选用VS Code. Clickhouse只能在Linux和MacOS上编译和运行,而开发机器是Windows 10系统,因此需要虚拟机或者WSL.WSL是Windows subsystem Linu…

前言 Java是一门面向对象的优秀编程语言,市场占有率极高,但是在容器化实践过程中,发现官方支持并不友好,同时与其他编程语言的基础镜像相比(具体见各语言镜像比较),确实是非常臃肿. 本篇仅作探索,希望对大家有所帮助. 目录 Java 官方镜像 各语言镜像比较 使用Docker搭建Java开发环境 编写Hello world! 编写Dockerfile 构建镜像并执行 Java Java是一门面向对象编程语言,不仅吸收了C++语言的各种优点,还摒弃了C++里难以理解的多继承.指针等概念,因此Jav…

笔者鼓弄了两个星期,终于把所有有关hadoop的环境配置好了,一是虚拟机上的完全分布式集群,但是为了平时写代码的方便,则在windows上也配置了hadoop的伪分布式集群,同时在IDEA上就可以编写代码,同时在windows环境下进行运行.(如果不配置windows下的伪分布式集群,则在IDEA上编写的代码无法在windows平台下运行).笔者在网络上找了很多有关windows下使用idea搭建hadoop开发环境的中文教程都不太全,最后使用国外的英文教程配置成功,因此这里整理一下,方便大家使…

Windows系统 为 QT5软件 搭建 OpenCV2 开发环境 我们的电脑系统:Windows 10 64位 Qt5 软件:Qt 5. 7. 0 OpenCV2 版本:OpenCV2.4.10 1. 安装 Qt 5 软件 请见博客:Windows系统 安装 Qt 5.7.0 注意: 请你务必要看这个Qt软件的安装教学.如果你没有像教学里面一样添加环境变量的话,请你添加Qt软件的环境变量. 2. 安装 CMake 软件 请见博客:Windows系统 安装 CMake 3. 下载 OpenCV…

mac 下 用 glfw3 搭建opengl开发环境 下载编译 glfw3 Build Setting 里面, Library Search Paths -> 设置好编译 glfw 库的路径 Header Search Paths -> 添加 glfw 头文件路径 other link flag 添加 -> -lglfw3 glfw 需要依赖 Cocoa CoreVideo IOKit OpenGL 这4个framework. 测试 直接参考 glfw doc 打印硬件信息: cout…

Lua学习笔记1:Windows7下使用VS2015搭建Lua开发环境(一)注意:工程必须添加两个宏:“配置属性”/“C或C++”/“预处理器”/“预处理器定义”,添加两个宏:_CRT_SECURE_NO_WARNINGS LUA_BUILD_AS_DLL   (艹了个地街...这TM就是个坑——这是因为在luaconf.h文件中定义了LUA_BUILD_AS_DLL宏,它控制了__declspec(dllexport)和__declspec(dllimport)的定义,必须加上这个开关才有这两…

大家都知道高并发分布式组件的重要性,而且如果要进大厂,这些技术不可或缺.但这些技术的学习难点在于,大多数项目里的分布式组件,都是搭建在Linux系统上,在自己的windows机器上很难搭建开发环境,如果无法搭建开发环境,就无法实际操练,而单靠背理论题,是无法通过面试的. 比如搭建Redis环境,或许可以在windows上下载个版本,但这个版本不是最新的,而且如果要搭建集群,可能还只能到Linux环境上.对此,可以先在Windows机器上安装Docker,然后在linux容器里安装Redis.这样…

前面两章介绍的是Windows系统下如何安装和配置docker,主要原因在于,公司大多人数用的是Windows环境,想通过在Windows环境上,通过docker,构建一个公用的配置. 首先要说明的是,公共文件夹的设置:VirtualBox下,选择设置->共享文件夹->编辑共享文件夹,然后重启即可. 其次是配置链接xshell(主要原因是,Win7系统下的docker启动环境实在是太不友好了,故配置链接xshll):其默认IP地址显示为:192.168.99.100:在启动的时候可以看得到:…