一,TDDL是什么 Taobao Distributed Data Layer,即淘宝分布式数据层,简称TDDL .它是一套分布式数据访问引擎 淘宝一个基于客户端的数据库中间件产品 基于JDBC规范,没有server,以client-jar的形式存在 TDDL是一套分布式数据访问引擎,主要解决三个问题: 数据访问路由,将数据的读写请求发送到最合适的地方: 数据的多向非对称复制,一次写入,多点读取: 数据存储的自由扩展,不再受限于单台机器的容量瓶颈与速度瓶颈,平滑迁移.它遵守JDBC规范,支持my…

在上篇笔记的基础上,本文介绍Sparkclient的基本配置及Spark任务提交方式. 1. Sparkclient及基本配置 从Spark官网下载的pre-built包中集成了Sparkclient,如与hadoop ver1.x兼容的Sparkclient位于spark-1.3.1-bin-hadoop1/bin文件夹下. Sparkclient通常部署在要提交计算任务的机器上.用来向集群提交应用.特别地.client自带的bin/pyspark脚本支持以交互模式向集群提交应用,在交互模式下…

1  说明 此篇文章针对Chrome DevTools常用功能进行调研分析.描述了每个功能点能实现的功能.应用场景和详细操作. 2  Elements 2.1  功能 检查和实时更新页面的HTML与CSS 在 Elements 面板中检查和实时编辑 DOM 树中的任何元素. 在 Styles 窗格中查看和更改应用到任何选定元素的 CSS 规则. 在 Computed 窗格中查看和修改选定元素的框模型. 2.2  应用场景 开发过程中编辑DOM节点 调试DOM节点的样式 调试过程中检查和编辑框模型…

0x00 背景 最近公司正在去微软化,之前使用的SQL Server.Oracle将逐步切换到MySQL,所以部门也会跟随公司步伐,一步步将现有业务从SQL Server切换到MySQL,当然上MySQL肯定是上集群和分布式. 于是,有了这份结合业务数据调研MySQL的清单,后面的日子里将一点点记录关于调研过程中的发现和收获. 另外,后面可能使用到的操作系统.MySQL及docker信息如下: Win7_x64 CentOS 7.2 docker MySQL5.7.18-log 需要说明的是,由…

前言 因项目须要,近期一段时间都在调研iOS的过场动画.对于我来说这是一个之前没有太涉及的领域,所以有必要把调研的过程和自己的一些理解纪录下来 为什么要自己定义过场动画? 假设大家有关注Material Design和近期一些知名App(如快的.一号专车等)的界面设计和交互的变化,就会发现一种新的趋势:平滑的页面过渡.目的旨在于让用户尽量少地感觉到页面之间生硬的切换,从而使App的体验更加流畅.而iOS原生的两种经常使用过场:Push/Pop和Present,和眼下流行的趋势显然是不太符合的.所…

一.它是什么 zeroMQ,一个处理消息传输的库,重点在传输上,看起来它像是在socket上面封装了一层,让我们可以很容易的利用它来做N对M的数据传输,在分布式系统中很方便,在接收端它有round-robin负载均衡. 官方介绍:http://zguide.zeromq.org/page:all "ZeroMQ (also known as ØMQ, 0MQ, or zmq) looks like an embeddable networking library but acts like a…

由于从各光伏电站采集的数据量较大,必须解决海量数据的查询.分析的问题.目前主要考虑两种方式:1.  Hadoop大数据技术:2.  Oracle(数据仓库)+BI:    本文仅介绍hadoop的技术要应用特征. Hadoop 基本介绍 hadoop是一个平台,是一个适合大数据的分布式存储和计算的平台.什么是分布式存储?这就是后边我们要讲的hadoop核心之一HDFS(Hadoop Distributed File System):什么是分布式计算?这是我们后边要讲的hadoop另外一个重要的核…

安装完Mono for Android(简称:MonoDroid)之后,可以用MonoDevelop或Visual Studio来开发Mono for Android应用程序:目前只能在模拟器上调试和部署,必须购买后才能在真机上调试和部署:目前遇到的最大的问题是:模拟器上调试速度非常慢,通过单步调试每一行代码都需要几秒钟.有人开了个帖子抱怨以及一些回复的相关讨论:http://mono-for-android.1047100.n5.nabble.com/Free-version-Emulator…

事实上.有两个名为PySpark的概念.一个是指Sparkclient内置的pyspark脚本.而还有一个是指Spark Python API中的名为pyspark的package. 本文仅仅对第1个pyspark概念做介绍. 1. Sparkclient内置的pyspark"命令" Sparkclient支持交互模式以方便应用调试.通过调用pyspark能够进入交互环境: cd /path/to/spark/ && ./bin/pyspark 用编辑器查看可知,pys…

本文主要记录我使用Spark以来遇到的一些典型问题及其解决的方法,希望对遇到相同问题的同学们有所帮助. 1. Spark环境或配置相关 Q: Sparkclient配置文件spark-defaults.conf中,spark.executor.memory和spark.cores.max应该怎样合理配置? A: 配置前,须要对spark集群中每一个节点机器的core和memory的配置有基本了解.比方由100台机器搭建的spark集群中.每一个节点的配置是core=32且memory=128GB…