上篇我们讨论了Akka-http的文件交换.由于文件内容编码和传输线上数据表达型式皆为bytes,所以可以直接把文件内容存进HttpEntity中进行传递.那么对于在内存里自定义的高级数据类型则应该需要首先进行byte转换后才能放入HttpEntity中了.高级数据类型与byte之间的相互转换就是marshalling和unmarshalling过程了.这个我们在前几篇讨论里提及过,在本篇再重温加强印象.因为我们的主要目的是实现数据库表行的交换,所以应该把焦点放在 T <-> MessageE…

一直在物色比较好用的网络传输数据序列化工具,看了诸如marshalling,protobuff等,但是均有一个共同特点,使用起来异常繁杂,有没有比较好用同时性能又不会太差的组件呢?答案当然是有的,那就是基于protobuff改造的protostuff,它拥有良好性能的同时,又免去了生成描述文件的烦恼,可谓是趁手利器. 来看看具体的使用方式吧. 首先,引入maven依赖如下: <dependency> <groupId>io.protostuff</groupId> &l…

TCP在网络通讯的时候,通常在解决TCP粘包.拆包问题的时候,一般会用以下几种方式: 1. 消息定长 例如每个报文的大小固定为200个字节,如果不够,空位补空格: 2. 在消息尾部添加特殊字符进行分割,如添加回车: 3. 将消息分为消息体和消息头,在消息头里面包含表示消息长度的字段,然后进行业务逻辑的处理. 在Netty中我们主要利用对象的序列化进行对象的传输,虽然Java本身的序列化也能完成,但是Java序列化有很多问题,如后字节码流太大,以及序列化程度太低等.Jboss的序列化有程度较高.序…

Akka-http是一项系统集成工具.这主要依赖系统之间的数据交换功能.因为程序内数据表达形式与网上传输的数据格式是不相同的,所以需要对程序高级结构化的数据进行转换(marshalling or serializing)成为可在网上传输的数据格式.由于可能涉及到异类系统集成,网上传输数据格式是一个公开的标准,这样大家才都可以进行解析.Json就是是一个目前业界普遍接受的网上交换数据格式.当然,所谓的数据格式转换应该是双向的,还需要包括把接收的网上传输数据转换成程序高级结构化数据. Akka-ht…

今天我们来谈一下akka的序列化框架,其实序列化.反序列化是一个老生常谈的问题,那么我们为什么还要研究一下akka的序列化框架呢?不就是使用哪种序列化.反序列化方法的区别么?其实刚开始的时候我也是这么想的,但是针对性.系统性的分析一下akka的序列化.反序列化过程,就会发现这个问题其实还是挺有意思的. 我们首先来看下什么是序列化.反序列化.序列化 (Serialization)将对象的状态信息转换为可以存储或传输的形式的过程:反序列化,就是通过从存储区中读取或反序列化对象的状态,重新创建该对象.…

# 实例化 归一化 初始化 序列化 # 列表 元组 字符串# 字符串# .......得到一个字符串的结果 过程就叫序列化# 字典 / 列表 / 数字 /对象 -序列化->字符串# 为什么要序列化 # 1.要把内容写入文件 序列化 # 2.网络传输数据 序列化# 字符串-反序列化->字典 / 列表 / 数字 /对象 # 方法# dic = {'k':'v'}# str_dic = str(dic)# print(dict(str_dic))# print([eval(str_dic)])# e…

[知识点] 1.时间模块: (1)时间戳时间,格林威治时间,float数据类型 英国伦敦的时间:1970.1.1     0:0:0 北京时间:1970.1.1     8:0:0 (2)结构化时间,时间对象 时间对象  能够通过.属性名来获取对象中的值 (3)格式化时间,字符串时间,str数据类型 可以根据你需要的格式来显示时间 import time # 1.时间戳时间 格林威治时间,float数据类型(给机器用的) print(time.time()) # 2.格式化时间 print(ti…

️ 引言 近两年,一直在折腾用FP与OO共存的编程语言Scala,采取以函数式编程为主的方式,结合TDD和BDD的手段,采用Domain Driven Design的方法学,去构造DDDD应用(Domain Driven Design & Distributed).期间,尝试了大量的框架:业务领域主要适用Akka.Scalaz等框架,UI和基础设施方面主要适用Spring.Kafka等框架,测试则主要适用Spock.ScalaTest.Selenium等框架. 两年的折腾,不能说没有一点收获.在…

先定义两个简单的类: package comm; import java.io.Serializable; import java.util.Date; import java.util.GregorianCalendar; public class Employee implements Serializable{ private static final long serialVersionUID = 8820461656542319555L; private String name; pr…

Akka-http的客户端连接模式除Connection-Level和Host-Level之外还有一种非常便利的模式:Request-Level-Api.这种模式免除了连接Connection的概念,任何时候可以直接调用singleRequest来与服务端沟通.下面我们用几个例子来示范singleRequest的用法: (for { response <- Http().singleRequest(HttpRequest(method=HttpMethods.GET,uri="http:/…

因为我了解Akka-http的主要目的不是为了有关Web-Server的编程,而是想实现一套系统集成的api,所以也需要考虑由服务端主动向客户端发送指令的应用场景.比如一个零售店管理平台的服务端在完成了某些数据更新后需要通知各零售门市客户端下载最新数据.虽然Akka-http也提供对websocket协议的支持,但websocket的网络连接是双向恒久的,适合频繁的问答交互式服务端与客户端的交流,消息结构也比较零碎.而我们面临的可能是批次型的大量数据库数据交换,只需要简单的服务端单向消息就行了,…

Akka本身使用了Protocol Buffers来序列化内部消息(比如gossip message).Akka系统还可以配置自定义序列化机制. 配置conf akka { actor { ## 在akka.actor.serializers中声明有哪些序列化方式 serializers { java = "akka.serialization.JavaSerializer" proto = "akka.remote.serialization.ProtobufSeriali…

......得到一个 字符串 的结果 过程就叫序列化 字典 / 列表 / 数字 /对象 -序列化->字符串 为什么要序列化 # 1.要把内容写入文件 序列化 # 2.网络传输数据 序列化 字符串-反序列化->字典 / 列表 / 数字 /对象 序列化模块 json pickle shelve import json # json格式的限制1,json格式的key必须是字符串数据类型# json格式中的字符串只能是""# 写入中文需要加参数 ensu_ascii = False…

1.首先谈谈为什么要序列化对象 把对象转换为字节序列的过程称为对象的序列化. 把字节序列恢复为对象的过程称为对象的反序列化. 对象的序列化主要有两种用途: 1) 把对象的字节序列永久地保存到硬盘上,通常存放在一个文件中: 2) 在网络上传送对象的字节序列. 在很多应用中,需要对某些对象进行序列化,让它们离开内存空间,入住物理硬盘,以便长期保存.比如最常见的是Web服务器中的Session对象,当有 10万用户并发访问,就有可能出现10万个Session对象,内存可能吃不消,于是Web容器就会把一…

前言.... Akka作为一个天生用于构建分布式应用的工具,当然提供了用于分布式组件即Akka Remote,那么我们就来看看如何用Akka Remote以及Akka Serialization来构建分布式应用. 背景 很多同学在程序的开发中都会遇到一个问题,当业务需求变得越来越复杂,单机服务器已经不足以承载相应的请求的时候,我们都会考虑将服务部署到不同的服务器上,但服务器之间可能需要相互调用,那么系统必须拥有相互通信的接口,用于相应的数据交互,这时候一个好的远程调用方案是一个绝对的利器,主流的…

研究关于restapi的初衷是想搞一套通用的平台数据表维护http工具.前面谈过身份验证和使用权限.文件的上传下载,这次来到具体的数据库表维护.我们在这篇示范里设计一套通用的对平台每一个数据表的标准维护方式.http服务端数据表维护CRUD有几个标准的部分组成:Model,Repository,Route.我们先看看这几个类型的基类: trait ModelBase[M,E] { def to: M => E def from: E => M } trait RepoBase[M] { def…

1.介绍 .net一般指.Net Framework框架.一种平台,一种技术. C#是一种编程语言,可以开发基于.net平台的应用. .Net Framework是框架是.Net平台不可缺少的一部分,它提供了一个稳定的环境来保证我们基于.Net平台开发的各种应用能够正常的运转. 2.两种交互模式 C/S:要求客户的电脑上必须装一个客户端:QQ.360.快播等... B/S:要求客户的电脑上只需要装一个浏览器. 3.VS的学习 1.启动VS a.双击图标 b.调出cmd,输入devenv 2.VS…

Protocol Buffer技术详解(Java实例) 该篇Blog和上一篇(C++实例)基本相同,只是面向于我们团队中的Java工程师,毕竟我们项目的前端部分是基于Android开发的,而且我们研发团队中目前主要使用的开发语言就是C++.Java和Python,其中Python主要用于编写各种工具程序.然而为了保证该篇Blog的完整性和独立性,我仍然会将上一篇Blog中已经出现的内容再一次赘述,同时对于Java中特有的部分也会着重介绍.          一.生成目标语言代码.      下面…

本文转自:http://blog.csdn.net/lilu_leo/article/details/8115612 一.类和对象使用技巧 1.尽量少用new生成新对象 用new创建类的实例时,构造雨数链中所有构造函数都会被自动调用,操作速度较慢.在某些时候可复用现有对象.比如在进行大量St rillg操作时,可用StringBuffer娄代替String类,以避免生成大量的对象.用 new关键词创建类的实例时,构造函数链中的所有构造函数都会被自动调用.但如果一个对象实现了 Cloneable…

1.java里的clone分为:  A:浅复制(浅克隆): 浅复制仅仅复制所考虑的对象,而不复制它所引用的对象.  b:深复制(深克隆):深复制把要复制的对象所引用的对象都复制了一遍.  Java中对象的克隆,为了获取对象的一份拷贝,我们可以利用Object类的clone()方法.必须要遵循下面三点  1.在派生类中覆盖基类的clone()方法,并声明为public[Object类中的clone()方法为protected的].  2.在派生类的clone()方法中,调用super.clone(…

在设计netty的编解码器过程中,有许多组件可以选择,这里由于咱对Protostuff比较熟悉,所以就用这个组件了.由于数据要在网络上传输,所以在发送方需要将类对象转换成二进制,接收方接收到数据后,需要将二进制转换成类对象,由于这个操作在之前的文章中有讲解过:网络传输数据序列化工具Protostuff,所以可以翻看我之前的文章来查看具体的实践方法: public class SerializeUtil { private static class SerializeData{ private O…

写Java也有n年了,现在还是有不少的坏的代码习惯,也通过学习别人的代码学到了不少好的习惯.这篇文章主要是整理的资料.留给自己做个警戒,提示以后写代码的时候注意!在文章的后面,会提供整理的原材料下载. 一.类和对象使用技巧 1.尽量少用new生成新对象 用new创建类的实例时,构造雨数链中所有构造函数都会被自动调用,操作速度较慢.在某些时候可复用现有对象.比如在进行大量St rillg操作时,可用StringBuffer娄代替String类,以避免生成大量的对象.用 new关键词创建类的实例时,…

我们把对象从内存中变成可存储或传输的过程称之为序列化 在python中叫picking 在其他语言中也被称之为 serialization marshalling flattening等等 序列化之后  就可以把序列化后的内容写入磁盘 或者通过网络传输到别的机器上 反过来  把变量内容从序列化的对象重新读到内存里称之为反序列化  即unpicking import pickle pickle.dumps()  可以序列化一个函数或者类  假如文件移植了,则序列化的函数或类 都必须的存在 才能反序…

阅读笔记: 仅希望对底层有一定必要的感性认识,包括一些基本核心概念. Here只关注Graph相关,因为对编程有益. TF – Kernels模块部分参见:https://mp.weixin.qq.com/s/vwSlxxD5Ov0XwQCKy1oyuQ TF – Session部分,也可以在起专题总结:https://mp.weixin.qq.com/s/Bi6Rg-fEwyN4uIyRHDPhXg Tensorflow Download: https://github.com/tensorf…

一段程序只能完成功能是没有用的,只能能够稳定.高效率地运行才是生成环境所需要的. 本篇记录了Spark各个角度的调优技巧,以备不时之需. 一.配置参数的方式和观察性能的方式 额...从最基本的开始讲,可能一些刚接触Spark的人不是很清楚Spark的一些参数变量到底要配置在哪里. 可以通过三种方式配置参数,任选其一皆可. spark-env.sh文件中配置:最近常使用的配置方式,格式可以参考其中的一些官方保留的配置. 程序中通过SparkConf配置:通过SparkConf对象set方法设置键值…

一. JavaSE 4 1. 面向对象的特征有哪些方面 4 2. String是最基本的数据类型吗? 4 3. super()与this()的区别? 4 4. JAVA的事件委托机制和垃圾回收机制 4 5. 在JAVA中,如何跳出当前的多重嵌套循环? 4 6. 什么是java序列化,如何实现java序列化?(写一个实例) 4 7. 线程的基本概念.线程的基本状态以及状态之间的关系? 4 9. 什么是Java序列化,如何实现java序列化? 4 10. 列举出JAVA 中6 个比较常用的包 4 1…

在Task调度相关的两篇文章<Spark源码分析之五:Task调度(一)>与<Spark源码分析之六:Task调度(二)>中,我们大致了解了Task调度相关的主要逻辑,并且在Task调度逻辑的最后,CoarseGrainedSchedulerBackend的内部类DriverEndpoint中的makeOffers()方法的最后,我们通过调用TaskSchedulerImpl的resourceOffers()方法,得到了TaskDescription序列的序列Seq[Seq[Tas…

本节主要内容 泛型(Generic Type)简单介绍 注解(Annotation)简单介绍 注解经常使用场景 1. 泛型(Generic Type)简单介绍 泛型用于指定方法或类能够接受随意类型參数,參数在实际使用时才被确定,泛型能够有效地增强程序的适用性,使用泛型能够使得类或方法具有更强的通用性.泛型的典型应用场景是集合及集合中的方法參数,能够说同java一样,scala中泛型无处不在,详细能够查看scala的api 1 泛型类 //单个泛型參数的使用情况 class Person[T](v…

1．Netty是什么? Netty是一个基于JAVA NIO类库的异步通信框架,它的架构特点是:异步非阻塞.基于事件驱动.高性能.高可靠性和高可定制性. 2．使用Netty能够做什么? 开发异步.非阻塞的TCP网络应用程序: 开发异步.非阻塞的UDP网络应用程序: 开发异步文件传输应用程序: 开发异步HTTP服务端和客户端应用程序: 提供对多种编解码框架的集成,包括谷歌的Protobuf.Jboss marshalling.Java序列化.压缩编解码.XML解码.字符串编解码等,这些编解码框架可…

上次对restapi开了个头,设计了一个包括了身份验证和使用权限的restful服务开发框架.这是一个通用框架,开发人员只要直接往里面加新功能就行了.虽然这次的restapi是围绕着数据库表的CRUD操作设计的,但文件类数据在服务端与客户端之间的交换其实也很常用,特别是多媒体类如图片等文件类型.那我们就试着设计一个文件交换服务功能然后看看能不能很方便的加入到restapi框架内. akka-http是以akka-stream为核心的,使用了大量的akka-stream功能.akka-stream…