1、Client有五个内部类,分别是Call,ParallelCall,ParallelResult,Connetion,ConnectionId

其实这五个类就是去完成两件事情的,一件事情是连接,另外一件事情是调用,而连接呢主要通过Connection来完成,ConnectionId是它的辅助类。调用呢,Call为主,由于会同时和NameNode和其他DataNode通讯,所以需要一个ParallelCall来完成这件事,调用完了总有个返回值吧,所以要有ParallelResult这个类。

2、先来看ConnectionId

This class holds the address and the user ticket. The client connections to servers are uniquely identified by <remoteAddress, protocol, ticket>这个是源码的解释,

下边有10个属性,最核心也就是address,ticket,protocol,连接相关的有rpcTimeout,serverPrincipal,maxIdleTime,connectionRetryPolicy,tcpNoDelay,pingInterval

Nagle算法是以他的发明人John Nagle的名字命名的,它用于自动连接许多的小缓冲器消息;这一过程(称为nagling)通过减少必须发送包的个数来增加网络软件系统的效率。Nagle的算 法通常会在TCP程 序里添加两行代码,在未确认数据发送的时候让发送器把数据送到缓存里。任何数据随后继续直到得到明显的数据确认或者直到攒到了一定数量的数据了再发包。

InetSocketAddress address;
     UserGroupInformation ticket;
     Class<?> protocol;
     private static final int PRIME = 16777619;//这个家伙也就是在hashcode里边用了一下
     private int rpcTimeout;
     private String serverPrincipal;
     private int maxIdleTime; //connections will be culled if it was idle for maxIdleTime msecs
     private final RetryPolicy connectionRetryPolicy;
     private boolean tcpNoDelay; // if T then disable Nagle's Algorithm
     private int pingInterval; // how often sends ping to the server in msecs
3、再来看看Connection,

Thread that reads responses and notifies callers.  Each connection owns a socket connected to a remote address.  Calls are multiplexed through this socket: responses may be delivered out of order.

这个家伙继承了Thread这个类,主要读取相应通知调用者,每个连接都维护一个到远端的连接。调用时多路复用:响应不是按序的?

里边也包含了一个内部类PingInputStream

This class sends a ping to the remote side when timeout on reading. If no failure is detected, it retries until at least  a byte is read.

如果没有检测到失败,它会坚持重试到最后一个字节被读取
   private class PingInputStream extends FilterInputStream {}

下面的属性

private InetSocketAddress server;             // server ip:port,这个ConnectionId里边有
  private String serverPrincipal;  // server's krb5 principal name   kerberos这个是一种安全认证系统,如果失败了会用SASL :简单认证与安全层(Simple Authentication And Security Layer),简单认证和安全层,简单身份验证和安全层 ?
  private ConnectionHeader header;              // connection header
  private final ConnectionId remoteId;                // connection id
  private AuthMethod authMethod; // authentication method
  private boolean useSasl;
  private Token<? extends TokenIdentifier> token;
  private SaslRpcClient saslRpcClient;
 
  private Socket socket = null;                 // connected socket
  private DataInputStream in;
  private DataOutputStream out;

下面这几个ConnectionId里边也有
  private int rpcTimeout;
  private int maxIdleTime; //connections will be culled if it was idle for maxIdleTime msecs
  private final RetryPolicy connectionRetryPolicy;
  private boolean tcpNoDelay; // if T then disable Nagle's Algorithm
  private int pingInterval; // how often sends ping to the server in msecs

// currently active calls,并发的这几个要注意下,自己不是很熟,以前自己也没见过把Exception定义为属性变量
  private Hashtable<Integer, Call> calls = new Hashtable<Integer, Call>();
  private AtomicLong lastActivity = new AtomicLong();// last I/O activity time
  private AtomicBoolean shouldCloseConnection = new AtomicBoolean();  // indicate if the connection is closed
  private IOException closeException; // close reason

4、上边的calls里边出现了Call这个类,

A call waiting for a value.

这个简单,就5个属性,分别是id,参数,返回值,异常,结束标志位,平时我们一个方法调用也不过是个参数列表,返回值,异常,只不过这个加了个id和结束标志位done。

int id;                                       // call id
   Writable param;                               // parameter
   Writable value;                               // value, null if error
   IOException error;                            // exception, null if value
   boolean done;                                 // true when call is done

5、在看看这个ParallelCall

Call implementation used for parallel calls.

这个里边就两个属性,当然它继承至Call的属性暂时忽略

private ParallelResults results;
private int index;
6、上面的第一个属性ParallelResults,看看这个内部类

Result collector for parallel calls.

三个属性,也很简单

private Writable[] values;// store the value
private int size;//if (count == size)     notify();                          // if all values are in  then notify waiting caller
private int count; // count it

踏着前人的脚印学hadoop——ipc中的Client的更多相关文章

  1. 踏着前人的脚印学hadoop——ipc中的Server

    1.An abstract IPC service.  IPC calls take a single {@link Writable} as a parameter, and return a {@ ...

  2. 踏着前人的脚印学Hadoop——RPC源码

    A simple RPC mechanism.A protocol  is a Java interface.  All parameters and return types must be one ...

  3. 踏着前人的脚印学Hadoop——结构、重点

    HDFS作为一个分布式文件系统,是所有这些项目的基础.分析好HDFS,有利于了解其他系统.由于Hadoop的HDFS和MapReduce是同一个项目,我们就把他们放在一块,进行分析. 如果把整个had ...

  4. 踏着前人的脚印学Hadoop——序列化,Writerable

    package org.apache.hadoop.io; import java.io.DataOutput;import java.io.DataInput;import java.io.IOEx ...

  5. org.apache.hadoop.ipc.RemoteException(java.io.IOException)

    昨晚突然之间mr跑步起来了 jps查看 进程都在的,但是在reduce任务跑了85%的时候会抛异常 异常情况如下: 2016-09-21 21:32:28,538 INFO [org.apache.h ...

  6. Hadoop IPC的代码结构分析

    与IPC相关的代码在org.apache.hadoop.ipc包下.共七个文件,其中4个辅助类: RemoteException Status VersionedProtocol Connection ...

  7. 一张图解释Hadoop IPC

    基于hadoop2.6.2.... 一张图Server启动,Client访问..... RPC是IPC的一种,IPC还有另外一种LPC,相关请看参考中的3 使用hadoop ipc步骤: 1.定义RP ...

  8. 运行基准测试hadoop集群中的问题:org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /benchmarks/TestDFSIO/io_data/test_

    在master(即:host2)中执行 hadoop jar hadoop-test-1.1.2.jar DFSCIOTest -write -nrFiles 12 -fileSize 10240 - ...

  9. hive运行query语句时提示错误:org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException:

    hive> select product_id, track_time from trackinfo limit 5; Total MapReduce jobs = 1 Launching Jo ...

随机推荐

  1. jquery 获取鼠标位置

    //获取鼠标位置 $(function(){ $('body').mousemove(function(e) { e = e || window.event; __xx = e.pageX || e. ...

  2. C#_拆箱跟装箱

    Net的类型分为两种,一种是值类型,另一种是引用类型.这两个类型的本质区别,值类型数据是分配在栈中,而引用类型数据分配在堆上.那么如果要把一个值类型数据放到堆上,就需要装箱操作:反之,把一个放在堆上的 ...

  3. gcj_2016_Round1_B

    题目 一个NxN的矩阵,矩阵中每个方格中都有一个数值,且每一行的数值严格单调递增,每一列的数值严格单调递增.分别取出N行和N列,形成2N个长度为N的数组,现在有一个数组丢失,已知剩下的2N-1个长度为 ...

  4. python 暴力破解密码脚本

    python 暴力破解密码脚本 以下,仅为个人测试代码,环境也是测试环境,暴力破解原理都是一样的, 假设要暴力破解登陆网站www.a.com 用户 testUser的密码, 首先,该网站登陆的验证要支 ...

  5. java 多线程3(线程安全)

    需求:模拟三个窗口同时买票. 问题1:static 修饰num,只创建一份在内存中,要不就会创建3份. 问题2:线程安全问题.(代码重1的红色字体) 出现的原因:存在两个或两个以上的线程对象,而且线程 ...

  6. 【CITE】DrawImage方法详解(转)

    Image和Bitmap类概述 GDI+的Image类封装了对BMP.GIF.JPEG.PNG.TIFF.WMF(Windows元文件)和EMF(增强WMF)图像文件的调入.格式转换以及简单处理的功能 ...

  7. C# Socket编程(1)基本的术语和概念

    计算机程序能够相互联网,相互通讯,这使一切都成为可能,这也是当今互联网存在的基础.那么程序是如何通过网络相互通信的呢?这就是我记录这系列的笔记的原因.C#语言从一开始就是为了互联网而设计的,它为实现程 ...

  8. android AutoCompleteTextView 自定义BaseAdapter

    最近项目中需要做搜索功能,实现类似 Google.Baidu 搜索的 下拉提示效果.Android为我们提供了 AutoCompleteTextView 控件来完成此功能. 网上好多例子都是简单使用 ...

  9. 《Java程序设计》实验三 实验报告

    实验三 敏捷开发与XP实践 实验内容 XP基础 XP核心实践 相关工具 实验要求 1.没有Linux基础的同学建议先学习<Linux基础入门(新版)><Vim编辑器> 课程 2 ...

  10. 例子:使用C++中的this

    在C++中很多的东西都传值的,. C++中的对象之间的copy是传值的 , 他不想java那样,对象之间传递的引用 , 或者说是java对指针进行了封装 , 禁止了一些不安全的操作 对于C++而言 , ...