Hadoop源码学习笔记(3) ——初览DataNode及学习线程
Hadoop源码学习笔记(3)
——初览DataNode及学习线程
进入了main函数,我们走出了第一步,接下来看看再怎么走:
- public class DataNode extends Configured implements InterDatanodeProtocol,
- ClientDatanodeProtocol, FSConstants, Runnable {
- public static DataNode createDataNode(String args[], Configuration conf)
- throws IOException {
- DataNode dn = instantiateDataNode(args, conf);
- runDatanodeDaemon(dn);
- return dn;
- }
- public static void runDatanodeDaemon(DataNode dn) throws IOException {
- dn.dataNodeThread = new Thread(dn, dnThreadName);
- dn.dataNodeThread.setDaemon(true);
- dn.dataNodeThread.start();
- }
- }
- public static DataNode instantiateDataNode(String args[], Configuration conf)
- throws IOException {
- return makeInstance(dataDirs, conf);
- }
- public static DataNode makeInstance(String[] dataDirs, Configuration conf) {
- return new DataNode(conf, dirs);
- }
- DataNode(Configuration conf, AbstractList<File> dataDirs)
- throws IOException {
- startDataNode(conf, dataDirs);
- }
- vid join(){
- dataNodeThread.join();
- }
- void startDataNode(Configuration conf, AbstractList<File> dataDirs)
- throws IOException {
- }
- public static void main(String args[]) {
- DataNode datanode = createDataNode(args, null);
- datanode.join();
- }
- }
从上面的程序可以看到,程序从main函数中运行,然后一层创建了DataNode对象,然后在runDatanodeDaemon函数创建了一个线程,然后程序调用了线程就停留在哪里了。
换个写法,可能看起来更清晰点了:
- public static void main(String args[]) {
- DataNode datanode = new DataNode();
- Thread dataNodeThread = new Thread(dn, dnThreadName);
- dataNodeThread.setDaemon(true);
- dataNodeThread.start();
- dataNodeThread.join();
- }
这样代码清晰了,换句话说,整个DataNode目前看来,就是一个大线程在跑。
整个来讲,线程,还是比较容易理解,整个类继承于Runnable接口,然后实现Run函数。 能过Thread类创建时传入对象实现,在Start后,线程就会运行,执行Run函数内的内容。
但这代码中有几行有点疑惑:
- SetDaemon(true):这个函数的意义,并非是简单的字面意义了(Daemon:守护),一般情况下,当一个线程还没运行完,主程序是卡住的,但设置为daemon为true时,当主程序结束,则线程也就自动结束。
- Join():这个函数就是等待线程结束后再往下走。就相当于我们常在主序中写的while(true){}一样。
创建线程,除了这种继承Runnable接口之外,还可以直接继承Thread类,然后直接调用对象的Start函数。但这样的话不太方便了,因为一个类只能继承一个类,但可继承多个接口,所以用接口更加灵活。
针对线程的这两个特性,我们可以写个简单的示例来试验一下:
- import java.io.IOException;
- public class ThreadTest extends Thread {
- public class FirstThread extends Thread{
- @Override
- public void run(){
- }
- }
- public class SecondThread implements Runnable{
- @Override
- public void run() {
- }
- }
- public void run(){
- for(int i = 1; i <= 50; i++){
- try{
- Thread.sleep(100);
- } catch (InterruptedException ex){
- ex.printStackTrace();
- }
- System.out.println(i);
- }
- }
- public static void main(String[] args) throws IOException {
- ThreadTest test = new ThreadTest();
- Thread thd = new Thread(test);
- // create and start 2mehtod
- //1: FirstThread thd = new FirstThread();
- // thd.Start();
- //2: SecondThread thdx = new SecondThread()
- //Thread thd = new Thread(thd);
- //thd.Start();
- // 如果不设置daemon,那么线程将输出50后才结束
- thd.setDaemon(true);
- thd.start();
- System.out.println("isDaemon = " + thd.isDaemon());
- System.in.read(); // 接受输入程序在此停顿,一旦有输入,main线程结束,守护线程自动结束
- //thd.join();
- }
- }
示例中涉及到了创建线程的方法,join函数和setDaemno函数,可分别释放注释来调试、观察。
Hadoop源码学习笔记(3) ——初览DataNode及学习线程的更多相关文章
- Hadoop源码学习笔记(6)——从ls命令一路解剖
Hadoop源码学习笔记(6) ——从ls命令一路解剖 Hadoop几个模块的程序我们大致有了点了解,现在我们得细看一下这个程序是如何处理命令的. 我们就从原头开始,然后一步步追查. 我们先选中ls命 ...
- Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构
Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构 之前我们简要的看过了DataNode的main函数以及整个类的大至,现在结合前面我们研究的线程和RPC,则可以进一步 ...
- Hadoop源码学习笔记(1) ——第二季开始——找到Main函数及读一读Configure类
Hadoop源码学习笔记(1) ——找到Main函数及读一读Configure类 前面在第一季中,我们简单地研究了下Hadoop是什么,怎么用.在这开源的大牛作品的诱惑下,接下来我们要研究一下它是如何 ...
- Hadoop源码学习笔记(4) ——Socket到RPC调用
Hadoop源码学习笔记(4) ——Socket到RPC调用 Hadoop是一个分布式程序,分布在多台机器上运行,事必会涉及到网络编程.那这里如何让网络编程变得简单.透明的呢? 网络编程中,首先我们要 ...
- Hadoop源码学习笔记(2) ——进入main函数打印包信息
Hadoop源码学习笔记(2) ——进入main函数打印包信息 找到了main函数,也建立了快速启动的方法,然后我们就进去看一看. 进入NameNode和DataNode的主函数后,发现形式差不多: ...
- Hadoop源码学习笔记之NameNode启动场景流程一:源码环境搭建和项目模块及NameNode结构简单介绍
最近在跟着一个大佬学习Hadoop底层源码及架构等知识点,觉得有必要记录下来这个学习过程.想到了这个废弃已久的blog账号,决定重新开始更新. 主要分以下几步来进行源码学习: 一.搭建源码阅读环境二. ...
- hadoop源码学习(-)
这是从hadoop源码中间截取的一个片段,你看看你能不能看懂:如果不能看懂,说明你的javase基础很差. private static class GroupFactory extends Coun ...
- Hadoop源码编译过程
一. 为什么要编译Hadoop源码 Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通 ...
- 如何导入hadoop源码到eclipse
需要进一步学习hadoop.需要看看内部源码实现,因此需要将hadoop源码导入都eclipse中. 简单总结一下,具体步骤如下: 首先确保已经安装了git.maven3.protobuf2.5.如果 ...
随机推荐
- WPF ControlTemplate 动画板 结束事件不触发
解决此问题很简单 将Storyboard单独提取出来及可 给定Key名称,然后在触发器中的BeginStoryboard的storyboard绑定即可 <!--单独提取并设置Xkey--> ...
- crond脚本执行并发冲突问题
在计划任务中,偶尔会看到重复执行的情况: 例如我们公司的计划任务举例: */ * * * * root cd /opt/xxxx/test_S1/html/xxxx/admin; php index. ...
- kali linux之msf后渗透阶段
已经获得目标操作系统控制权后扩大战果 提权 信息收集 渗透内网 永久后门 基于已有session扩大战果 绕过UAC限制 use exploit/windows/local/ask set sessi ...
- luncene 查询字符串的解析-QueryParser类
搜索流程中的第二步就是构建一个Query.下面就来介绍Query及其构建. 当用户输入一个关键字,搜索引擎接收到后,并不是立刻就将它放入后台开始进行关键字的检索,而应当首先对这个关键字进行一定的分析和 ...
- 【bug】—— ios scroll 滚动穿透
BUG描述 在 ios 微信浏览器或原生浏览器中,主内容容器.content在文档流内,并且overflow-y: scroll.在其之上有一个 fixed 定位的弹出层.popUp,滚动.popUp ...
- Linux 中排除掉筛选的文件
以下命令以网站目录www为例做介绍,有时候更新网站的时候需要保留比如图片目录,或者其他目录就需要这样的操作 实例一: 删除文件夹内所有文件只保留一个文件命令 [root@linuxzgf www]# ...
- python接口自动化发送get请求 详解(一)
前言:接口自动化实现自动化脚本比较稳定,主要用到requests模块,后面我会把这个模块单独拉出来写一下. 一.环境安装 1.用pip安装requests模块 >>pip install ...
- CentOS7系统安装 Maria Db(MYSQL)教程
一.背景Maria Db是流行的跨平台MySQL数据库管理系统的分支,被认为是MySQL 的完全替代品.Maria Db是由Sun在Sun Micro systems合并期间被Oracle收购后,于2 ...
- 代码 | 自适应大邻域搜索系列之(2) - ALNS算法主逻辑结构解析
00 前言 在上一篇推文中,教大家利用了ALNS的lib库求解了一个TSP问题作为实例.不知道你萌把代码跑起来了没有.那么,今天咱们再接再厉.跑完代码以后,小编再给大家深入讲解具体的代码内容.大家快去 ...
- HBTS(HBOI) 2019 真实退役记
Day 0 早上迷迷糊糊醒了不知道多久,反正差不多的时间被叫醒了,然后走去了火车站. 这次终于取到了蓝色的车票,以前去武汉的车票都取的红色不知道为什么-- 在火车上看了<悲伤逆流成河>,稍 ...