想要Hadoop乖巧地运行Python程序，学习mrjob可能是最直接、最简单的方法了，你甚至都不要按安装部署Hadoop集群。mrjob拥有很多优秀的特性比如：

  • 支持多步骤的MapReduce任务工作流

  • 支持内嵌、本地、远程亚马逊以及Hadoop

  • 调试方便不需要任务环境支持

本教程通过 python 中 mrjob 模块来调用 hadoop 处理数据。通过本次实验，你可以初步入门mrjob，轻松编写mr来使用hadoop。主要知识点：

  • Python MRJob模块的安装

  • Hadoop——Python各模块介绍

  • 使用MRJob实现文本统计

  • Python MRJob的运行方式

  • 重写MRJob函数实现复杂数据处理

效果展示。该展示数据含义是通过mrjob将每个用户（cuid）看过哪些电影（vid）进行统计并输出。

mrjob支持python2和python3 。mrjob可以通过pip直接安装，也可以通过下载源码通过setup.py安装，可参考mrjob安装说明。 本实验中，使用shiyanlou账户通过sudo权限进行安装。pip安装指令：

目前常见的Python框架有以下几个，这里再简单介绍一下各框架的大体特点，想了解更多可去博客查阅。 Hadoop Streaming。提供了使用其他可执行程序来作为Hadoop的mapper或者reduce的方式，必须使用规定的语义从标准输入读取数据，然后将结果输出到标准输出。直接使用Streaming 的一个缺点是当reduce的输入是按key分组的时候，仍然是一行行迭代的，必须由用户来辨识key与key之间的界限。

mrjob。开源的Python框架，封装Hadoop的数据流，并积极开发Yelp的。由于Yelp的运作完全在亚马逊网络服务，mrjob的整合与EMR是令人难以置信的光滑和容易（使用 boto包）。

dumbo。同样使用Hadoop流包装的框架。dumbo出现的较早，但由于缺少文档，造成开发困难。这也是不如mrjob的一点。dumbo通过typedbytes执行序列化，能允许更简洁的数据传输，也可以更自然的通过指定JavaInputFormat读取SequenceFiles或者其他格式的文件

hadoopy。是一个兼容dumbo的Streaming封装，也使用typedbytes序列化数据，并直接把 typedbytes 数据写到HDFS。它有一个很棒的调试机制， 在这种机制下它可以直接把消息写到标准输出而不会干扰Streaming过程。它和dumbo很相似，但文档要好得多。

pydoop。与其他框架相比，pydoop 封装了Hadoop的管道（Pipes），这是Hadoop的C++ API。 正因为此，该项目声称他们能够提供更加丰富的Hadoop和HDFS接口，以及一样好的性能。需要注意de所有的输入输出都必须是字符串。

其他 -happy、Disco、octopy、Mortar、Luigi 等。

后面便是使用mrjob实现词组统计以及mrjob多种运行方式等等的介绍。完整的教程已经配套的练习可以在实验楼的主站去学习。

说明：该教程仅限实验楼会员学习。因为是刚上线的新课，目前还1天的免费时间，任何人都可以学习；感兴趣的同学可以：点我学习

相关推荐：

MyBatis 框架基础入门

Python3 实现火车票查询工具

Python3 实现色情图片识别

高德API + Python 解决租房问题

Python 破解验证码

更多免费教程，请进入shiyanlou.com

MRJob 极速入门教程，使用Python玩转Hadoop的更多相关文章

  1. Python基础入门教程，Python学习路线图

    给大家整理的这套python学习路线图,按照此教程一步步的学习来,肯定会对python有更深刻的认识.或许可以喜欢上python这个易学,精简,开源的语言.此套教程,不但有视频教程,还有源码分享,让大 ...

  2. MLflow系列1：MLflow入门教程（Python）

    英文链接:https://mlflow.org/docs/latest/tutorial.html 本文链接:https://www.cnblogs.com/CheeseZH/p/11943280.h ...

  3. python基础入门教程《python入门经典》

    第一章 在python中使用数字 1.用变量存储信息 1.1变量的类型 变量,用于存储很多不同的数据类型的信息. 基本数据类型 数据类型 存储内容 示例 integer 整   float 浮点   ...

  4. Python爬虫入门教程 63-100 Python字体反爬之一，没办法，这个必须写，反爬第3篇

    背景交代 在反爬圈子的一个大类,涉及的网站其实蛮多的,目前比较常被爬虫coder欺负的网站,猫眼影视,汽车之家,大众点评,58同城,天眼查......还是蛮多的,技术高手千千万,总有五花八门的反爬技术 ...

  5. Python爬虫入门教程 60-100 python识别验证码，阿里、腾讯、百度、聚合数据等大公司都这么干

    常见验证码 之前的博客中已经解决了一些常见验证码的问题,但是验证码是层出不穷的,目前解决验证码除了通过常规手段解决以外,还可以通过人工智能领域的深度学习去解决 深度学习?! 无疑对爬虫coder提高了 ...

  6. Python爬虫入门教程 56-100 python爬虫高级技术之验证码篇2-开放平台OCR技术

    今日的验证码之旅 今天你要学习的验证码采用通过第三方AI平台开放的OCR接口实现,OCR文字识别技术目前已经比较成熟了,而且第三方比较多,今天采用的是百度的. 注册百度AI平台 官方网址:http:/ ...

  7. Python爬虫入门教程 55-100 python爬虫高级技术之验证码篇

    验证码探究 如果你是一个数据挖掘爱好者,那么验证码是你避免不过去的一个天坑,和各种验证码斗争,必然是你成长的一条道路,接下来的几篇文章,我会尽量的找到各种验证码,并且去尝试解决掉它,中间有些技术甚至我 ...

  8. Python爬虫入门教程 59-100 python爬虫高级技术之验证码篇5-极验证识别技术之二

    图片比对 昨天的博客已经将图片存储到了本地,今天要做的第一件事情,就是需要在两张图片中进行比对,将图片缺口定位出来 缺口图片 完整图片 计算缺口坐标 对比两张图片的所有RBG像素点,得到不一样像素点的 ...

  9. Python爬虫入门教程 58-100 python爬虫高级技术之验证码篇4-极验证识别技术之一

    目录 验证码类型 官网最新效果 找个用极验证的网站 拼接验证码图片 编写自动化代码 核心run方法 模拟拖动方法 图片处理方法 初步运行结果 拼接图 图片存储到本地 @ 验证码类型 今天要搞定的验证码 ...

随机推荐

  1. HTTP协议中GET和POST方法的区别

    转载 通常的理解 w3schools关于这个问题的解答:HTTP 方法:GET 对比 POST 列出了一般的理解: 方法 GET POST 后退按钮/刷新 无害 数据会被重新提交(浏览器应该告知用户数 ...

  2. css动画 aniamtion & @keyframes

    MDN-animation文档 animation: [name] [duration] [timing-function] [delay] [iteration-cont] [direction] ...

  3. ERP项目实施记录05

    周四继续进行流程演练,把第一个销售订单的物料给领了出来,走完了"物流". 关于运用一个新系统大概会经历以下阶段: 未知--了解--熟悉--改善--依赖 未知:有期待.担心.抗拒,需 ...

  4. [No0000F4]C# 枚举（Enum）

    枚举是一组命名整型常量.枚举类型是使用 enum 关键字声明的. C# 枚举是值数据类型.换句话说,枚举包含自己的值,且不能继承或传递继承. 声明 enum 变量 声明枚举的一般语法: enum &l ...

  5. minikube k8 ingress--https://kubernetes.io/docs

    https://ehlxr.me/2018/01/12/kubernetes-minikube-installation/[Kubernetes 学习笔记之 MiniKube 安装 in CHINA] ...

  6. inotifywait实现目录监控--http://man.linuxde.net/inotifywait

    sudo apt install inotify-tools while inotifywait -q -r -e create,delete,modify,move,attrib --exclude ...

  7. [ovs] openvswitch ovs ovs-vsctl ovs-appctl 命令行参数自动补全 bash bash-completion

    1, 安装bash_completion: [root@vrouter1 ~]# yum install bash-completio 2,  找到你的ovs的补全脚本装在了哪里 [root@vrou ...

  8. [daily][editer] 二进制编辑工具 hyx

    用了众多之后,终于发现了一个好用的二进制编辑工具: hyx https://yx7.cc/code/ https://en.wikipedia.org/wiki/Comparison_of_hex_e ...

  9. 命令行颜色换算器（基于python）

    import sys print(hex(int(sys.argv[1])<<16|int(sys.argv[2])<<8|int(sys.argv[3]))) 就两行代码 在 ...

  10. input="file" 浏览时只显示指定excel文件，筛选特定文件类型

    <p>显示 .xls, .xlsx, .csv 文件...</p> <input type="file" accept=".csv, app ...