最早见过手写的,类似于下面这种: 1 import datetime 2 3 def time_1(): 4 begin = datetime.datetime.now() 5 sum = 0 6 for i in xrange(10000000): 7 sum = sum + i 8 end = datetime.datetime.now() 9 return end-begin 10 11 print time_1() 输出如下: ➜ Python python time_1.py 0:00…
我们可能会有些需求要求MapReduce的输出全局有序,这里说的有序是指Key全局有序.但是我们知道,MapReduce默认只是保证同一个分区内的Key是有序的,但是不保证全局有序.基于此,本文提供三种方法来对MapReduce的输出进行全局排序. |文章目录| |: |1.生成测试数据 |2.使用一个Reduce进行排序 |3.自定义分区函数实现全局有序 1.生成测试数据 在介绍如何实现之前,我们先来生成一些测试数据,实现如下: #!/bin/sh for i in {1..100000};d…