大数据学习day15----第三阶段----scala03--------1.函数（“_”的使用, 函数和方法的区别）2. 数组和集合常用的方法（迭代器，并行集合） 3. 深度理解函数 4 练习（用java实现类似Scala函数式编程的功能（不能使用Lambda表达式））

1. 函数

　　函数就是一个非常灵活的运算逻辑，可以灵活的将函数传入方法中，前提是方法中接收的是类型一致的函数类型

函数式编程的好处：想要做什么就调用相应的方法（fliter、map、groupBy、sortBy），想要具体怎么做，就传入相应的函数

函数式编程的特点之一就是支持链式编程（不停的函数调用函数）

1.1 一种更加简洁的定义函数的方式（_）

以前的形式

简洁的形式

 "_" 相当于一个占位符，将遍历出来的值赋给这个占位符

该占位符号出现两次，其会认为出现两个参数，由于此处就是一个参数，若用如下表达式求平方会报错

此时想求平方的话可以使用math包来达到目的

1.2  函数和方法区别

　　函数可以作为参数传入到方法中【函数本质是一个引用类型】，但是方法不能作为参数传入方法中  

　　函数中也可以调用方法

下面的例子似乎能得到方法可以作为参数传入方法

m相当于m _的语法糖，m _会生成一个函数

问题1：为什么在方法中传入方法m可以执行相应的运算呢？

因为当传入一个方法名时，scala内部会将其转换成函数，实际传入的还是一个函数

问题2：m _这种语法到底是生成了一个跟m方法运算逻辑一样的函数，还是生成的函数调用了m方法呢

所以m _这种语法是生成了一个函数，这个生成的函数再调用了m方法

案例

 2. 数组和集合常用的方法

2.1 max(最大值)，min(最小值)，sum(求和)，length(长度)

 2.2 reduce、fold

• reduce　

　　在Scala中，可以使用reduce这种二元操作对集合中的元素进行归约，reduce包含reduceLeft和reduceRight两种操作，前者从集合的头部开始操作，后者从集合的尾部开始操作

object MethodOfArray {
  def main(args: Array[String]): Unit = {
    val arr = Array(1,2,3)
    println(arr.reduce(_+_))      // 6
    println(arr.reduce(_-_))      // -4  此处说明reduce默认使用reduceLeft
    println(arr.reduceLeft(_-_))  // -4
    println(arr.reduceRight(_-_)) // 2
    println(arr.reduce(_*_))      //6
  }
}

• fold

　　fold类似reduce,但其一定要从一个初始值开始，并以该值作为上下文，处理集合中的每个元素

2.3 sortBy：排序，默认是升序

以下只是改变比较的规则（将数据以字符串的形式比较），并不是改变数据，所以结果还是Int

若想实现降序，可如下

补充：迭代器

迭代器不存储数据，其只是一个帮助拿数据的工具

2.4 求并集

此处因为是List，所以可以有重复，若是改变成Set，这求并集后将不会有重复的元素

2.5 聚合：Aggregate

右边的参数用不到，不写会报错，源码如下

2.6 交集和差集

• 交集

 val r2 = l1.intersect(l2)

• 差集：去掉相同的元素

val r3 = l1.diff(l2)

2.7 并行化集合（arr.par）

即9个线程运行此任务（得到的值具有随机性）

 3. 深度理解函数

　　函数本质是一个接口的实例，是一个引用类型，引用可以作为参数传入到方法中

（1） 以前定义函数的完整形式

val f1:(Int,Double) => Double = (x: Int, y: Double) => (x + y)

（2）但其对应的真正写法应该如下

val f2:Function2[Int, Double, Double] = (x: Int, y: Double) => (x + y)  //function2表示函数的输入参数的个数为2

补充： 在scala语言中，函数也是对象，每一个对象都是scala.FunctionN(1-22)1的实例，其中N是函数参数的数量

当点击蓝色字时，发现波浪线处会变成（1）中相应位置处的形式，所以说，（1）中的写法较2中用了语法糖

（3）更加准确的函数定义应该如下（波浪线处提示用语法糖）

点进Function2，可知其为一个特质（接口），此处相当于定义了一个接口的实例，源码部分如下

图解定义一个函数内部的过程

 4 练习

 方法一：装饰的方式：

思路：将原始的List用一个新的List（MyList）包装起来，获得一个包装类，然后在这个包装类中定义map方法，从而实现想要的功能

MyList类

public class MyList {

    private List<String> words;

    public MyList(List<String> words) {  // 定义有参构造方法
        this.words = words;
    }

    public List<String> map(MapFunction func) {
        //定义一个新的集合，装转换后的数据
        List<String> nList = new ArrayList<>();
        //循环老的List
        for(String word: words) {
            //应用外部传入的逻辑
            String nWord = func.apply(word);
            //将新的单词添加到新的List中
            nList.add(nWord);
        }
        //返回新的List
        return nList;
    }
}

MyFunction类

public interface MapFunction {

    //定义一个规范，输入一个String，返回一个String
    public String apply(String word);
}

因为MyList对象调用的map方法中传入的是一个运算逻辑，不能写死，所以此处就创建一个接口，不同的逻辑就相当于不同的实现类（即重写的apply方法不一样）

class MyListTest {
    public static void main(String[] args) {
        List<String> words = Arrays.asList("Hadoop", "Spark", "Hbase", "Flink", "Hive");
        MyList myList = new MyList(words);
        // 实现后面拼接字符串
        List<String> res1 = myList.map(new MapFunction() {
            @Override
            public String apply(String word) {
                return word + 2.0;
            }
        });

        // 实现List中的元素都变大写
        List<String> res2 = myList.map(new MapFunction(){
            @Override
            public String apply(String word) {
                return word.toUpperCase();
            }
        });
        System.out.println(res1);
    }
}

若是在java8中，可以使用Lambda写逻辑运算，如转换大写部分可以直接使用如下替换

List<String> nList = myList.map(w -> w.toUpperCase());

此时可以去看下scala中的map是怎么实现的，类比发现逻辑跟自己上面的写法是一样的

 方法二：继承的方式

方法一的缺点：不能使用被包装集合中的方法（如add等），泛型写死，不支持链式编程（自己扩展的方法，）

此方法的优点：

• 具备ArrayList所有的功能
• 扩展了map、filter、reduce等方法
• 支持链式编程 （自己定义的map、fliter等方法返回值类型变为自己定义的集合）   
• 支持传入多种数据类型：泛型

MyAdvList

说明：此集合为自己定义的集合，继承了ArrayList（这样就具备了ArrayList的所有功能），并实现了MyTraversableLike接口（scala中的集合，Set等也是实现了这个接口（TraversableLike）的），这样当别的集合想用该方法时，直接实现这个接口就行

public class MyAdvList<T> extends ArrayList<T> implements MyTraversableLike<T>{

    @Override
    public <R> MyAdvList<R> map(MyFunction1<T, R> func) {
        // 创建一个新的集合，注意此处的返回值为自己定义的MyAdvList，这样才能支持自己写的方法的链式编程
        MyAdvList<R> nList = new MyAdvList<>();
        // 遍历老的集合（即调用该map方法的集合）
        for(T t: this){
            // 应用外部传入的逻辑
            R res = func.apply(t);
            // 将新的数据放入的刚创建的新的集合中去
            nList.add(res);
        }
        return nList;
    }

    @Override
    public MyAdvList<T> filter(MyFunction1<T, Boolean> func) {
        MyAdvList<T> nList = new MyAdvList<>();
        for(T t: this){
            if(func.apply(t)){
                nList.add(t);
            }
        }
        return nList;
    }
}

MyTraversableLike接口

import java.util.List;

//MyTraversableLike<T>泛型类，以后T类型就可以在方法中使用了
public interface MyTraversableLike<T> {

    //泛型方法，在返回值的前面、void的前面<R>

    /**
     * 做映射，传入一个运算逻辑，将数据进行处理，返回一个新的List
     * @param func
     * @param <R>
     * @return
     */
    <R> List<R> map(MyFunction1<T, R> func);

    /**
     * 对原来集合的数据进行过滤，满足func的条的留下
     * @param func
     * @return
     */
    List<T> filter(MyFunction1<T, Boolean> func);

}

MyFunction1（传进map方法中的运算逻辑，相当于一个规范，此处接口可以达到这个目的）

public interface MyFunction1<T, R> {

    /**
     * 定义一个规范，属于一个T类型的参数，返回一个R
     * T 和 R 可以是同一个类型
     * @param r
     * @return
     */
    R apply(T r);
}

测试类

public class MyAdvListTest {
    public static void main(String[] args) {
//        MyAdvList<String> words = new MyAdvList<>();
//        words.add("Hadoop");
//        words.add("Spark");
//        words.add("Flink");
//        words.add("Hive");
//        List<String> nList = words.map(new MyFunction1<String, String>() {
//            @Override
//            public String apply(String r) {
//                return r.toUpperCase();
//            }
//        });
        MyAdvList<Integer> num = new MyAdvList<>();
        num.add(1);
        num.add(2);
        num.add(3);
        num.add(4);
//        List<Double> nList = num.map(new MyFunction1<Integer, Double>() {
//            @Override
//            public Double apply(Integer r) {
//                return r * 10.0;
//            }
//        });
        // 链式编程
　　　　　List<Double> nList = num.map(r -> r * 3.0).filter(x -> x%2==0);
        System.out.println(nList);
    }
}

这样既可达到需求

补充：java8中Stream【流水线】的使用

public class StreamDemo {
    public static void main(String[] args) {
    List<Integer> num = Arrays.asList(1,2,4,5,6,7);
        // 使用Java8的Stream【流水线】，集合中是没有filter等方法的
　　　　 Optional<Integer> reduce = num.stream().filter(i -> i % 2 == 0).map(i -> i * i).reduce((a, b) -> a + b);
        Integer integer = reduce.get();
        System.out.println(integer);
    }
}

public class StreamDemo {

    public static void main(String[] args) {
        Stream<Integer> integerStream = nums.stream().filter(i -> i % 2 == 0).map(i -> i * i);
　　　　　// 以下是通过迭代器获取数据
//        Iterator<Integer> iterator = integerStream.iterator();
//
//        while (iterator.hasNext()) {
//            Integer r = iterator.next();
//            System.out.println(r);
//        }
　　　　　// java8新特性直接获取
        //integerStream.forEach(i -> System.out.println(i));
        integerStream.forEach(System.out::println);

    }
}