hadoop实现购物商城推荐系统

1，商城：是单商家，多买家的商城系统。数据库是mysql，语言java。

2，sqoop1.9.33：在mysql和hadoop中交换数据。

3，hadoop2.2.0：这里用于练习的是伪分布模式。

4，完毕内容：喜欢该商品的人还喜欢，同样购物喜好的好友推荐。

步骤：

1，通过sqoop从mysql中将 “用户收藏商品” （这里用的是用户收藏商品信息表作为推荐系统业务上的根据，业务根据能够非常复杂。这里主要介绍推荐系统的基本原理，所以推荐根据非常easy）的表数据导入到hdfs中。

2，用MapReduce实现推荐算法。

3，通过sqoop将推荐系统的结果写回mysql。

4，java商城通过推荐系统的数据实现<喜欢该商品的人还喜欢，同样购物喜好的好友推荐。>两个功能。

实现：

1，

推荐系统的数据来源：

左边是用户，右边是商品。用户每收藏一个商品都会生成一条这种信息，<喜欢该商品的人还喜欢，同样购物喜好的好友推荐。>的数据来源都是这张表。

sqoop导入数据，这里用的sqoop1.9.33。sqoop1.9.33的资料非常少，会出现一些错误，搜索不到的能够发到我的邮箱keepmovingzx@163.com。

创建链接信息

这个比較简单

创建job

信息填对就能够了

导入数据运行 start job --jid 上面创建成功后返回的ID

导入成功后的数据

2，eclipse开发MapReduce程序

ShopxxProductRecommend<喜欢该商品的人还喜欢>

整个项目分两部，一，以用户对商品进行分组，二，求出商品的同现矩阵。

一

第1大步的数据为输入參数对商品进行分组

输出參数：

二，以第一步的输出数据为输入求商品的同现矩阵

输出数据

第一列数据为当前商品，第二列为与它相似的商品，第三列为相似率（越高越相似）。

整个过程就完了，以下

package xian.zhang.common;

import java.util.regex.Pattern;

public class Util {

	 public static final Pattern DELIMITER = Pattern.compile("[\t,]");

}

package xian.zhang.core;

import java.io.IOException;

import java.util.Iterator;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**

 * 将输入数据 userid1，product1  userid1，product2   userid1，product3

 * 合并成 userid1 product1,product2,product3输出

 * @author zx

 *

 */

public class CombinProductInUser {

	public static class CombinProductMapper extends Mapper<LongWritable, Text, IntWritable, Text>{

		@Override

		protected void map(LongWritable key, Text value,Context context)

				throws IOException, InterruptedException {

			String[] items = value.toString().split(",");

			context.write(new IntWritable(Integer.parseInt(items[0])), new Text(items[1]));

		}

	}

	public static class CombinProductReducer extends Reducer<IntWritable, Text, IntWritable, Text>{

		@Override

		protected void reduce(IntWritable key, Iterable<Text> values,Context context)

				throws IOException, InterruptedException {

			StringBuffer sb = new StringBuffer();

			Iterator<Text> it = values.iterator();

			sb.append(it.next().toString());

			while(it.hasNext()){

				sb.append(",").append(it.next().toString());

			}

			context.write(key, new Text(sb.toString()));

		}

	}

	@SuppressWarnings("deprecation")

	public static boolean run(Path inPath,Path outPath) throws IOException, ClassNotFoundException, InterruptedException{

		Configuration conf = new Configuration();

		Job job = new Job(conf,"CombinProductInUser");

		job.setJarByClass(CombinProductInUser.class);

		job.setMapperClass(CombinProductMapper.class);

		job.setReducerClass(CombinProductReducer.class);

		job.setOutputKeyClass(IntWritable.class);

		job.setOutputValueClass(Text.class);

		FileInputFormat.addInputPath(job, inPath);

		FileOutputFormat.setOutputPath(job, outPath);

		return job.waitForCompletion(true);

	}

}

package xian.zhang.core;

import java.io.IOException;

import java.util.Iterator;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**

 * 将输入数据 userid1，product1  userid1，product2   userid1，product3

 * 合并成 userid1 product1,product2,product3输出

 * @author zx

 *

 */

public class CombinProductInUser {

	public static class CombinProductMapper extends Mapper<LongWritable, Text, IntWritable, Text>{

		@Override

		protected void map(LongWritable key, Text value,Context context)

				throws IOException, InterruptedException {

			String[] items = value.toString().split(",");

			context.write(new IntWritable(Integer.parseInt(items[0])), new Text(items[1]));

		}

	}

	public static class CombinProductReducer extends Reducer<IntWritable, Text, IntWritable, Text>{

		@Override

		protected void reduce(IntWritable key, Iterable<Text> values,Context context)

				throws IOException, InterruptedException {

			StringBuffer sb = new StringBuffer();

			Iterator<Text> it = values.iterator();

			sb.append(it.next().toString());

			while(it.hasNext()){

				sb.append(",").append(it.next().toString());

			}

			context.write(key, new Text(sb.toString()));

		}

	}

	@SuppressWarnings("deprecation")

	public static boolean run(Path inPath,Path outPath) throws IOException, ClassNotFoundException, InterruptedException{

		Configuration conf = new Configuration();

		Job job = new Job(conf,"CombinProductInUser");

		job.setJarByClass(CombinProductInUser.class);

		job.setMapperClass(CombinProductMapper.class);

		job.setReducerClass(CombinProductReducer.class);

		job.setOutputKeyClass(IntWritable.class);

		job.setOutputValueClass(Text.class);

		FileInputFormat.addInputPath(job, inPath);

		FileOutputFormat.setOutputPath(job, outPath);

		return job.waitForCompletion(true);

	}

}

package xian.zhang.core;

import java.io.IOException;

import org.apache.hadoop.fs.Path;

public class Main {

	public static void main(String[] args) throws ClassNotFoundException, IOException, InterruptedException {

		if(args.length < 2){

			throw new IllegalArgumentException("要有两个參数，数据输入的路径和输出路径");

		}

		Path inPath1 = new Path(args[0]);

		Path outPath1 = new Path(inPath1.getParent()+"/CombinProduct");

		Path inPath2 = outPath1;

		Path outPath2 = new Path(args[1]);

		if(CombinProductInUser.run(inPath1, outPath1)){

			System.exit(ProductCo_occurrenceMatrix.run(inPath2, outPath2)?0:1);

		}

	}

}

ShopxxUserRecommend<同样购物喜好的好友推荐>

整个项目分两部，一，以商品对用户进行分组，二，求出用户的同现矩阵。

原理和ShopxxProductRecommend一样

以下附上代码

package xian.zhang.common;

import java.util.regex.Pattern;

public class Util {

	 public static final Pattern DELIMITER = Pattern.compile("[\t,]");

}

package xian.zhang.core;

import java.io.IOException;

import java.util.Iterator;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**

 * 将输入数据 userid1，product1  userid1，product2   userid1，product3

 * 合并成 productid1 user1,user2,user3输出

 * @author zx

 *

 */

public class CombinUserInProduct {

	public static class CombinUserMapper extends Mapper<LongWritable, Text, IntWritable, Text>{

		@Override

		protected void map(LongWritable key, Text value,Context context)

				throws IOException, InterruptedException {

			String[] items = value.toString().split(",");

			context.write(new IntWritable(Integer.parseInt(items[1])), new Text(items[0]));

		}

	}

	public static class CombinUserReducer extends Reducer<IntWritable, Text, IntWritable, Text>{

		@Override

		protected void reduce(IntWritable key, Iterable<Text> values,Context context)

				throws IOException, InterruptedException {

			StringBuffer sb = new StringBuffer();

			Iterator<Text> it = values.iterator();

			sb.append(it.next().toString());

			while(it.hasNext()){

				sb.append(",").append(it.next().toString());

			}

			context.write(key, new Text(sb.toString()));

		}

	}

	@SuppressWarnings("deprecation")

	public static boolean run(Path inPath,Path outPath) throws IOException, ClassNotFoundException, InterruptedException{

		Configuration conf = new Configuration();

		Job job = new Job(conf,"CombinUserInProduct");

		job.setJarByClass(CombinUserInProduct.class);

		job.setMapperClass(CombinUserMapper.class);

		job.setReducerClass(CombinUserReducer.class);

		job.setOutputKeyClass(IntWritable.class);

		job.setOutputValueClass(Text.class);

		FileInputFormat.addInputPath(job, inPath);

		FileOutputFormat.setOutputPath(job, outPath);

		return job.waitForCompletion(true);

	}

}

package xian.zhang.core;

import java.io.IOException;

import java.util.Iterator;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import xian.zhang.common.Util;

/**

 * 用户的同先矩阵

 * @author zx

 *

 */

public class UserCo_occurrenceMatrix {

	public static class Co_occurrenceMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

		IntWritable one = new IntWritable(1);

		@Override

		protected void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException {

			String[] products = Util.DELIMITER.split(value.toString());

			for(int i=1;i<products.length;i++){

				for(int j=1;j<products.length;j++){

					if(i != j){

						context.write(new Text(products[i] + ":" + products[j]), one);

					}

				}

			}

		}

	}

	public static class Co_occurrenceReducer extends Reducer<Text, IntWritable, NullWritable, Text>{

		NullWritable nullKey =NullWritable.get();

		@Override

		protected void reduce(Text key, Iterable<IntWritable> values,Context context)

				throws IOException, InterruptedException {

			int sum = 0;

			Iterator<IntWritable> it = values.iterator();

			while(it.hasNext()){

				sum += it.next().get();

			}

			context.write(nullKey, new Text(key.toString().replace(":", ",") + "," + sum));

		}

	}

	@SuppressWarnings("deprecation")

	public static boolean run(Path inPath,Path outPath) throws IOException, ClassNotFoundException, InterruptedException{

		Configuration conf = new Configuration();

		Job job = new Job(conf,"UserCo_occurrenceMatrix");

		job.setJarByClass(UserCo_occurrenceMatrix.class);

		job.setMapperClass(Co_occurrenceMapper.class);

		job.setReducerClass(Co_occurrenceReducer.class);

		job.setMapOutputKeyClass(Text.class);

		job.setMapOutputValueClass(IntWritable.class);

		job.setOutputKeyClass(NullWritable.class);

		job.setOutputKeyClass(Text.class);

		FileInputFormat.addInputPath(job, inPath);

		FileOutputFormat.setOutputPath(job, outPath);

		return job.waitForCompletion(true);

	}

}

package xian.zhang.core;

import java.io.IOException;

import org.apache.hadoop.fs.Path;

public class Main {

	public static void main(String[] args) throws ClassNotFoundException, IOException, InterruptedException {

		if(args.length < 2){

			throw new IllegalArgumentException("要有两个參数，数据输入的路径和输出路径");

		}

		Path inPath1 = new Path(args[0]);

		Path outPath1 = new Path(inPath1.getParent()+"/CombinUser");

		Path inPath2 = outPath1;

		Path outPath2 = new Path(args[1]);

		if(CombinUserInProduct.run(inPath1, outPath1)){

			System.exit(UserCo_occurrenceMatrix.run(inPath2, outPath2)?0:1);

		}

	}

}

代码在github上有

git@github.com:chaoku/ShopxxProductRecommend.git

hadoop实现购物商城推荐系统的更多相关文章

微信小程序购物商城系统开发系列-目录结构
上一篇我们简单介绍了一下微信小程序的IDE(微信小程序购物商城系统开发系列-工具篇),相信大家都已经蠢蠢欲试建立一个自己的小程序,去完成一个独立的商城网站. 先别着急我们一步步来,先尝试下写一个自己的 ...
Python开发程序：ATM+购物商城
一.程序要求模拟实现一个ATM + 购物商城程序额度 15000或自定义实现购物商城,买东西加入购物车,调用信用卡接口结账可以提现,手续费5% 每月22号出账单,每月10号为还款日,过期未还 ...
ThinkPHP 购物商城网站（数据库中增删改查的功能实现）——————重点——————
控制器 ---------------------GoodsController.class.php------------------------------------------------- ...
微信小程序购物商城系统开发系列
微信小程序购物商城系统开发系列微信小程序开放公测以来,一夜之间在各种技术社区中就火起来啦.对于它估计大家都不陌生了,对于它未来的价值就不再赘述,简单一句话:可以把小程序简单理解为一个新的操作系统. ...
python_day2_homework_1（简单购物商城）
'''简单购物商城(要求):1,商品展示,价格2,买,加入购物车3,付款,钱不够''' 1 #_*_ coding: utf-8 _*_ __author__ = 'A-rno' meu_list_1 ...
python 信用卡系统+购物商城见解
通过完成信用卡系统+购物商城使自己在利用字典和列表方面有了较大的提升,感悟很深, 下面将我对此次作业所展示的重点列表如下: #!/usr/bin/env python3.5 # -*-coding ...
模拟实现一个ATM+购物商城程序
记得上次小编上传了一个购物车程序,这次呢稍微复杂一点,还是那句话,上传在这里不是为了炫耀什么,只是督促小编学习,如果大神有什么意见和建议,欢迎指导.(PS:本次主要参考学习为主,自己原创的很少) 要求 ...
python_项目_ATM和购物商城的程序
1 需求模拟实现一个ATM + 购物商城程序额度15000或自定义实现购物商城,买东西加入购物车,调用信用卡接口结账可以提现,手续费5% 支持多账户登录支持账户间转账记录每月日常消费流水 ...
模拟实现ATM+购物商城程序
流程图: 需求: ATM:模拟实现一个ATM + 购物商城程序额度 15000或自定义实现购物商城,买东西加入购物车,调用信用卡接口结账可以提现,手续费5%支持多账户登录支持账户间转账记录每月日常消 ...

随机推荐

leetcode 113. Path Sum II (路径和) 解题思路和方法
Given a binary tree and a sum, find all root-to-leaf paths where each path's sum equals the given su ...
多校连萌15-8-12#A
#include <cstdio> #include <iostream> #include <algorithm> #include <queue> ...
HTTP网络协议(四)
确保Web安全的HTTPS HTTP存在三个比较明显的缺点: 通信使用明文(不加密),内容可能会被窃听. 不验证通信方的身份,因此有可能遭遇伪装. 无法证明报文的完整性,所以可能已遭篡改. 尽管HT ...
编程一一C语言问题,指针函数与函数指针
资料来源于网上: 一.指针函数:指返回值是指针的函数类型标识符 *函数名(参数表) int *f(x,y); 首先它是一个函数,只不过这个函数的返回值是一个地址值.函数返 ...
关于HEXO安装失败的解决方法
目前国内npm源有问题:所以键入如下代码即可安装成功: npm install -g cnpm --registry=https://registry.npm.taobao.org cnpm inst ...
10.9 android输入系统_APP跟输入系统建立联系和Dispatcher线程_分发dispatch
12. 输入系统_APP跟输入系统建立联系_InputChannel和Connection核心: socketpair // 第9课第3节_输入系统_必备Linux编程知识_任意进程双向通信(scok ...
《Springboot极简教程》问题解决：Springboot启动报错 Whitelabel Error Page： This application has no explicit mapping for(转)
13.2 Spring Boot启动报错:Whitelabel Error Page 13.2 Spring Boot启动报错:Whitelabel Error Page 问题描述 Whitelabe ...
xmppframework开发基础
xmppframework是XMPP协议的一个objective-c实现. 要了解xmppframework, 从这里開始吧:https://github.com/robbiehanson/XMPPF ...
The behavior of App killed or restored by Android System or by users
What's the behavior of App killed or restored by Android System or by users? First, user kills the a ...
trident原理及编程指南
目录 trident原理及编程指南一.理论介绍 1.trident是什么? 2.trident处理单位 3.事务类型二.编程指南 1.定义输入流 2.统计单词数量 3.输出统计结果 4.split ...

hadoop实现购物商城推荐系统

hadoop实现购物商城推荐系统的更多相关文章

随机推荐

热门专题