作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.把python爬取的数据传到linux 2.把数据的逗号代替为 \t转义字符 3.启动hadoop集群 4.启动hive 5.创建数据库 6.创建表并把hdfs的数据导入表中  7.统计数据一共有1124条 8.列出前20名观众分数和时间 9.列出前20名观众的评论 10.统计评论分数大于4分(总5分)的评论条数,大部分是大于4分,说明 <千与千寻>的好评率很

作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 Hadoop综合大作业 1.以下是爬虫大作业产生的csv文件 把csv上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导入到数据仓库Hive中,在Hive中查看并分析数据. 4.用Hive对爬虫大作业产生的进行数据分析 查询公司的类型,对公司的整体情况进行一个对比,了解哪些公司更具发展性: 根据岗位的类型查询.此处

1.数据准备 2.把CSV添加到/bigdatacase/dataset中 3.检查前5行并删除第一行 4.将csv文件导入hadoop并检查前10行数据情况 5.数据文件导入hive 6.在Hive中查看并分析数据 统计出用户所找小区数量最多的10个小区 可见未来世界花园小区深受人们居住的首选 7.:出现的问题解决:在HIVE中进行查询时,会出现“无法分配内存”,后来内存调了解决问题 8.使用jieba根据字典分词,字典中存放了东莞所有镇区名字, wordcloud生成词云图. 9.XGeoc

Hadoop综合大作业 要求: 用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计. 用Hive对爬虫大作业产生的csv文件进行数据分析 1. 用Hive对爬虫大作业产生的文本文件 这里的具体操作步骤如下: 将网页上的歌词段落爬取下来 通过jieba分词后将结果用txt文件保存, 将txt文件放入Hadoop分布式文件系统 使用hive将文件作为表数据导入 使用hive查询统计歌词中单词的出现次数 首先,Python爬虫程序代码如下: import jieba i

作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件上传到HDFS 此处选取的是爬虫大作业——对猫眼电影上<小偷家族>电影的影评. 此处选取的是comment.csv文件,共计20865条数据. 将comment.csv上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 编辑pre_deal.sh文件对csv文件进行数据预处理. 使得pr

作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 一.Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件上传到HDFS 爬取的数据总共有10个表格(分别是不同类别) 2.对CSV文件进行预处理生成无标题文本文件 对字段进行预处理: 查看生成的table.txt: 3.把hdfs中的文本文件最终导入到数据仓库Hive中 启动hdfs: 4.在Hive中查看并分析数据 5.用Hive对爬虫大作业产生的

作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 我主要的爬取内容是关于热门微博文章“996”与日剧<我要准时下班>的联系,其中包括两个csv文件— —996与<我要准时下班>.csv与996与<我要准时下班>uid.csv.其中996与<我要准时下班>.csv的内容是用户的id.发表微博的内容.微博的点赞数,996与<我要准时下班>.csv的内容是基于996

本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 前言 本次作业是在<爬虫大作业>的基础上进行的,在<爬虫大作业>中,我主要对拉勾网python岗位的招聘信息进行的数据爬取,最终得到了2641条数据存在一个名为lagoupy.xls中.本次作业的任务主要有以下三点: 1.对CSV文件进行预处理生成无标题文本文件,将爬虫大作业产生的csv文件上传到HDFS 2.把hdfs中的文本文件最终导入到

Hadoop综合大作业 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件上传到HDFS 爬取豆瓣网战狼2电影的影评数据 把爬取到的csv文件存放到ubuntn系统中,并创建存放的文件夹bigdatacase.dataset: 把下载好的影评test.csv文件文本拷贝到dataset目录下并查看文件 查看文件的前五条数据 删除表头 2.对CSV文件进行预处理生成无标题文本文件 每个

作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 本次作业是在期中大作业的基础上利用hadoop和hive技术进行大数据分析 1. 准备数据(下图为SCV截图): 把CSV添加到/bigdatacase/dataset中 查看前十条数据看是否添加成功 可以看到已经添加成功了 表格预处理: 删除第一行表头并查看是否删除成功: 编辑pre_deal.sh以进行文件预处理: #!/bin/bashinfile=$1o

作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 此次作业选取的是爬虫<人性的弱点全集>短评数据生成的cm.csv文件:爬取的数据总数为10991条. cm.csv文件数据如下图所示: 将cm.csv文件上存到HDFS 2.对CSV文件进行预处理生成无标题文本文件 csv文件数据预处理,删除第一行字段名称 编辑pre_deal.sh文件进行数据的取舍处理 让p

本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一.课程评分标准: 分数组成: 考勤 10 平时作业 30 爬虫大作业 25 Hadoop生态安装与配置 10 分布式文件系统HDFS 分布式并行计算MapReduce Hadoop综合大作业 25 评分标准: 难易程度 数据量 文章质量:描述.分析与总结 1.将爬虫大作业产生的csv文件上传到HDFS

软件工程大作业(学生会管理系统)Web端个人总结报告 一.小组信息 1.所在小组:第二组 2.小组选题:学生会管理系统 3.项目源代码链接: Web端源代码:code 小程序端源代码:code APP端源代码:code 后端源代码:code 4.项目各类文档链接 项目相关文档管理(会议记录,需求文档,API文档):doc 墨刀原型:model 相关博客文章 需求文档:doc 各类图:doc 原型展示:doc 二.项目中本人工作介绍 本次课程团体大作业,本人具体工作主要有一下三项: 1.Web端的

作业要求源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一.将爬虫大作业产生的csv文件上传到HDFS (1)在/usr/local路径下创建bigdatacase目录,bigdatacase下创建dataset目录,再在 windows 通过共享文件夹将爬取的census_all_data.csv文件传进 Ubuntu ,使用cp命令讲census_all_data.csv文件复制到/usr/local/bigda

Hadoop的编程可以是在Linux环境或Winows环境中,在此以Windows环境为示例,以Eclipse工具为主(也可以用IDEA).网上也有很多开发的文章,在此也参考他们的内容只作简单的介绍和要点总结. Hadoop是一个强大的并行框架,它允许任务在其分布式集群上并行处理.但是编写.调试Hadoop程序都有很大难度.正因为如此,Hadoop的开发者开发出了Hadoop Eclipse插件,它在Hadoop的开发环境中嵌入了Eclipse,从而实现了开发环境的图形化,降低了编程难度.在安装

学习慕课网的视频:Hadoop大数据平台架构与实践--基础篇http://www.imooc.com/learn/391 一.第一章 #,Hadoop的两大核心:     #,HDFS,分布式文件系统,存储海量的数据:     #,MapReduce,并行计算框架,实现任务分解和调度: #,Hadoop的优势有哪些呢?     #,高扩张:     #,低成本,不依赖于高端硬件,只要普通pc就可以了,使用软件的容错就可以保证系统的可靠性:     #,有成熟的生态圈,主要是依赖于开源的力量,比如

一.要求 作业题目 Linux下的多进程/线程网络通信 作业目标 要求学生熟练掌握<Linux编程>课程中的知识点,包括Linux常用命令.bash脚本.编译和调试环境.读写文件.进程间通信和网络编程等.基于以上知识点,分组编程完成本作业的具体要求. 问题描述 图1 Linux编程大作业示意图 网络数据的抓取和分析已经成为通信大数据分析的重要内容之一.本作业要求在Linux下使用C语言实现一个抓取并分析网络数据的软件系统.该系统采用客户端和服务器端开发模式. 在客户端,设计两个进程P1和P2同

Hadoop大数据——随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在不断的加快.信息更是爆炸性增长,收集,检索,统计这些信息越发困难,必须使用新的技术来解决这些问题.大数据由巨型数据组成,这些数据集大小超出人类在可接受时间下的收集,使用,管理和处理能力.把数据集合并进行分析可得出许多额外的信息和数据关系性,可用来察觉商业趋势,判定研究质量,避免疾病扩散,打击犯罪或测定及时交通路况等,这样的用途正是大型数据集盛行的原因.从各种各样类型的数据中,快速获得有价

一.Hadoop原理介绍 1.请参考原理篇:Hadoop1-认识Hadoop大数据处理架构 二.centos7单机部署hadoop 前期准备 1.创建用户 [root@web3 ~]# useradd -m hadoop -s /bin/bash #---创建hadoop用户 [root@web3 ~]# passwd hadoop #---创建密码 Changing password for user hadoop. New password: BAD PASSWORD: The passwo

大作业项目简介 在如今的信息科技时代, 带有拍照功能的移动设备如手机.相机等得到了极大的普及和流行, 各种各样的图片和视频可以随时随地获得, 并借助互联网快速传播, 这种趋势使得网络上的数字图片和视频数据呈现出爆炸式的增长. 大量的数字图像信息给人们生产生活带来了许多便利的同时, 也给海量图像数据管理带来了挑战, 研究从海量的图像数据库中高效地查询到感兴趣的图像的技术变得越来越重要, 这种从图像数据库中查找给定图像的技术称为图像检索. 当前的图像检索方法按照数据有无标注可以划分为:监督.无监督.

一个执着于技术的公众号 前言 今天来为粉丝圆梦啦 话不多说,咱直接进入实战环节 实验环境: 主机名        IP地址                 角色 qll251       192.168.1.251   NameNode qll252       192.168.1.252   DataNode1 qll253       192.168.1.253   DataNode2 所需软件包: hadoop-2.9.2.tar.gz jdk-8u241-linux-x64.tar.gz