搜索

[[ JAVAee/JAVASEE ]] Hbase+Spring boot实战分布式文件存储

[复制链接]
查看: 4018|回复: 174

897

主题

2

好友

7653

积分

神功绝世

Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20

积分
7653
发表于 2018-5-28 09:30:01 | 显示全部楼层 |阅读模式
教程内容:熟悉boot就可以入手这门课,如果熟悉Linux基本命令 ,稍微了解些了解Hadoop 会更好,对hdfs不了解也关系不大。我们都知道hdfs有一个数据块(block)的概念。而数据块一般都设置为128m。 hdfs本身其实是不适合存储小文件的。因为小文件也会独占一个数据块。对namenode的内存造成浪费。我们日常应用的数据比如一些文本,图片等等非结构化的数据的存储和管理应该怎么去做呢?或者说我们如何提供一个对象存储服务。对象存储服务我们也有一直在用。我们的重点呢还是在于hbase可以做这个事情。我们要学习hbase,要用hbase来做这个事情。 项目的功能范围到在其次。在课程中有讲到协处理器,并进行开发实战。在实际项目中,一般我们会通过自己在另外的数据库比如MySQL或者是搜索引擎比如elasticsearch或者solr进行实现。Ad Hoc是非定制化,用户可以根据自己需求自定义执行的查询。HBase是可以支持这部分工作的。但是hbase本身对于多个条件的查询支持不好。 本门课程还提到了Phoenix,可以通过SQL的方式去操作hbase,那么即席查询就更不在话下了。 springboot是我们常用的一个web框架,我们可以将两者结合使用,同理我们也可以用其他web框架甚至其他语言。
1-2.png
1-1.png


教程目录:
1.课程简介
课程简介及期望学习本门课程可以达到的目标。对本门课程所用到的技术进行概览
2.HBase简介与环境部署
介绍HBase是什么,能做什么,有哪些优缺点,适用于哪些应用场景,与常用关系数据库有什么不同。并配置安装Hadoop伪分布式集群,HBase伪分布式集群。为后面章节实战测试提供环境支持。
3.HBase原理与实战
介绍HBase基础原理,以读写流程为引,结合前面集群部署所展现的HBase三大模块,讲解HBase各个模块之间的协作,帮助我们了解HBase的运行机制。并对HBase进行实战操作,讲解基本的shell命令及JAVA api。重点讲解如何通过过滤器筛选数据...
4.HBase进阶
讲解HBase的高级特性,常用的优化策略,协处理器等,并实战开发协处理器,将开发的协处理器加载到HBase测试环境,验证其功能
5.容灾与监控
HBase容灾策略的简要介绍,配合命令演示如何对数据进行备份和恢复。简要介绍HBase的监控重要性以及常用的监控方式。实战开发通过jmx获取HBase运行时数据,监控集群状态
6.Phoenix & Sqoop
HBase相关工具的介绍和使用,重点讲解Phoenix和Sqoop。并对两者进行实战操作。
7.需求分析与技术选型
对象存储服务项目的需求分析及技术选型
8.功能梳理与方案设计
对象存储服务功能点梳理以及实现方案的设计,讨论两种设计方案的优缺点,进行正式开发前期准备工作。
9.子模块-数据库操作模块
hos服务基础数据库选用mysql,实现基于Mybatis的对mysql数据库的操作模块
10.子模块-用户管理模块
Hos服务用户管理模块开发,包含对用户的增删改查操作
11.子模块-权限管理模块
Hos服务权限管理模块开发,包含对Token的增删该查以及授权操作
12.子模块-文件管理模块
Hos服务核心模块 文件管理模块开发,包含Bucket的增删改查以及对设计方案一中 HBase相关的操作。
13.子模块-接口模块
Hos服务接口模块的开发,完成登录认证,权限验证以及各个功能的restful API
14.子模块-SDK模块
Hos服务SDK模块开发及测试
15.课程总结
对整个课程的所用到的理论,技术做一个简单的回顾总结,提出优化的空间


下载地址:

游客,如果您要查看本帖隐藏内容请回复

输入你的邮箱订阅论坛最新动态,还有机会免费获得VIP会员的机会哦~

回复

使用道具 举报

5

主题

0

好友

364

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
364
发表于 2018-5-28 09:34:38 | 显示全部楼层
论坛不能没有像楼主这样的人才啊!我会一直支持龙天论坛
回复 支持 反对

使用道具 举报

4

主题

0

好友

189

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
189
发表于 2018-5-28 09:34:50 | 显示全部楼层

论坛不能没有像楼主这样的人才啊!我会一直支持龙天论坛。
回复 支持 反对

使用道具 举报

3

主题

0

好友

271

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
271
发表于 2018-5-28 09:35:18 | 显示全部楼层
好好学习天天向上!好好学习天天向上!好好学习天天向上!
回复 支持 反对

使用道具 举报

3

主题

0

好友

255

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
255
发表于 2018-5-28 09:43:17 | 显示全部楼层
楼主太厉害了!楼主,I*老*虎*U!我觉得龙天论坛真是个好地方!
回复 支持 反对

使用道具 举报

8

主题

2

好友

476

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
476
发表于 2018-5-28 09:57:46 | 显示全部楼层
RE: Hbase+Spring boot实战分布式文件存储 [修改]RE: Hbase+Spring boot实战分布式文件存储 [修改]RE: Hbase+Spring boot实战分布式文件存储 [修改]RE: Hbase+Spring boot实战分布式文件存储 [修改]RE: Hbase+Spring boot实战分布式文件存储 [修改]
回复 支持 反对

使用道具 举报

4

主题

0

好友

211

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
211
发表于 2018-5-28 09:59:38 | 显示全部楼层
感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享
回复 支持 反对

使用道具 举报

9

主题

0

好友

396

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
396
发表于 2018-5-28 10:12:36 | 显示全部楼层
既然你诚信诚意的推荐了,那我就勉为其难的看看吧!龙天论坛不走平凡路。
回复 支持 反对

使用道具 举报

0

主题

1

好友

247

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
247
发表于 2018-5-28 10:14:45 | 显示全部楼层
Hbase+Spring boot实战分布式文件存储
回复 支持 反对

使用道具 举报

47

主题

1

好友

220

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
220
发表于 2018-5-28 10:21:59 | 显示全部楼层
Thank you man Thank you man Thank you man
回复 支持 反对

使用道具 举报

10

主题

1

好友

319

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
319
发表于 2018-5-28 11:02:09 | 显示全部楼层
论坛不能没有像楼主这样的人才啊!我会一直支持龙天论坛。
回复 支持 反对

使用道具 举报

7

主题

0

好友

133

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
133
发表于 2018-5-28 11:02:12 | 显示全部楼层
6666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666
回复 支持 反对

使用道具 举报

5

主题

1

好友

215

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
215
发表于 2018-5-28 11:15:53 | 显示全部楼层
这东西我收了!谢谢楼主!龙天论坛真好!
回复 支持 反对

使用道具 举报

5

主题

0

好友

567

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
567
发表于 2018-5-28 11:18:27 | 显示全部楼层
非常感谢楼主提供资源
回复 支持 反对

使用道具 举报

2

主题

0

好友

140

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
140
发表于 2018-5-28 11:25:30 | 显示全部楼层
Hbase+Spring boot实战分布式文件存储
回复 支持 反对

使用道具 举报

4

主题

0

好友

1002

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
1002
发表于 2018-5-28 11:38:32 来自手机 | 显示全部楼层
Hbase+Spring boot实战分布式文件存储
回复 支持 反对

使用道具 举报

0

主题

0

好友

225

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
225
发表于 2018-5-28 11:49:10 | 显示全部楼层
感谢楼主分享!!!!
回复 支持 反对

使用道具 举报

5

主题

0

好友

340

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
340
发表于 2018-5-28 12:05:46 | 显示全部楼层
论坛不能没有像楼主这样的人才啊!我会一直支持龙天论坛
回复 支持 反对

使用道具 举报

7

主题

0

好友

208

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
208
发表于 2018-5-28 12:23:36 | 显示全部楼层
很好很强大上很好很强大上很好很强大上
回复 支持 反对

使用道具 举报

3

主题

0

好友

791

积分

赞助会员

Rank: 14Rank: 14Rank: 14Rank: 14

积分
791
发表于 2018-5-28 12:30:10 | 显示全部楼层
这个帖子不回对不起自己!我想我是一天也不能离开龙天论坛
回复 支持 反对

使用道具 举报

 懒得打字嘛,点击右侧快捷回复【左侧自定义内容】 
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

在线客服
快速回复 返回顶部 返回列表