设为首页收藏本站

自学IT吧论坛

 找回密码
 立即注册
搜索
查看: 291|回复: 1

[其它] Hadoop不同版本有哪些

[复制链接]
  • TA的每日心情
    开心
    2018-10-24 11:39
  • 签到天数: 6 天

    [LV.2]偶尔看看I

    1

    主题

    7

    帖子

    21

    积分

    Lv1码农

    Rank: 1

    积分
    21
    发表于 2018-9-18 13:00:32 | 显示全部楼层 |阅读模式
    一、Hadoop是什么?
    首次听到hadoop这次单词,相信很多人跟我当时是一样,不免心中画上一个大大的问号——这是什么东西?Hadoop是什么?百度百科的解释是:Hadoop是一个由Apache基金会所开发的分布式系统基础架构换句话说就是hadoop一个能够对大量数据进行分布式处理软件框架
    Hadoopd之所谓会诞生,主要是由于进入到大数据时代,计算机需要处理的数据量太过庞大。这时就需要将这些庞大数据切割分配到N台计算机进行处理。当大量信息被分配到不同计算机进行处理时,要确保最终得到的结果正确就需要对这些分布处理的信息进行管理,hadoop就是这样的一套解决方案。
    通过一个简单通俗的例子说明:假如说你有一个篮子水果,你想知道苹果和梨的数量是多少,那么只要一个一个数就可以知道有多少了。如果你有一个集装箱水果,这时候就需要很多人同时帮你数了,这相当于多进程或多线程。如果你很多个集装箱的水果,这时就需要分布式计算了,也就是Hadoop
    二、hadoop的版本
    随着这几年大数据浪潮的兴起,hadoop的各种版本也快速在国内流传和使用。当前主要的hadoop版本有以下几种:
    1、Apache hadoop 2.0版本,它的模块主要有以下几个:
    (1)hadoop通用模块,支持其他hadoop模块的通用工具集;
    (2)Hadoop分布式文件系统,支持对应数据高吞吐量访问的分布式文件系统;
    (3)用于作业调度和集群资源管理的Hadoop YANRN框架;
    (4)Hadoop MapReduce,基于YARN的大数据并行处理系统
    2Cloudera hadoopCloudera版本层次更加清晰,且它提供了适用于各种操作系统的Hadoop安装包,可直接使用apt-get或者yum命令进行安装,更加省事。
    3HortonworksHortonworks 的主打产品是Hortonworks Data Platform (HDP),也同样是100%开源的产品,HDP除了常见的项目外还包含了Ambari,一款开源的安装和管理系统。HCatalog,一个元数据管理系统,HCatalog现已集成到Facebook 开源的Hive中。HortonworksStinger开创性地极大地优化了Hive项目。Hortonworks为入门提供了一个非常好的,易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干,这使得Apache Hadoop能够在包括Windows ServerWindows Azure在内的Microsoft Windows平台上本地运行。
    三、国产hadoop发行版有哪些
    国内做hadoop发行版的像华为大快搜索都有推出自己的发行版。华为在硬件上有天然的有事,华为的FusionInsight Hadoop版本基于Apache Hadoop,构建NameNodeJobTrackerHiveServerHA功能,进程故障后系统自动Failover,无需人工干预,这个也是对Hadoop的小修补,远不如MapR解决的彻底。
    大快搜索推出的DKhaoop, 是目前已知的国产发行版中唯一一个纯原生态的开发,集成了整个HADOOP生态系统的全部组件,并深度优化,重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件的有机协调。因此DKH相比开源的大数据平台,在计算性能上有了高达5倍(最大)的性能提升。

    该用户从未签到

    0

    主题

    10

    帖子

    25

    积分

    Lv1码农

    Rank: 1

    积分
    25
    发表于 2019-8-8 09:45:11 | 显示全部楼层
    好东东,谢谢楼主












    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    来自学IT吧,高薪等你拿! 立即登录 立即注册
    在线咨询
    在线咨询
    zxit_8@qq.com

    QQ|Archiver|小黑屋|自学IT吧    

    GMT+8, 2020-5-30 19:10 , Processed in 0.097732 second(s), 31 queries , Gzip On.

    © 2014-2017 自学IT吧论坛

    快速回复 返回顶部 返回列表