来到千锋参加大数据培训学习技术已经有一段时间了，经过一段时间的接触，才深深明白，大数据技术学习并不比编程学习简单，其中包含的技术知识太多了，需要具备的学科知识也非常广泛。

　　比如说：想要学习大数据技术，思维上一定要有逻辑性;在学科知识上，数学和统计学等技术知识是必备的，还有就是一些重要的编程语言，至少要熟练掌握一门编程的，我是学习的java，目前刚刚介入到Hadoop的学习过程中，今天给大家分享的是在千锋学习的大数据技术知识——HDFS架构与基本存储单元。

　　对于 HDFS 架构来说，一个 HDFS 基本集群包括两大部分，即 NameNode 与 DataNode节点，其作用是将管理与工作进行分离。通常来说，一个集群中会有一个 NameNode 与若干个 DataNode。 NameNode 是一个集群的主服务器，主要是用于对 HDFS 中所有的文件及内容数据进行维护，并不断读取记录集群中 DataNode 主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储。而 DataNode 是在 HDFS 集群中担任任务具体执行，是整个集群的工作节点，文件被分成若干个相同大小的数据块，分别存储在若干个 DataNode 上，DataNode 定时定期向集群内 NameNode 发送自己的运行状态与存储内容，并根据 NameNode发送的指令进行工作。

　　小提示：NameNode和DataNode可以工作在一台机器上，但是此种工作方式极大的限制了HDFS性能。

　　NameNode 负责接受客户端发送过来的信息，然后将文件存储信息位置发送给提交请求的客户端，由客户端直接与 DataNode 进行联系，进行部分文件的运算与操作。对于文件存储来说， HDFS 使用 Block(分块)来对文件的存储进行操作。对于传统磁盘存储来说，磁盘都有默认的存储单元，通常使用的是数据定义中的最小存储单元。 Block 是HDFS 的基本存储单元，默认大小是 64M，这个大小远远大于一般系统文件的默认存储大小。这样做的一个最大好处减少文件寻址时间。

　　除此之外，采用 Block 对文件进行存储，大大提高了文件的灾难生存与恢复能力， HDFS还对已经存储的 Block 进行多副本备份，将每个 Block 至少复制到 3 个相互独立的硬件上。这样做的好处就是确保在发生硬件故障的时候，能够迅速的从其他硬件中读取相应的文件数据。而具体复制到多少个独立硬件上也是可以设置的。

　　在大数据学习的道路上，这些仅仅是皮毛，还需要深入学习更多的技术，不说了，继续沉迷学习不可自拔了!

　　大数据专业是一个很值得发展的专业，发展的前景很好。对于刚毕业的大学生来说，有机会可以选择学习大数据技术，也可以通过参加千锋深圳大数据培训机构来进入大数据行业发展，通过培训，可以获得更多的项目经验。如果还有其他大数据专业的问题想要了解，可以去千锋深圳大数据培训班免费试听两周。更有免费的千锋深圳IT技术视频教程帮助学员快速学习。

上一篇

深圳UI培训课程去哪儿学比较好

下一篇

深圳Python开发培训要学多久