博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop入门(7)_NameNode的工作特点
阅读量:7102 次
发布时间:2019-06-28

本文共 797 字,大约阅读时间需要 2 分钟。

hot3.png

namenode始终在内存中保存metedata(整个文件系统的目录结构,每个目录有哪些文件,每个文件有哪些分块及每个分块保存在哪个DataNode上),用于处理“读请求”(不需要修改内容)

到有“写请求”到来时,namenode会首先对metedata修改的内容写editlog到磁盘(每一次改变都会同步到磁盘。),成功返回后,才会修改内存,并且向客户端返回。客户端在写数据到每个datanode中。
namenode在将metadata写到editlog的时候会同步到磁盘。

Hadoop会维护一个fsimage文件,也就是namenode中metedata的镜像,但是fsimage不会随时与namenode内存中的metedata保持一致(因为非常大),而是每隔一段时间通过合并editlog来更新内容。Secondary namenode就是用来更新fsimage的  

secondary namenode的工作流程

1.Secondary通知primary切换editlog(目的合并editlog)
2.Secondary从primary获得fsimage和editlog(通过http)
3.Secondary将fsimage载入内存,然后开始合并editlog
4.Secondary将新的fsimage发回给primary
5.Primary用新的fsimage替换旧的fsimage

 

什么时候checkpiont

fs.checkpoint.period 指定两次checkpoint的最大时间间隔,默认3600秒。
fs.checkpoint.size 规定edits文件的最大值,一旦超过这个值则强制checkpoint,不管是否到达最大时间间隔。默认大小是64M。

 

 

 

转载于:https://my.oschina.net/cuitongliang/blog/153543

你可能感兴趣的文章
mysql导入报错Variable 'sql_notes' can't be set to the value of 'NULL'
查看>>
升级Xcode8之后 XMPP 遇到重定义的问题 Redefinition of module 'dnssd'
查看>>
RHEL6.4 KVM虚拟化网卡桥接,PXE无人值守安装虚拟机
查看>>
我的友情链接
查看>>
PDF转换为SWF
查看>>
Maven项目下update maven后Eclipse报错:java.lang.ClassNotF
查看>>
linux开机启动流程
查看>>
Sublime Text Build 3017 x86 dev版发布
查看>>
JS判断移动端访问设备并解析对应CSS
查看>>
文件操作类2
查看>>
思科交换机端口安全
查看>>
【书签】ionic mobile app development framework
查看>>
中间固定两侧自适应三栏布局
查看>>
技术人员,你拿什么拯救你的生活----温水煮青蛙
查看>>
Setting up a development WebSphere MQ server
查看>>
android app(cordova)是否支持socket.io client
查看>>
grep的使用
查看>>
dnn|dotnetnuke 获取用户信息
查看>>
python curses库
查看>>
Yahoo!网站性能最佳体验的34条黄金守则之JavaScript和CSS
查看>>