您现在的位置是:主页 > 数据库技术 > 数据库技术

Fuse文件系统优化的方法有哪些

IDCBT2022-01-12服务器技术人已围观

简介本篇内容介绍了“Fuse文件系统优化的方法有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大

本篇内容介绍了“Fuse文件系统优化的方法有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

优化1:延长元数据有效时间

Linux中每个打开文件在内核中拥有两种元数据信息:struct dentry和struct inode,它们是文件在内核的基础。所有对文件的操作,都需要先获取文件这两个结构方可继续下去,而这两个结构又是由具体文件系统负责构造填充。以下两点解释了元数据优化的必要性:

1).  应用程序调用文件系统操作系统接口时,传入的参数一般为文件路径,如open(“a/b/c/d.txt”),内核需要对路径名进行解析,从根目录开始,根据路径中的每个分量获取其dentry和inode,接着解析路径的下一个分量,直至解析出目的文件的inode和dentry,如果路径名分量中的dentry没有缓存在内存中,需要从具体文件系统上读出(这就耗时多了)。

2). 很多应用程序喜欢调用stat接口以获取文件属性,内核实现其实是找到文件inode,从inode中获取文件属性。如果inode没有被缓存,则需要从具体文件系统中获取(可能会很耗时)。

因为Fuse的内核模块只是一个桥梁,连接了应用程序和我们基于Fuse开发的文件系统。所以,按照道理说,每次获取文件/目录的inode以及dentry的时候Fuse内核模块都应该去LibFuse以及我们的文件系统走一遭。

但是这样做的话缺点非常明显:IO路径拉长,效率变低,而且假如我们基于fuse开发的文件系统是网络文件系统(例如NOS等),可能会导致后端服务器压力增大。

有鉴于此,Fuse的作者在Kernel Fuse模块中增加了元数据缓存,包含dentry和inode缓存。相比本地文件系统,我们必须时刻警惕一个问题:缓存有效性。所以,如何在提升性能的同时又尽量保证正确性是一个棘手的问题。

利用fuse挂载我们自己文件系统时,可指定dentry以及inode属性有效时间,当然这个有效时间得具体问题具体设置了,无统一答案。

优化方法:fuse挂载指定 –o entry_timeout=T –o attr_timeout=T

优化建议:五颗星

优化2:扩大每次写入页面数

应用程序每次对基于Fuse开发的文件系统的文件写入必先经过Kernel Fuse模块,Kernel Fuse其实是有很大权限决定何时将数据写入到用户态文件系统的。写的越频繁,效率必然越低,但一致性可能会更好,控制写入频率其实也是一个权衡的过程。

如果稍微熟悉Kernel你可能就会知道内核的IO其实是以Page为单位的。内核会将应用程序的写入请求按照PAGE_SIZE划分成多个page,然后再对page进行IO,简洁优美。

如果不作优化,Kernel Fuse对应用程序的每次page都会调用一次用户态文件系统的写操作,这样假如我们用户态的64KB的写请求,按照默认的PAGE_SIZE(4KB)可能会触发16次的用户态写,实际IO次数被放大,效率严重下降。如果采取优化,Kernel Fuse默认会每128KB才触发一次用户态文件系统写调用,当然亦可指定触发写调用的阈值。

标签:

很赞哦! ()

本栏推荐