首页 > 经验 > 关键词  > 程序设计最新资讯  > 正文

Facebook图片存储架构的学习

2012-04-29 21:02 · 稿源:biaodianfu.com

《Facebook图片存储架构的学习》文章已经归档,站长之家不再展示相关内容,下文是站长之家的自动化写作机器人,通过算法提取的文章重点内容。这只AI还很年轻,欢迎联系我们帮它成长:

对于每一个上传的照片,Facebook都生成并存储四个大小不同的图像,从而转化为共60亿张照片,总容量超过1.5PB...

因为每张照片都以文件形式单独存储,大量为目录及文件在NFS存储层上产生了大量的元数据,这个规模的元数据量远远超过了超过了NFS存储层的缓存上限,导致每次招聘请求会上传都包含多次I/O操作...

在haystack存储文件中有每针相应的的索引记录,并且包含针索引记录的顺序必须和haystack存储文件相关的针的顺序相匹配...

接着上传服务器通知照片存储服务器将这些资料连同图片存储到haystack中...

Haystack是一个基于HTTP的对象存储,包含指向实体数据的指针,该架构消除了文件系统元数据的开销,并实现将全部索引直接存储到缓存,以最小的I/O操作实现对照片的存储和读取...

......

本文由站长之家用户“biaodianfu.com”投稿,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完整的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请联系作者获取原文。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天