首页 > 经验 > 关键词  > 程序设计最新资讯  > 正文

Facebook图片存储架构的学习

2012-04-29 21:02 · 稿源:biaodianfu.com

《Facebook图片存储架构的学习》文章已经归档,站长之家不再展示相关内容,下文是站长之家的自动化写作机器人,通过算法提取的文章重点内容。这只AI还很年轻,欢迎联系我们帮它成长:

对于每一个上传的照片,Facebook都生成并存储四个大小不同的图像,从而转化为共60亿张照片,总容量超过1.5PB...

因为每张照片都以文件形式单独存储,大量为目录及文件在NFS存储层上产生了大量的元数据,这个规模的元数据量远远超过了超过了NFS存储层的缓存上限,导致每次招聘请求会上传都包含多次I/O操作...

在haystack存储文件中有每针相应的的索引记录,并且包含针索引记录的顺序必须和haystack存储文件相关的针的顺序相匹配...

接着上传服务器通知照片存储服务器将这些资料连同图片存储到haystack中...

Haystack是一个基于HTTP的对象存储,包含指向实体数据的指针,该架构消除了文件系统元数据的开销,并实现将全部索引直接存储到缓存,以最小的I/O操作实现对照片的存储和读取...

......

本文由站长之家用户“biaodianfu.com”投稿,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完整的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请联系作者获取原文。

举报

  • 相关推荐
  • iOS 17新功能:长截图图片可保存为图片格式

    苹果于昨天发布了iOS17系统更新,其中包括对长截图图片保存功能的改进。在过去的iOS16版本中,长截图的保存格式为PDF文件。同比下降幅度明显,相比iPhone14系列首年销量保持了相当大的差距。

  • 千万人围观「烧焦婴儿」图片!伯克利教授辟谣:AI图片检测器无用

    【新智元导读】AI无法打败AI,不是没有道理。上千万人围观的婴儿死亡照片,AI检测工具竟无法给出一致答案。在AI模型加速迭代当下,想要有「火眼金睛」太难了。

  • 基于LLM + SDXL开发的免费AI漫画生成器AI Comic Factory 生成图片支持无损放大

    AIComicFactory是一个免费开源的AI漫画生成器,使用LLMSDXL开发。它能够根据用户提供的提示词生成漫画,并支持无损放大、保存和打印。这种灵活性使更多人能够尝试并享受漫画创作。

  • 清华芯片新突破登Science,获评“存算一体领域重大进展”!基于类脑架构实现上快速AI学习

    清华最新芯片成果,登上Science!全球首颗全系统集成、支持高效片上学习的忆阻器存算一体芯片,正式问世。它集合了记忆、计算和学习能力。Science编辑表示,基于忆阻器的芯片技术近期受到非常大的关注,它有望克服冯诺依曼架构造成的算力瓶颈。

  • ChatGPT大升级:支持图片和语音输入 严格限制被诈骗利用

    近日OpenAI宣布推出新版ChatGPT,增加了两项新功能:语音输入和图像输入。据OpenAI称,新功能将在未来两周内向ChatGPTPlus订阅用户推出,其他人也将很快”能够使用这些功能。语音功能将在iOS和Android平台推出,图像功能将覆盖所有平台。

  • 谷歌提出生成式像动力学:让静态图片动起来

    谷歌团队最新提出「生成图像动力学」,这项研究提出了一种基于图像空间的场景动力学先验模型。该模型可以将单张静态图片转换成无缝循环视频,或者用于与图片中的对象进行交互。该研究为基于单张图片合成视频开辟了新的思路。

  • 报道称Midjourney存在漏洞 用户可绕过生成违规图片

    据itbusiness报道,近期,一项新的研究揭示了Midjourney图片生成器存在的严重安全漏洞,这可能引发一场新的争议。MidjourneyMI作为一款生成式人工智能平台,在其服务条款中明确禁止用户制作任何侮辱性或攻击性的图片。过去几个月,人工智能技术被广泛用于政治宣传,但同时也引发了关于虚假信息和误导性图片的忧虑。

  • 联手惠普!谷歌将在印度生产笔记本电脑Chromebook

    谷歌母公司Alphabet的首席执行官SundarPichai最近表示,将与惠普合作,在印度生产笔记本电脑Chromebook。Chromebook将在印度南部钦奈附近的FlexLtd.工厂生产,惠普自2020年以来一直在那里生产笔记本电脑和台式电脑。该公司希望在寻求建设一家电动汽车生产厂的同时,建造一家电池储能生产工厂。

  • 微信内测图片跳转小程序功能

    微信开始在小范围内测试一项新功能,即通过图片直接跳转到小程序。当在微信小程序页面截图并将图片转发给微信好友或群聊,包括“文件传输助手”时,自己或对方点开大图查看时,会在右下方新增一个跳转按钮,对应图片所关联的小程序页面。对于商家和开发者来说,这也将为他们提供更多展示和推广小程序的机会,从有可能增加用户的使用率和黏性。

  • 2张图片1天能卖10w+!这钱到底谁在捡啊?

    “我不敢出镜,也不会拍视频,在抖音上卖货赚钱这碗饭,我是吃不上了,诶!”“小美不是也都不会吗,听说她最近在抖音带货赚得很不错啊~”“骗人的吧?”是真的!不用直播,不拍视频,两张图片,就能带货!从蝉妈妈最近新上线的「图文带货榜」日榜中可以看到,前10名中,有6位的粉丝都不到5w,如低粉达人@海菲好物仅用一条图文,1天就卖出了10w-25w的销售额,勇夺10月9�