全球多国科研人员合作的“事件视界望远镜”项目发布了一项“开创性成果”——人类有史以来获得的第一张黑洞照片。
这张照片虽然是2019年4月10日正式对外公布，但其实拍摄于2017年，光是“冲洗”的过程就用了约两年。
为什么一张照片“洗”了两年呢？黑洞照片到底经历了什么？
信服君今天为大家解析黑洞照片冲洗难背后的技术谜题：
1、拍摄的并非是图像，而是数据。
虚拟的大望远镜阵列并非直接拍出了黑洞的图像，而是收集了大量关于黑洞的数据信息，必须经历复杂的计算机处理过程才能形成图像。其中还有些缺失或模糊的部分，需要科学家们“拼图”。
2、拍摄的数据量非常之大。
大望远镜记录下了超过10Pb的数据规模，按照每块硬盘8Tb、数据冗余度为3来计算的话，这个数据量大约是3750块硬盘的容量总和。如果使用100Mb的国际专线进行传输，大约需要3年。
3、大规模非结构化数据的存储和处理挑战巨大。
当数据规模达到Pb级别的时候，数据的储存也面临着巨大的挑战，比如：如何快速读写这些数据、如何处理几十亿数量规模的文件、如何处理硬盘故障所导致的可靠性问题等。
“冲洗”长达两年的黑洞照片经历了重重困难，最终解决了大规模非结构化图片的存储难题，得以惊艳面世。
存储海量数据这一任务并不仅存在于天文研究领域，随着数字化转型的不断推进，各行业客户同时也面临一系列的存储挑战。那么，对于企业而言，应该如何应对大规模数据存储所带来的难题呢？
传统存储采用集中式数据处理模型，用若干个（比如2或者4个）控制器对数据进行集中处理。而当前控制器大都采用X86架构，CPU性能限制了其所能处理的数据规模，该架构也难以进行良好的扩展。如果采用分布式存储架构，则可将数据处理分散至不同的虚拟机上，性能和容量的横向扩展有效解决了传统存储下控制器性能无法扩展的问题。
当管理文件数量达到千万级时，传统的本地文件系统（NTFS、EXT等）容易出现访问文件卡顿缓慢等问题。部分NAS产品可以储存亿级的文件，但是仍然无法处理上百亿级别的海量文件。而分布式文件系统可以储存超过100亿文件，并且可以根据不同的硬件配置横向扩展，充分满足更高规模的文件数量要求。
一般储存10Pb数据需要几千块硬盘，而硬盘存在一定的故障概率，几千块硬盘同时使用期间容易发生故障。传统存储采用RAID对数据进行冗余，无法妥善处理此类复杂的可靠性配置。分布式纠删码技术，则可灵活配置不同的冗余策略以达到更高的可靠性要求、更高的数据储存密度以及更高的存取性能等。
在存储的科研之路上，某公司坚持创新，不断用技术和实践反复打磨，“孵化”超过七年——
2013年，成立独立的存储技术研发部门，为各个产品线提供技术模块输出；
2014年，存储模块开始应用于桌面云的数据承载；
2015年，存储模块应用于超融合平台，并完成第一个Oracle RAC项目交付；
2019年，推出某公司EDS分布式存储产品。
目前已经有大量客户采用某公司存储模块来支撑桌面和数据中心业务，其中存储模块服务过的桌面终端用户超过75万，超融合客户超过3000家，其中有近一半的客户将某公司超融合产品用于承载核心业务。
因为全球200位多位科学家的匠心与恒心，方得“人类首张黑洞照片”，揭开黑洞的神秘面纱，这一刻值得铭记。某公司也将坚持“全情投入，持续创新”，用匠心与恒心推出更优秀、更省心便捷的技术与产品，以创新之力向科学致敬。
发表于 2019-4-11 18:53
QQ好友和群
QQ空间
腾讯微博
腾讯朋友
技术员2级 
