基于编码的分布式大数据处理理论
2022-01-19 科研项目
一、项目描述
本项目研究采用一个新的思路来提高网络计算能力:即把多个不同的问题通过网络计算编码的方法联合求解,从而提高网络带宽。
二、重要性/影响
通过本项目的执行,提出多项面向分布式数据处理的编码方法,这些方法能够应用于包括数据中心、边缘计算平台等多种类型的数据采集和处理系统中,用于提高数据处理的可靠性,并提高网络带宽效率。
三、主要痛点
基于编码的方法与现有系统设计理念存在多方面的不兼容性,导致使用该方法需要一个较长期的积累才能在现实中使用。
四、解决方案
与企业合作,从头开始构建一套完整的基于编码的网络计算(云)平台,从底层的存储架构,到网络计算的优化架构,都基于编码的理论与技术重新设计并实现。
放置在项目描述/目标之后
五、主要贡献
基于编码的网络计算理论与技术已经在多个方面显示出巨大的价值,是实现未来分布式大数据计算方法突破的关键技术。
六、下一步计划
后续我们期望能够与企业合作,从头开始构建一套完整的基于编码的网络计算(云)平台,从底层的存储架构,到网络计算的优化架构,都基于编码的理论与技术重新设计并实现。这套平台能够完整的实现基于编码的技术的优势,从而能够从系统层面展现相关方法的优势,面临的问题等。为未来的研究和验证提供实践依据。
项目团队近期获得国家自然科学基金专项项目资助,研究融合通信与计算的信息理论。
七、合作伙伴
香港中文大学(深圳)
八、团队成员
杨升浩教授