Skip to content

Instantly share code, notes, and snippets.

View raspberry-hu's full-sized avatar
🎯
Focusing

Shaozhou Hu raspberry-hu

🎯
Focusing
View GitHub Profile
@raspberry-hu
raspberry-hu / TIDB Hackathon 2022 - 神禹 team’s RFC.md
Last active October 9, 2022 04:18
TIDB Hackathon 2022 RFC Template

TiDB区块链数据集导入应用

神禹团队

队长:胡绍洲

队员:黄光均、刘宏彬、徐高松

项目介绍

由于链上数据的存储特点,只能通过接口方式从链上直接获取,这种方式需要针对智能合约接口编写大量的代码,成本很高;同时从链上读取数据,除过网络开销,还需要进行解码操作,甚至遍历MPT树等,读取性能差;更重要的是,不能直接在链上进行全局数据处理,从而无法满足大数据场景的需求,比如复杂查询、大数据挖掘和分析等。 我们致力于提供一种自动化、智能化的数据导出解决方案,通过不断迭代完善,满足用户基于数据导出的各种诉求。 初步架构如下所示,其目的在于降低获取区块数据的开发门槛,提升数据获取效率,支持大数据处理,用户只需要进行简单配置,就可以把区块数据导出到指定的存储介质上,比如支持复杂的关系查询、大数据挖掘的数据库或大数据平台上。 包括四个模块:区块获取模块、区块处理模块、持久化模块和数据分析模块