研讨会 中国人民大学数据库研究组 WAMDM

发布日期：2025-01-13 13:56    点击次数：61

天文大数据挑战与实时处理技术Abstract:超大型天文观测技术的出现不仅能够让研究人员观测到新的天文现象，更能用于验证已有物理模型的正确性。这些最新天文成果发现的背后建立在海量天文数据的近乎实时产生、管理与分析的基础上，因此给目前的数据管理系统带来了新的挑战。以我国自主研发的GWAC天文望远镜为例，15秒的采样和处理周期都处于短时标观测领域的世界前列，但却对数据管理系统提出了很多问题包括：多镜头并行输出数据管理，实时瞬变源发现、当个观测夜数据的秒级查询、数据持久化和快速离线查询等。本文基于上述问题，设计了分布式GWAC数据模拟生成器用于模拟真实GWAC数据产生场景，并基于产生的数据特性，提出一种两级缓存架构，使用本地内存解决多镜头并行输出、实时瞬变源发现，使用分布式共享内存实现秒级查询。为了平衡持久化和查询效率，设计一种星表簇结构将整个星表数据划分后聚集存储。根据天文需求特点，设计基于索引表的查询引擎能从缓存和星表簇以较小的代价对星表数据查询。通过实验验证，当前方案能够满足GWAC的需求。