大数据(big data),是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据平台是各部门的核心资料库,各级工作部门科学统筹、依法决策的重要支撑。平台能够准确获取多年来全体数据标本,帮助工作部门及时掌握形势变化、工作文件、资源配置、业绩成效等动态信息,用事实数据决定科学判断,用科学判断引领工作决策。
采用信息抓取技术和大数据挖掘技术将为大数据平台提供原始数据支撑,通过提供多种数据接入方法,将与全县各项工作相关的结构化和非结构化的数据进行统一汇聚接入,可根据条件自动抓取有效信息,建设一个信息快捷、资源集中、数据丰富的数据中心。存储用来满足对结构化数据、非结构化数据和半结构化数据的统一存储和查询的需求。
大数据平台能够把海量的数据存储于云服务平台,再进行数据专业化处理,提供数据深度挖掘和分析服务的核心功能,利用分布式存储和并行计算架构,结合多种分布式计算引擎,通过设定数据分析逻辑,提供基于关联、聚类、分类、等类算法库,以及生成数据可视化图形。通过数据分析,能够获取有效的智慧数据。