大数据采集技术
功能概述 FUNCTIONAL OVERVIEW

大数据采集技术

大数据采集技术就是对数据进行ETL操作,通过对数据进行提取、转换、加载,最终挖掘数据的潜在价值。ETL,是英文 Extract-Transform-Load 的缩写,数据从数据来源端经过抽取(extract)、转换(transform)、加载(load)到目的端,然后进行处理分析的过程。用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据模型,将数据加载到数据仓库中去,最后对数据仓库中的数据进行数据分析和处理。

技术优势 TECHNICAL ADVANTAGE
  • 来源广泛
  • 数据量巨大
  • 数据类型丰富
  • 分布式数据库
  • 来源广泛
  • 数据量巨大
  • 数据类型丰富
  • 分布式数据库
预处理步骤 PRETREATMENT STEPS
数据清洗
去噪声和无关数据
数据集成
将多个数据源中的数据结合起来存放在一个一致的数据存储中
数据变换
把原始数据转换成为适合数据挖掘的形式
数据规约
数据立方体聚集,维度归约,数据压缩,数值归约,离散化和概念分层等
为了您更好的体验,请竖屏浏览。

在线留言 Feedback