大数据技术笔记之数据采集和预处理

1.大数据采集

大数据采集包括:系统日志采集、网络数据采集(通过网络爬虫)、其他数据采集(通过特定接口)

1.1 系统日志采集方法

Flume： 分布式日志收集系统最初由Cloudera 开发，现在Apache开源项目

Chukwa：开源分布式数据收集系统Hadoop 的组成部分建在 hdfs 和 ** p/reduce 框架之上

Scrible：Scribe是facebook在开源日志收集系统中facebook内部已经得到大量的应用

Kafka：最早是LinkedIn现在开发的新闻系统Apache开源项目

2数据预处理原理

通过数据预处理工作，可以完成不完整的数据 ，纠正错误的数据 ，去除多余的数据，然后选择所需的数据 ，并进行数据集成 。常用的数据预处理方法 包括数据清理、数据集成和数据转换。

2.1数据清洗

图1

噪声的处理

图2

数据清洗可视为检测偏差和纠正偏差两个步骤的过程。

检查偏差：现有关于数据性质的知识可用于发现噪声、离群点和需要调查的不寻常 值。该知识或关于数据的数据称为元数据。

纠正偏差：即一旦发现偏差，通常需要定义并使用一系列的变换来纠正它们。但这些工具只支持有限的变换，因此，通常需要编写定制 程序的数据清洗过程

2.2数据集成

图3

2.3数据变换

图4

3.数据仓库与ETL工具

图5

---------------------