什么是ETL？
Nginx 的日志可以通过 Flume 抽取到 HDFS 上。
Mysql 的数据可以通过 Sqoop 抽取到 Hive 中，同样 Hive 的数据也可以通过 Sqoop 抽取到 Mysql 中。
HDFS 上的一些数据不规整，有很多垃圾信息，可以用 Hadoop 或者 Spark 进行处理并重新存入 HDFS 中。
Hive 的表也可以通过 Hive 再做一些计算生成新的 Hive 表。
这些都算是 ETL，其中 1 和 2 都比较典型，它们把数据从一个存储引擎转移到另一个存储引擎，在转移的过程中做了一定的转换操作。3 和 4 也同样是 ETL 只是它们更侧重的是数据的加工。
到了这一步，我们不再纠结于具体的 ETL 概念是什么，仅从自己的直观理解上来定义 ETL，不管严谨不严谨，反正这些活 ETL 工程师基本都要干。
ETL 是对数据的加工过程，它包括了数据抽取、数据清洗、数据入库等一系列操作，大部分和数据处理清洗相关的操作都可以算是 ETL。
相关推荐HOT
更多>>
xml解析器
SAX解析器：基于事件驱动的解析器，逐行读取XML文件并触发相应的事件，适用于处理大型XML文件，但需要手动编写事件处理器来处理XML文件中的数据...详情>>
2023-03-21 16:03:51
java全局变量
如果全局变量是一个对象，则可以更改该对象的状态，即使变量本身是final类型。当一个方法被调用时，会为该方法在栈上分配一块内存空间，用于存...详情>>
2023-03-17 10:01:40
带你手把手解决Java常见Bug
刚开始学习Java语言的小伙伴, 很可能被各种各样的程序bug搞得焦头烂额, 甚至被劝退。别怕，小编将手把手带你了解Java中的异常体系, 如何识别Bug...详情>>
2023-03-13 16:05:00
JavaScript 内的 this 指向
在 javascript 语言中, 有一个奇奇怪怪的 "关键字" 叫做 this详情>>
2023-03-07 15:21:00
京公网安备 11010802030320号