java - flume

很多朋友都想知道java flume是什麼？下面就一起來了解一下吧~

Flume是什麼

（1）Flume提供一種分佈式的，可靠的對大數據的日誌進行高效處理，以及聚集，移動的服務，flume只能在Unix的環境下運行。

（2）Flume基於流式框架，容錯性強，也靈活簡單。

（3）Flume/Kafka用來進行數據收集的，Spark,Storm用來實時處理數據，impala用來實時查詢

（4）Flume是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統。Flume基於流式架構，靈活簡單。

Flume的兩個版本

（一）Flume OG

OG：“Original Generation"

0.9x或cdh3以及更早的版本。

有agent、collector、master等組件構成。

（二）Flume NG

NG：“Next/New Generation"

1.x或cdh4以及之後的版本。

有Agent/client等組件構成。

FlumeOG存在的問題

（1）Flume OG代碼工程臃腫

（2）核心組件設計不合理

（3）核心配置不標準

（4）尤其是在Flume OG的最後一個發行版本0.94.0中，日誌傳輸不穩定的現象尤為嚴重。