大廠架構(gòu)師傾心之作：Flume構(gòu)建高可用、可擴(kuò)展的海量日志采

前言

幾乎任何規(guī)模的公司，每時(shí)每刻都在產(chǎn)生大量的數(shù)據(jù)，收集業(yè)務(wù)日志數(shù)據(jù)，供離線和在線的分析系統(tǒng)使用。處理這些日志需要特定的日志系統(tǒng)，一般而言，這些系統(tǒng)需要具有高可用性、高可靠性和可擴(kuò)展性。

創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站制作、網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的盱眙網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

Flume是一個(gè)分布式、可靠的和高可用的海量日志采集，聚合和傳輸?shù)南到y(tǒng)。支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時(shí)，F(xiàn)lume 提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方(可定制)的能力。Flume 初始的發(fā)行版本目前被統(tǒng)稱為Flume OG(original generation) ，屬于Cloudera.但隨著Flume功能的擴(kuò)展，F(xiàn)lume OG代碼工程臃腫，核心組件設(shè)計(jì)不合理、核心配置不標(biāo)準(zhǔn)等缺點(diǎn)暴露出來(lái)，尤其是在Flume OG的最后一個(gè)發(fā)行版本0.94.0中，日志傳輸不穩(wěn)定的現(xiàn)象尤為嚴(yán)重。為了解決這些問(wèn)題，2011 年10月22日,Cloudera完成了Flume-728，對(duì)Flume進(jìn)行了里程碑式的改動(dòng)：重構(gòu)核心組件、核心配置以及代碼架構(gòu)，重構(gòu)后的版本統(tǒng)稱為Flume NG (next generation) ;改動(dòng)的另一原因是將Flume納入Apache旗下，Cloudera Flume改名為Apache Flume。

Flume構(gòu)建高可用、可擴(kuò)展的海量日志采集系統(tǒng)

第1章給出了Apache Hadoop. Apache HBase的基本介紹。本章只是為了向讀者介紹Hadoop. HBase 和它們內(nèi)部的一些細(xì)節(jié)。如果讀者已經(jīng)熟悉Hadoop和HBase,這章可以跳過(guò)。