本篇文章給大家分享的是有關(guān)Kafka集群在馬蜂窩大數(shù)據(jù)平臺(tái)的優(yōu)化是怎樣的，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

成都一家集口碑和實(shí)力的網(wǎng)站建設(shè)服務(wù)商，擁有專(zhuān)業(yè)的企業(yè)建站團(tuán)隊(duì)和靠譜的建站技術(shù)，十余年企業(yè)及個(gè)人網(wǎng)站建設(shè)經(jīng)驗(yàn) ,為成都近千家客戶(hù)提供網(wǎng)頁(yè)設(shè)計(jì)制作,網(wǎng)站開(kāi)發(fā),企業(yè)網(wǎng)站制作建設(shè)等服務(wù),包括成都營(yíng)銷(xiāo)型網(wǎng)站建設(shè)，品牌網(wǎng)站建設(shè)，同時(shí)也為不同行業(yè)的客戶(hù)提供成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)的服務(wù),包括成都電商型網(wǎng)站制作建設(shè),裝修行業(yè)網(wǎng)站制作建設(shè)，傳統(tǒng)機(jī)械行業(yè)網(wǎng)站建設(shè),傳統(tǒng)農(nóng)業(yè)行業(yè)網(wǎng)站制作建設(shè)。在成都做網(wǎng)站,選網(wǎng)站制作建設(shè)服務(wù)商就選成都創(chuàng)新互聯(lián)公司。

Kafka是當(dāng)下熱門(mén)的消息隊(duì)列中間件，它可以實(shí)時(shí)地處理海量數(shù)據(jù)，具備高吞吐、低延時(shí)等特性及可靠的消息異步傳遞機(jī)制，可以很好地解決不同系統(tǒng)間數(shù)據(jù)的交流和傳遞問(wèn)題。

Kafka在馬蜂窩也有非常廣泛的應(yīng)用，為很多核心的業(yè)務(wù)提供支撐。下面將圍繞Kafka在馬蜂窩大數(shù)據(jù)平臺(tái)的應(yīng)用實(shí)踐，介紹相關(guān)業(yè)務(wù)場(chǎng)景、在Kafka應(yīng)用的不同階段我們遇到了哪些問(wèn)題以及如何解決、之后還有哪些計(jì)劃等。

應(yīng)用場(chǎng)景

從Kafka在大數(shù)據(jù)平臺(tái)的應(yīng)用場(chǎng)景來(lái)看，主要分為以下三類(lèi)：

第一類(lèi)是將Kafka作為數(shù)據(jù)庫(kù)，提供大數(shù)據(jù)平臺(tái)對(duì)實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)服務(wù)。從來(lái)源和用途兩個(gè)維度來(lái)說(shuō)，可以將實(shí)時(shí)數(shù)據(jù)分為業(yè)務(wù)端DB數(shù)據(jù)、監(jiān)控類(lèi)型日志、基于埋點(diǎn)的客戶(hù)端日志(H5、WEB、APP、小程序)和服務(wù)端日志。

第二類(lèi)是為數(shù)據(jù)分析提供數(shù)據(jù)源，各埋點(diǎn)日志會(huì)作為數(shù)據(jù)源，支持并對(duì)接公司離線數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)及分析系統(tǒng)，包括多維查詢(xún)、實(shí)時(shí)DruidOLAP、日志明細(xì)等。

第三類(lèi)是為業(yè)務(wù)方提供數(shù)據(jù)訂閱。除了在大數(shù)據(jù)平臺(tái)內(nèi)部的應(yīng)用之外，我們還使用Kafka為推薦搜索、大交通、酒店、內(nèi)容中心等核心業(yè)務(wù)提供數(shù)據(jù)訂閱服務(wù)，如用戶(hù)實(shí)時(shí)特征計(jì)算、用戶(hù)實(shí)時(shí)畫(huà)像訓(xùn)練及實(shí)時(shí)推薦、反作弊、業(yè)務(wù)監(jiān)控報(bào)警等。

四個(gè)階段

早期大數(shù)據(jù)平臺(tái)之所以引入Kafka作為業(yè)務(wù)日志的收集處理系統(tǒng)，主要是考慮到它高吞吐低延遲、多重訂閱、數(shù)據(jù)回溯等特點(diǎn)，可以更好地滿足大數(shù)據(jù)場(chǎng)景的需求。但隨著業(yè)務(wù)量的迅速增加，以及在業(yè)務(wù)使用和系統(tǒng)維護(hù)中遇到的問(wèn)題，例如注冊(cè)機(jī)制、監(jiān)控機(jī)制等的不完善，導(dǎo)致出現(xiàn)問(wèn)題無(wú)法快速定位，以及一些線上實(shí)時(shí)任務(wù)發(fā)生故障后沒(méi)有快速恢復(fù)導(dǎo)致消息積壓等,使Kafka集群的穩(wěn)定性和可用性得受到挑戰(zhàn)，經(jīng)歷了幾次嚴(yán)重的故障。

解決以上問(wèn)題對(duì)我們來(lái)說(shuō)迫切而棘手。針對(duì)大數(shù)據(jù)平臺(tái)在使用Kafka上存在的一些痛點(diǎn)，我們從集群使用到應(yīng)用層擴(kuò)展做了一系列的實(shí)踐，整體來(lái)說(shuō)包括四個(gè)階段：

第一階段：版本升級(jí)。圍繞平臺(tái)數(shù)據(jù)生產(chǎn)和消費(fèi)方面存在的一些瓶頸和問(wèn)題，我們針對(duì)目前的Kafka版本進(jìn)行技術(shù)選型，最終確定使用1.1.1版本。

第二階段：資源隔離。為了支持業(yè)務(wù)的快速發(fā)展，我們完善了多集群建設(shè)以及集群內(nèi)Topic間的資源隔離。

第三階段：權(quán)限控制和監(jiān)控告警。

首先在安全方面，早期的Kafka集群處于裸跑狀態(tài)。由于多產(chǎn)品線共用Kafka，很容易由于誤讀其他業(yè)務(wù)的Topic導(dǎo)致數(shù)據(jù)安全問(wèn)題。因此我們基于SASL/SCRAM+ACL增加了鑒權(quán)的功能。

在監(jiān)控告警方面，Kafka目前已然成為實(shí)時(shí)計(jì)算中輸入數(shù)據(jù)源的標(biāo)配，那么其中Lag積壓情況、吞吐情況就成為實(shí)時(shí)任務(wù)是否健康的重要指標(biāo)。因此，大數(shù)據(jù)平臺(tái)構(gòu)建了統(tǒng)一的Kafka監(jiān)控告警平臺(tái)并命名「雷達(dá)」，多維度監(jiān)控Kafka集群及使用方情況。

第四階段：應(yīng)用擴(kuò)展。早期Kafka在對(duì)公司各業(yè)務(wù)線開(kāi)放的過(guò)程中，由于缺乏統(tǒng)一的使用規(guī)范，導(dǎo)致了一些業(yè)務(wù)方的不正確使用。為解決該痛點(diǎn)，我們構(gòu)建了實(shí)時(shí)訂閱平臺(tái)，通過(guò)應(yīng)用服務(wù)的形式賦能給業(yè)務(wù)方，實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)和消費(fèi)申請(qǐng)、平臺(tái)的用戶(hù)授權(quán)、使用方監(jiān)控告警等眾多環(huán)節(jié)流程化自動(dòng)化，打造從需求方使用到資源全方位管控的整體閉環(huán)。

以上就是Kafka集群在馬蜂窩大數(shù)據(jù)平臺(tái)的優(yōu)化是怎樣的，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享標(biāo)題：Kafka集群在馬蜂窩大數(shù)據(jù)平臺(tái)的優(yōu)化是怎樣的-創(chuàng)新互聯(lián)
本文路徑：http://m.2m8n56k.cn/article34/dpogpe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、面包屑導(dǎo)航、ChatGPT、自適應(yīng)網(wǎng)站、軟件開(kāi)發(fā)、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)