Filebeat如何確保數(shù)據(jù)不丟失
2021-03-11 分類： 網(wǎng)站建設(shè)
Filebeat通過將每次發(fā)送的數(shù)據(jù)狀態(tài)都存儲(chǔ)在Registry文件中來確保數(shù)據(jù)不丟失。如果發(fā)送的Output端沒有返回確認(rèn)信息，F(xiàn)ilebeat將 會(huì)繼續(xù)嘗試發(fā)送上- -次的數(shù)據(jù)，直到Output端返回給Filebeat確認(rèn)接收信息為止。
當(dāng)向Output端發(fā)送數(shù)據(jù)，或者還沒有接收到Output端返回的確認(rèn)信息時(shí)，如Filebeat因異常退出而關(guān)閉，那么在Filebeat重啟后，將會(huì)把上一次發(fā)送的數(shù)據(jù)再發(fā)送一遍，以確保數(shù)據(jù)至少被接收一次。 所以在Output端 可能會(huì)出現(xiàn)重復(fù)的數(shù)據(jù)。我們可以通過shutdown_ timeout來設(shè) 置Filebeat關(guān)閉前等待的時(shí)間。
當(dāng)使用Kafka作為Output時(shí)，如果不要求數(shù)據(jù)的完整性，則可以容忍少量的丟失數(shù)據(jù)。我們也可以通過設(shè)置required _acks參數(shù)來提高Filebeat發(fā)送數(shù)據(jù)的效率，required_ _acks默認(rèn)值為1, 表示等待Kafka接收副本返回確認(rèn)信息;設(shè)置為o,表示Kafka不返回確認(rèn)接收信息，F(xiàn)ilebeat將會(huì)持續(xù)發(fā)送; 設(shè)置為-1， 表示需要等待Kafka所有副本確認(rèn)接收信息后，才繼續(xù)發(fā)送。
當(dāng)向Output端發(fā)送數(shù)據(jù)，或者還沒有接收到Output端返回的確認(rèn)信息時(shí)，如Filebeat因異常退出而關(guān)閉，那么在Filebeat重啟后，將會(huì)把上一次發(fā)送的數(shù)據(jù)再發(fā)送一遍，以確保數(shù)據(jù)至少被接收一次。 所以在Output端 可能會(huì)出現(xiàn)重復(fù)的數(shù)據(jù)。我們可以通過shutdown_ timeout來設(shè) 置Filebeat關(guān)閉前等待的時(shí)間。
當(dāng)使用Kafka作為Output時(shí)，如果不要求數(shù)據(jù)的完整性，則可以容忍少量的丟失數(shù)據(jù)。我們也可以通過設(shè)置required _acks參數(shù)來提高Filebeat發(fā)送數(shù)據(jù)的效率，required_ _acks默認(rèn)值為1, 表示等待Kafka接收副本返回確認(rèn)信息;設(shè)置為o,表示Kafka不返回確認(rèn)接收信息，F(xiàn)ilebeat將會(huì)持續(xù)發(fā)送; 設(shè)置為-1， 表示需要等待Kafka所有副本確認(rèn)接收信息后，才繼續(xù)發(fā)送。
本文題目：Filebeat如何確保數(shù)據(jù)不丟失
網(wǎng)頁URL：http://m.2m8n56k.cn/news/105006.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計(jì)公司、關(guān)鍵詞優(yōu)化、網(wǎng)站排名、定制網(wǎng)站、定制開發(fā)、標(biāo)簽優(yōu)化
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- 網(wǎng)站文件夾命名注意事項(xiàng)？ 2021-03-11
- 【匯總】802.11標(biāo)準(zhǔn)下常見的WiFi攻擊 2021-03-11
- 代理服務(wù)器是什么 2021-03-11
- 服務(wù)器機(jī)房搬遷導(dǎo)致服務(wù)器無法識(shí)別raid怎么辦 2021-03-11
- 服務(wù)器正忙 請(qǐng)稍后再試的解決方法 2021-03-11
- 數(shù)據(jù)安全所面臨的威脅 2021-03-11
- IIS7.0部署MVC4項(xiàng)目報(bào)404錯(cuò)誤的解決方法 2021-03-11
- 啟動(dòng)和停止Apache服務(wù)器 2021-03-11
- inode耗盡導(dǎo)致應(yīng)用故障 2021-03-11
- Web性能優(yōu)化考慮內(nèi)容 2021-03-11
- linux系統(tǒng)中怎么格式化硬盤 2021-03-11
- 匯總Oracle-12514錯(cuò)誤發(fā)生的幾種情況 2021-03-11
- 在IDC機(jī)房，1m寬帶下載速度是多少？ 2021-03-11
- 常用的9個(gè)jsp內(nèi)置對(duì)象 2021-03-11
- WSUS是什么，有什么用？ 2021-03-11
- 【詳細(xì)教程】php文件怎么打開？ 2021-03-11
- 租用服務(wù)器、托管服務(wù)器需要注意什么？ 2021-03-11
- 對(duì)于虛擬服務(wù)器你懂多少 2021-03-11
- 雙線機(jī)房的組成 2021-03-11