?
本期聽云大講堂給大家分享的內(nèi)容是觀云平臺數(shù)據(jù)采集方案，將主要圍繞方案核心理念、業(yè)界現(xiàn)狀及第三方指標(biāo)采集的統(tǒng)一性原則三點(diǎn)進(jìn)行展開。

?

?

?

觀云數(shù)據(jù)治理的方案：核心理念

?

?

可觀測性數(shù)據(jù)主要是由：指標(biāo)（Metrics）、追蹤（Trace）和日志（Logs）其他信號量組成的，數(shù)據(jù)治理的痛點(diǎn)在于，這些數(shù)據(jù)通常來自不同的源頭，不同的協(xié)議和數(shù)據(jù)格式，最終被存入隔離的各個系統(tǒng)中。

?

這導(dǎo)致了嚴(yán)重的“數(shù)據(jù)孤島”問題，使得運(yùn)維和開發(fā)人員在故障排查和性能分析時(shí)，需要在多個看板間反復(fù)切換、進(jìn)行人工的關(guān)聯(lián)分析，這樣的排查方式效率低下，且難以快速定位根因。

?

數(shù)據(jù)治理的核心目標(biāo)，正是要打破這些數(shù)據(jù)孤島，通過統(tǒng)一的平臺、統(tǒng)一的規(guī)范對數(shù)據(jù)進(jìn)行采集、加工和關(guān)聯(lián)，讓數(shù)據(jù)不再是離散的點(diǎn)，從而釋放其真正的價(jià)值。

?

?

?

?

業(yè)界現(xiàn)狀與觀云方案的差異化

?

?

目前業(yè)界的通用做法是：先接入，后治理。也就是將各類數(shù)據(jù)接入后，通過豐富的儀表盤（Dashboard）進(jìn)行可視化查看。觀云采用的方案是?“采集即治理”。

從采集數(shù)據(jù)產(chǎn)生的源頭開始，通過統(tǒng)一探針（UniAgents）在采集數(shù)據(jù)時(shí)直接將基礎(chǔ)設(shè)施數(shù)據(jù)、APM的數(shù)據(jù)關(guān)聯(lián)在一起，從而完成關(guān)鍵數(shù)據(jù)的關(guān)聯(lián)。

這意味著，數(shù)據(jù)在上報(bào)之初就已經(jīng)建立了內(nèi)在的、準(zhǔn)確的關(guān)聯(lián)關(guān)系，而非在事后再進(jìn)行匹配和處理，極大地提升了后續(xù)關(guān)聯(lián)分析的效率和準(zhǔn)確性。

?

為了實(shí)現(xiàn)數(shù)據(jù)集成，觀云平臺采集方案遵循兩大核心原則：

·?協(xié)議統(tǒng)一（Unified Protocol）
以 OpenTelemetry (OTel) 作為數(shù)據(jù)采集和傳輸?shù)慕^對標(biāo)準(zhǔn)協(xié)議。OTel是CNCF旗下公認(rèn)的可觀測性事實(shí)標(biāo)準(zhǔn)。

·?語義統(tǒng)一（Unified Semantics）
描述相同業(yè)務(wù)屬性的字段，在不同數(shù)據(jù)源中保持一致的名稱和數(shù)據(jù)類型。這為了實(shí)現(xiàn)高質(zhì)量關(guān)聯(lián)分析的基礎(chǔ)。

例如對于“主機(jī)IP”這一屬性不同數(shù)據(jù)源有不同的名稱，host.ip、host.address、instance_ip。

觀云采集器會在數(shù)據(jù)采集階段即進(jìn)行標(biāo)準(zhǔn)化處理，將所有來源的該屬性統(tǒng)一映射為?host.ip。在后續(xù)進(jìn)行故障排查和分析的時(shí)候，系統(tǒng)都能毫無歧義地進(jìn)行精準(zhǔn)關(guān)聯(lián)、檢索、分析。

?

?

?

?

強(qiáng)大的數(shù)據(jù)生態(tài)接入能力

?

?

聽云系統(tǒng)支持廣泛的默認(rèn)數(shù)據(jù)源：Zabbix、Prometheus、阿里云、華為云等其他云廠商，并且可以通過調(diào)用 API 和配置 SQL 查詢數(shù)據(jù)庫的方式獲取數(shù)據(jù)。
更多內(nèi)容敬請關(guān)注【聽云大講堂】技術(shù)篇，下一期我們將為大家?guī)?/span>基于可觀測性的應(yīng)用安全態(tài)勢管理平臺的內(nèi)容分享～

推薦閱讀

  • 在移動應(yīng)用逐漸成為企業(yè)與用戶互動的主要方式的今天，保障應(yīng)用的高性能和穩(wěn)定性顯得愈發(fā)重要。為解決這一挑戰(zhàn)，基調(diào)聽云平臺嶄露頭角，成為備受矚目的移動應(yīng)用性能管理解決方案。

    2023-08-18

  • 在軟件開發(fā)和運(yùn)維的過程中，故障是不可避免的。當(dāng)軟件發(fā)生故障時(shí)，及時(shí)而準(zhǔn)確地找出故障的根因是解決問題的關(guān)鍵。為了解決這個問題，故障根因分析算法?應(yīng)運(yùn)而生。下面將介紹故障根因分析算法在問題定位、數(shù)據(jù)收集和分析，以及算法效果評估三個方面的重要性和挑戰(zhàn)。

    2024-01-24

  • 可觀測性平臺?的意義在于其能夠全面了解應(yīng)用和系統(tǒng)運(yùn)行狀況的能力，包括性能、健康狀況、錯誤和異常等,幫助開發(fā)人員、運(yùn)維團(tuán)隊(duì)和決策者實(shí)時(shí)監(jiān)控和分析應(yīng)用和系統(tǒng)的各個方面，以便更好地管理、維護(hù)和改進(jìn)。

    2023-09-25

  • 現(xiàn)代企業(yè)的成功與業(yè)務(wù)流程的高效運(yùn)行和用戶體驗(yàn)息息相關(guān)。為了實(shí)現(xiàn)對業(yè)務(wù)流程的監(jiān)控和管理，以及將其與應(yīng)用性能等指標(biāo)進(jìn)行關(guān)聯(lián)分析，可視化運(yùn)維工具成為一種強(qiáng)大的解決方案。該工具通過量化研發(fā)和運(yùn)維考核指標(biāo)，幫助企業(yè)全方位管理業(yè)務(wù)流程效能，提升業(yè)務(wù)效率和用戶體驗(yàn)。

    2023-07-18

  • 可視化運(yùn)維是指通過圖形化的展示方式，對系統(tǒng)的監(jiān)控、運(yùn)維、分析等工作進(jìn)行可視化處理，方便管理員或者運(yùn)維人員進(jìn)行系統(tǒng)性能分析、故障診斷和處理等操作?？梢暬\(yùn)維系統(tǒng)通常通過可視化的儀表盤、圖表、日志等形式呈現(xiàn)數(shù)據(jù)，從而使系統(tǒng)運(yùn)維人員可以直觀、快速地了解系統(tǒng)的狀態(tài)，發(fā)現(xiàn)問題并進(jìn)行處理。

    2023-03-20