網站首頁 學習教育 IT科技 金融知識 旅遊規劃 生活小知識 家鄉美食 養生小知識 健身運動 美容百科 遊戲知識 綜合知識
當前位置:趣知科普吧 > 生活小知識 > 

大數據技術可以分爲哪幾種類型

欄目: 生活小知識 / 發佈於: / 人氣:3.16W

大數據技術可以分爲數據收集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測、結果呈現。以下是詳細介紹:

大數據技術可以分爲哪幾種類型

1、數據收集:在大數據的生命週期中,數據採集處於第一個環節。根據MapReduce產生數據的應用系統分類,大數據的採集主要有4種來源:管理資訊系統、Web資訊系統、物理資訊系統、科學實驗系統。

2、數據存取:大數據的存去採用不同的技術路線,大致可以分爲3類。第1類主要面對的是大規模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據,

3、基礎架構:雲存儲、分佈式檔案存儲等。

4、數據處理:對於採集到的不同的數據集,可能存在不同的結構和模式,如檔案、XML 樹、關係表等,表現爲數據的異構性。對多個異構的數據集,需要做進一步集成處理或整合處理,將來自不同數據集的數據收集、整理、清洗、轉換後,生成到一個新的數據集,爲後續查詢和分析處理提供統一的數據視圖

5、統計分析:假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、迴歸分析、簡單迴歸分析、多元迴歸分析、逐步迴歸、迴歸預測與殘差分析、嶺迴歸、logistic迴歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。

6、數據挖掘:目前,還需要改進已有數據挖掘和機器學習技術;開發數據網絡挖掘、特異羣組挖掘、圖挖掘等新型數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破用戶興趣分析、網絡行爲分析、情感語義分析等面向領域的大數據挖掘技術。

7、模型預測:預測模型、機器學習、建模仿真。

8、結果呈現:雲計算、標籤雲、關係圖等。

Tags:哪幾種 技術