Hadoop在氣象數據密集型處理領域中的應用
DOI:
作者:
作者單位:

作者簡介:

通訊作者:

中圖分類號:

基金項目:


Application of Hadoop in DataIntensive Processing of Meteorological Data
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 圖/表
  • |
  • 訪問統計
  • |
  • 參考文獻
  • |
  • 相似文獻
  • |
  • 引證文獻
  • |
  • 資源附件
  • |
  • 文章評論
    摘要:

    氣象資料的統計分析計算屬于數據密集型計算,目前的處理方式多為單機處理,對大量數據的處理比較慢,難以應對日益增長的數據,對氣象資料的研究形成一定的制約。針對數據密集型氣象數據的處理,嘗試應用Hadoop的MapReduce思想提高計算效率;對Hadoop在處理大量小文件組成的氣象數據時的低效率,提出對原始文件進行預處理,將多個小文件整合成能直接用于計算的大文件。試驗證明,該方法解決了Hadoop處理大量小文件時的低效率問題,通過與Oracle入庫檢索的比較,應用Hadoop處理數據密集型氣象資料具有實際意義。

    Abstract:

    The statistical analysis of meteorological data processing is dataintensive and always conducts on a single machine. The speed is too slow when the data set is large, which restrains researches of meteorological data. Hadoop and MapReduce are used to speed up the dataintensive processing of meteorological data. In allusion to the low efficiency of processing enormous and small files by using Hadoop, a preprocess is conducted to integrate the enormous and small files to a large one. The experiment proved that this method can solve the low efficiency problem when using Hadoop to process enormous and small files. Comparing with Oracle, it is more useful to use Hadoop to process dataintensive Meteorological computing.

    參考文獻
    相似文獻
    引證文獻
引用本文

肖衛青,楊潤芝,胡開喜,林潤生,劉立明,谷軍霞. Hadoop在氣象數據密集型處理領域中的應用[J].氣象科技,2015,43(5):823~828

復制
分享
文章指標
  • 點擊次數:
  • 下載次數:
  • HTML閱讀次數:
  • 引用次數:
歷史
  • 收稿日期:2014-05-30
  • 定稿日期:2015-06-29
  • 錄用日期:
  • 在線發布日期: 2015-11-02
  • 出版日期:
您是第位訪問者
技術支持:北京勤云科技發展有限公司
午夜欧美大片免费观看,欧美激情综合五月色丁香,亚洲日本在线视频观看,午夜精品福利在线
>