大數據之光照進檔案業

作者：張理平

   《大數據時代》一書出版于2013年，按照作者維克托·邁爾-舍恩伯格和肯尼思·庫克耶所說，這是一場生活、工作與思維的大變革，“大數據正在改變我們的生活以及理解世界的方式，成為新發明和新服務的源泉，而更多的改變正蓄勢待發……”

    本書定義的“大數據”就是基于海量數據分析從而產生巨大價值的產品和服務，它以石破天驚之勢為大數據概括出了三個核心特性，即：關心全部樣本而不再是抽樣數據；包容混亂和錯誤，不再關心數據的精確性；不再關心因果關系代之以相關關系。而大數據的核心就是預測，通過對海量數據進行數學運算，人們擁有了預知未來的魔鏡。

    雖然檔案業和一些與大數據預測緊密相關的行業不同，但是滾滾來襲的大數據浪潮也必將使傳統的檔案工作發生變革。值得檔案業界研究的問題很多，這中間也蘊藏著很多的機會。

    首先，大數據理論將有助于回答電子檔案如何收集以及后續如何更好地管理和利用等重要命題，或將化解長期以來困擾著檔案工作的利用需求無限擴大與存儲空間、管理成本有限之間的矛盾。

    在大數據時代，政府成為最大規模的信息采集者，國家綜合檔案館作為天生的數據集散地，其電子檔案收集范圍必將進一步擴大，移交時限也將進一步縮短。而在“開放政府數據”的倡議響徹全球的年代，電子檔案的開放時限也將在既有框架中不斷尋求突破，變得更加靈活。對大數據的分析處理和增值應用，將成為未來檔案開發利用的重要內容，檔案館坐擁龐大的數據資源應該成為巨大社會價值的產出地。在這種情況下，對于檔案管理工作進行一場技術革新也是在所難免的，大數據時代的來臨相比其他信息技術則更加契合檔案管理工作的需要。

    在檔案管理過程中，人們一直在探討如何在收集環節把好關口，要避免檔案實體漲庫，克服檔案信息存儲空間的限制，又要防止有價值的檔案被淹沒在價值低甚至毫無利用價值的海量檔案中間；而在利用環節，人們追求檔案如何在需要時應有盡有、無所不包，同時要能被快速、準確地檢索出來。檔案工作者長期以來就在這個像悖論一樣的命題中間“帶著鐐銬跳舞”。而大數據或將輕松化解這個難題。在數據化的環境中，對檔案收集選擇性的要求會大大降低，畢竟保存數據的成本比保存檔案實體低得多，而在大數據時代也很難預判什么樣的信息有價值、什么樣的信息沒有價值。對檔案數據的利用也將發生翻天覆地的轉變，不但查準、查全變成了小菜一碟，深入的數據處理將賦予檔案數據更大價值。

    其次，大數據時代允許不精確或將改變檔案收集的質量標準和整理要求。

    書中觀點認為，在大數據時代允許不精確的出現已經成為一個新的亮點而非缺點。人們需要與各種各樣的混亂作斗爭，這種混亂也可以指不同的數據格式，如要達到格式一致，就需要在進行數據處理之前仔細地清洗數據，而這在大數據背景下很難做到。

    在日常的檔案收集工作中，檔案館確實花了大量的時間和精力在與“不精確”作斗爭。除了就整理、鑒定的標準與要求與各移交單位進行反復溝通以外，在某些時候甚至幫移交單位做一些具體而細微的“手工活”。在未來，對檔案整理的要求將日益趨于簡單和便利?！半m然如果我們能夠下足夠多的功夫，這些錯誤是可以避免的，但在很多情況下，與致力于避免錯誤相比，對錯誤的包容會給我們帶來更多好處?！币簿褪钦f，要實現檔案管理全程效益最大化，在收集環節科學地“包容錯誤”將成為大數據時代一種現實的選擇。

    當然，即使在大數據時代，接收工作也必須要堅持一定的質量標準。如果待移交檔案中存在一些不能忽略的基礎性問題，進館后將影響檔案收集以及后續工作的科學推進。筆者認為，在包容錯誤與堅持標準之間踩準節拍，底線應該是不影響進館數據后續的關聯分析。

    再次，在大數據時代，傳統載體檔案將面臨全面的“數據化”而不僅僅是“數字化”。

    “數字化”可能是僵死的信息存儲，而“數據化”則是可檢索和可以進行關聯分析的活數據。IT業所指的數據，誕生不過60多年。一直到個人電腦普及以前，許多自然界和人類社會值得記錄的信息并未形成數據。兩個名詞僅一字之差，實則有了本質的差別。

    就目前檔案館的狀況而言，紙質檔案數字化的方式主要是將檔案原件掃描成圖形文件存入電腦，因為這些圖形并沒有被數據化，無法進行關鍵詞查詢和檢索，也無法用于進一步的數據關聯分析處理。而數據化之后，這些海量的檔案文件可以更方便地被人和計算機運用。

    不僅是紙質檔案，各種載體的音視頻檔案未來同樣也能夠實現模擬信息、數字信息數據化的跨越。在大數據時代，世間萬物都將被數據化并進而創造更大價值的嘗試。

    最后，在一個嶄新時代微曦初露的當口，我國的檔案業也必然面對不進則退的歷史抉擇，必須贏得先機，爭取自主創新。

    隨著全社會對檔案資源需求的日益增長，傳統的檔案管理方式已不能滿足國家和公民對各類檔案開發利用的需要。因此，檔案業要積極應對大數據時代帶來的種種變化，研究數據收集、管理和利用的新模式、新方法。大數據“做新、做多、做好、做快”的能力釋放出無限價值，將會產生新的贏家和輸家。就像馬云曾說：“銀行不改變，我就來改變銀行。”就在傳統的銀行業坐擁壟斷壁壘“高枕無憂”之際，竟被不入流的“攪局者”余額寶打了個措手不及，不得不被動地應對和調整。

    本書的序一中說：“現代歷史上的歷次技術革命，中國均是學習者。而在這次云計算與大數據的新變革中，中國與世界的差距最小，在很多領域甚至還有著創新與領先的可能?！蔽覈臋n案業如果能在深刻認識以及純熟運用大數據的規律中有所突破，也將有能力問鼎檔案工作的世界之巔，面對我國龐大的信息消費市場，抑或像互聯網領域的QQ和微信一樣，另辟蹊徑走出一條別樣的繁榮之路。

原載于《中國檔案報》2014年8月28日 總第2653期 第三版