——以美國密歇根大學本特利歷史圖書館開發(fā)的AutoPro為例 

    由美國密歇根大學董事會在1935年建立的本特利歷史圖書館是密歇根大學的官方檔案館，它還保存著密歇根州的歷史、人民的各種活動、組織和志愿協(xié)會等的歷史記錄。自1997年接收時任大學校長詹姆斯·杜德施塔特的數(shù)字桌面后，該圖書館一直在成功地管理和保存數(shù)字館藏。鑒于近年來圖書館接收的原生數(shù)字內容和數(shù)字化產生的內容劇增，檔案工作者尋求更加高效、標準化的處理流程。由安德魯·W·梅隆基金會資助的MeMail項目（2010-2011）為圖書館提供了建立工作流及對應策略的資源，用于接收和處理歸檔的電子郵件。但是，對于混合數(shù)字內容（例如office文檔、PDF、音視頻文件、圖像等），同樣需要一個與此類似的解決方案。數(shù)字保管部門的檔案工作者們把MeMail項目繼續(xù)推進，開發(fā)了數(shù)字內容自動化處理工具，又稱AutoPro。它由一系列相互獨立計算機腳本構成，這些腳本實現(xiàn)了數(shù)字內容長期保存、訪問時，在準備工作中關鍵步驟的自動化操作。

數(shù)字內容處理是概念也是方法 

    除了要保證內容的真實性、完整性和安全性外，數(shù)字時代的檔案處理還需要鑒定、整理和著錄等傳統(tǒng)的步驟。因此，“數(shù)字內容處理”對應于開放檔案信息系統(tǒng)（OAIS）參考模型的攝取模塊的產生存檔信息包（AIP）功能。在給一個提交信息包（SIP）指派一個接收記錄后，數(shù)字內容處理功能允許檔案工作者實施智能控制、建立內容資料的完整性，并進行數(shù)據(jù)長期保存所需的各種工作。例如，掃描病毒與個人身份信息，將數(shù)據(jù)轉換成保存所需的格式，記錄描述性和技術性的元數(shù)據(jù)等。最初，本特利歷史圖書館的檔案工作者開發(fā)了一個手工操作的工作流，其中包含了40多個環(huán)節(jié)。完成這些環(huán)節(jié)需要人工操作大量不同的、獨立的應用程序與軟件存儲工具，輸出各種不同的日志文件。由于此項工作具有高度勞動密集的特點，可能出現(xiàn)人工操作錯誤的機會。此外，這種實現(xiàn)方式對于沒有技術專長的工作人員是困難的。鑒于這些挑戰(zhàn)，數(shù)字內容保管部門開發(fā)了AutoPro來實現(xiàn)兩個目標：通過實現(xiàn)關鍵工作流環(huán)節(jié)的自動化操作讓數(shù)字內容處理更加有效；減少技術上的障礙，從而讓檔案工作人員能夠將精力集中于鑒定、整理、著錄這些傳統(tǒng)的檔案職能。 

自動化處理概述 
   

    AutoPro由33個windows命令行腳本組成，它把待處理的數(shù)字內容提交至11個環(huán)節(jié)的工作流進行處理，從而簡化了要操作20多個應用軟件與命令行程序的原有處理流程。除了為檔案工作者提供一個指引完成工作流的框架，AutoPro還會為所有操作生成日志文件，并記錄保存元數(shù)據(jù)，檔案工作者必須審核每一個步驟是否成功完成。 

    在數(shù)字內容被接收并保存至本特利圖書館的臨時庫后，AutoPro會立即對其進行病毒檢測并創(chuàng)建一個備份，使其在出現(xiàn)錯誤或故障造成的數(shù)據(jù)丟失后提交的信息包數(shù)據(jù)可以被恢復。 

    AutoPro隨后會查找數(shù)據(jù)中的歸檔壓縮包文件；當發(fā)現(xiàn)此類壓縮包文件后，一個腳本會調用解壓軟件將壓縮包文件的內容解壓縮至一個由其文件名命名的目錄內,并保持壓縮包文件內部原有目錄結構不變。在檢驗解壓縮結果并確認解壓成功后，AutoPro會將原有的壓縮包文件移動到一個分開的目錄，并在日志文件中記錄操作過程。若需要時，還會在壓縮包文件被釋放的目錄中從被解壓的內容中查找額外的壓縮包文件。 

    在這一階段，AutoPro將會使用文件重命名工具將文件名與目錄名中的空格、非字母非數(shù)字的字符（不是0-9、a-z或A-Z的特殊字符）用下劃線代替，并將這些目錄與文件的原有名稱與新名稱記錄至逗號分隔值文件（.CSV文件）。接下來，AutoPro會查找文件名中無擴展名的文件或擴展名由用戶定義的文件，使用基于檢查二進制簽名的來確定文件類型的工具程序，查證這些文件的正確文件名，并使用文件驗證工具校驗查證的結果。AutoPro會將包含一個基于二進制簽名庫的目標可能是何種類型的文件的報告輸出保存至日志文件。當一個文件擴展名被成功地查證確認后，原有文件名與新文件名會被記錄至.CSV文件中。 

    基于美國國會圖書館在“數(shù)字格式的可持續(xù)性”項目上的工作與佛羅里達圖書館自動化中心及其他同行機構的文檔，本特利歷史圖書館確定了“有風險的”（即專用格式或潛在過時的格式）文件格式，并使用多種開源或免費軟件工具研發(fā)了將其轉換為“可持續(xù)的”格式的方法。這些轉換后用于保存的文件會與原始格式文件一起存儲。同時，AutoPro也為所有文件轉換操作建立一個日志，其中包含原有的和轉換后的文件名、時間戳、轉換所用的軟件。 

    為了保護檔案記錄的作者身份并防止身份被暴露的風險，本特利歷史圖書館已經制定了有關個人身份信息(PII)如信用卡號與美國社會保障號等的政策。因此，AutoPro使用一個識別潛在敏感信息的專用軟件來掃描PII信息。檔案工作者隨后在身份查找界面來驗證搜索結果。若發(fā)現(xiàn)結果中確實有此類信息，會編輯PII信息或為記錄內容指定恰當?shù)脑L問限制。 

    檔案工作者開始對數(shù)據(jù)內容進行更深入的鑒定和整理。為了撰寫檢索工具中對數(shù)據(jù)的描述，AutoPro會調用磁盤與文件管理軟件，可以直觀可視化顯示文件與目錄的大小、類型等各種信息，通過可視化方式將數(shù)據(jù)的各種屬性（如文件擴展名的分布、日期的范圍、目錄的大小等等）更好地描述出來，并啟動文件瀏覽軟件來檢閱這些文件類型分布廣泛的數(shù)據(jù)。在使用文件瀏覽器來檢閱數(shù)據(jù)內容時，檔案工作者使用單擊鼠標右鍵彈出的上下文菜單即可調用的一個批處理腳本來將多余的文件或文件夾移動到分開的目錄中。這些努力都是為了保留數(shù)據(jù)資料的原有順序結構，但檔案工作者可能會將處于目錄中和zip壓縮包文件中的無組織的散亂數(shù)據(jù)重組整合來簡化存儲的管理（操作會被記錄至日志文件中）。當數(shù)據(jù)被重組整合后，AutoPro調用文件校驗工具抽取技術性元數(shù)據(jù)，并對所有的數(shù)據(jù)內容生成校驗碼。檔案工作者隨后使用AutoPro來標識系列，并添加關于數(shù)據(jù)的描述性元數(shù)據(jù)和管理元數(shù)據(jù)；由此形成的XML文件被用在“深藍”中保存不受限的數(shù)據(jù)。“深藍”是本特利歷史圖書館基于一個開源軟件創(chuàng)建的數(shù)字檔案庫，用于創(chuàng)建存儲數(shù)字內容且開放訪問的學術性或用于發(fā)布的數(shù)字知識庫。AutoPro使用是一個由國會圖書館開發(fā)的、開源的傳送軟件工具集合的一部分，以此將所有數(shù)據(jù)的一份備份傳送到一個用于備份的、安全的數(shù)字檔案庫之中。當此步驟完成后，AutoPro會清理處理過程中的目錄和臨時文件，檔案工作者會在本特利的收集管理數(shù)據(jù)庫中將記錄完成的數(shù)字內容進行歸檔。 

    （本文作者為密歇根大學本特利歷史圖書館管理部首席檔案員邁克爾·沙爾克羅斯及南希·德羅梅迪） 

    原載于《中國檔案報》2016年11月17日 總第2991期 第三版