随著(zhe)企業數字化(huà)轉型的(de)不斷深入，企業積累的(de)各種數據也(yě)越來(lái)越多(duō)，這(zhè)些數據從分(fēn)散到集中經曆了(le)較長(cháng)的(de)時(shí)間，但數據本身并不直接創造價值。因此，企業需要思考如何利用(yòng)工業大(dà)數據分(fēn)析工具，深入挖掘蘊藏在數據中的(de)業務價值。

「 1.工業大(dà)數據的(de)内涵 」

工業大(dà)數據是指在工業領域中，圍繞典型智能制造模式，從客戶需求到銷售、訂單、計劃、研發、設計、工藝、制造、采購(gòu)、供應、庫存、發貨和(hé)交付、售後服務、運維、報廢或回收再制造等整個(gè)産品全生命周期各個(gè)環節所産生的(de)各類數據及相關技術和(hé)應用(yòng)的(de)總稱。

美(měi)國國家科學基金會（NSF）智能維護系統（IMS）産學合作中心的(de)創始人(rén)和(hé)主任李傑教授在他(tā)的(de)《工業大(dà)數據》一書(shū)中曾指出，在自動化(huà)設備産生了(le)大(dà)量未被充分(fēn)挖掘價值的(de)數據、獲取實時(shí)數據的(de)成本不再高(gāo)昂、設備的(de)實時(shí)運算(suàn)能力大(dà)幅提升以及依靠人(rén)的(de)經驗已無法滿足複雜(zá)的(de)管理(lǐ)和(hé)優化(huà)的(de)需求的(de)條件下(xià)，大(dà)數據技術在工業領域逐漸興起。

對(duì)制造企業而言，高(gāo)效的(de)處理(lǐ)和(hé)使用(yòng)工業大(dà)數據将有利于企業在新一輪産業競争中占據産業發展的(de)制高(gāo)點。工業大(dà)數據主要涵蓋三類數據，即企業信息化(huà)數據、工業物(wù)聯網數據以及外部跨界數據（見下(xià)圖）。

 工業大(dà)數據的(de)類别（來(lái)源：王建民，清華大(dà)學軟件學院）

信息化(huà)數據是指傳統工業自動化(huà)控制與信息化(huà)系統中産生的(de)數據， 如 ERP、MES 等 。工業物(wù)聯網數據是來(lái)源于工業生産線設備 、機器 、産品等方面的(de)數據，多(duō)由傳感器、設備儀器儀表進行采集産生。外部數據是指來(lái)源于工廠外部的(de)數據，主要包括來(lái)自互聯網的(de)市場(chǎng)、環境、客戶、政府、供應鏈等外部環境的(de)信息和(hé)數據。

工業大(dà)數據技術是使工業大(dà)數據中所蘊含的(de)價值得(de)以挖掘和(hé)展現的(de)一系列技術與方法，包括數據規劃、采集、預處理(lǐ)、存儲、分(fēn)析挖掘、可(kě)視化(huà)和(hé)智能控制等。歸納來(lái)說，主要包括數據采集技術、數據管理(lǐ)技術、數據分(fēn)析技術。

1）數據采集技術

工業軟硬件系統本身具有較強的(de)封閉性和(hé)複雜(zá)性，不同系統的(de)數據格式、接口協議(yì)都不相同，甚至同一設備同一型号、不同時(shí)間出廠的(de)産品所包含的(de)字段數量與名稱也(yě)會有所差異，因此無論是采集系統對(duì)數據進行解析，還(hái)是後台數據存儲系統對(duì)數據進行結構化(huà)分(fēn)解都會存在巨大(dà)的(de)挑戰。由于協議(yì)的(de)封閉，甚至無法完成設備的(de)數據采集；即使可(kě)以采集，在工業大(dà)數據項目實施過程中，通(tōng)常也(yě)需要數月(yuè)時(shí)間對(duì)數據格式與字段進行梳理(lǐ)。挑戰性更大(dà)的(de)是多(duō)樣性的(de)非結構化(huà)數據，由于工業軟件的(de)封閉性，數據通(tōng)常隻有特定軟件才能打開，并且從中提取更多(duō)有意義的(de)結構化(huà)信息工作通(tōng)常很難完成，這(zhè)也(yě)給數據采集帶來(lái)挑戰。因此，先進的(de)數據采集技術需要滿足海量高(gāo)速、支持采集的(de)多(duō)樣性、保證采集過程安全等特點。

未來(lái)，先進的(de)數據采集技術并不簡單的(de)将數據通(tōng)過傳感器進行采集，而是構建一個(gè)多(duō)數據融合的(de)數據環境，使産品全生命周期的(de)各類要素信息能實現同步采集、管理(lǐ)和(hé)調用(yòng)。此外，需要盡可(kě)能全地采集設備全生命周期各類要素相關的(de)數據和(hé)信息，打破以往設備獨立感知和(hé)信息孤島的(de)壁壘，建立一個(gè)統一的(de)數據環境，這(zhè)些信息包括設備運行的(de)狀态參數、工況數據、設備使用(yòng)過程中的(de)環境參數、設備維護保養記錄以及績效類數據等。最後，在先進的(de)數據采集技術下(xià)，改變現有被動式的(de)傳感與通(tōng)信技術，實現按需進行數據的(de)收集與傳送，即在相同的(de)傳感與傳輸條件下(xià)針對(duì)日常監控、狀态變化(huà)、決策需求變化(huà)以及相關活動目标和(hé)分(fēn)析需求，自主調整數據采集與傳輸的(de)數量、頻(pín)次等屬性，從而實現主動式、應激式傳感與傳輸模式，提高(gāo)數據感知的(de)效率、質量、敏捷度，實現數據采集的(de)自适應管理(lǐ)和(hé)控制。

2）數據管理(lǐ)技術

各種工業場(chǎng)景中存在大(dà)量多(duō)源異構數據，例如結構化(huà)與非結構化(huà)數據。每一類型數據都需要高(gāo)效的(de)存儲管理(lǐ)方法與異構的(de)存儲引擎，但現有大(dà)數據技術難以滿足全部要求。以非結構化(huà)數據爲例，特别是對(duì)海量設計文件、仿真文件、圖片、文檔等，需要按産品生命周期、項目、BOM結構等多(duō)種維度進行靈活有效的(de)組織、查詢，同時(shí)需要對(duì)數據進行批量分(fēn)析、建模，對(duì)于分(fēn)布式文件系統和(hé)對(duì)象存儲系統均存在技術盲點。另外從使用(yòng)角度上，異構數據需要從數據模型和(hé)查詢接口方面實現一體化(huà)的(de)管理(lǐ)。例如在物(wù)聯網數據分(fēn)析中，需要大(dà)量關聯傳感器部署信息等靜态數據，而此類操作通(tōng)常需要将時(shí)間序列數據與結構化(huà)數據進行跨庫連接，因而先進的(de)數據管理(lǐ)技術需要針對(duì)多(duō)模态工業大(dà)數據進行統一協同管理(lǐ)。

3）數據分(fēn)析技術

工業大(dà)數據分(fēn)析技術包括多(duō)種技術，最常用(yòng)的(de)有K均值、BP神經網絡、遺傳算(suàn)法和(hé)貝葉斯理(lǐ)論等。其中K均值是最常用(yòng)的(de)主流聚類分(fēn)析算(suàn)法，BP神經網絡是較先進的(de)數據挖掘分(fēn)析方法。使用(yòng)工業數據之前，許多(duō)用(yòng)戶不知道期望的(de)目标，并且無法獲取更多(duō)的(de)數據應用(yòng)背景知識，可(kě)以利用(yòng)K均值算(suàn)法構建一個(gè)自動聚類分(fēn)析的(de)大(dà)數據模式。比如通(tōng)過分(fēn)析後能夠自動将工業設計數據劃分(fēn)爲高(gāo)、中、低等檔次，企業可(kě)以把高(gāo)檔設計案例推薦給用(yòng)戶，促進商務達成。BP神經網絡可(kě)以通(tōng)過機器學習(xí)獲取相關指标關鍵特征，從而通(tōng)過網絡算(suàn)法構建一個(gè)分(fēn)類的(de)預測系統，這(zhè)樣可(kě)以用(yòng)于判斷日常運行趨勢，在設備的(de)智能化(huà)健康維護中就較多(duō)的(de)應用(yòng)到這(zhè)項技術。當前先進的(de)數據分(fēn)析技術包括以下(xià)幾個(gè)方面：

（1）強機理(lǐ)業務的(de)分(fēn)析技術。工業過程通(tōng)常是基于“強機理(lǐ)”的(de)可(kě)控過程，存在大(dà)量理(lǐ)論模型，刻畫(huà)了(le)現實世界中的(de)物(wù)理(lǐ)、化(huà)學、生化(huà)等動态過程。另外，也(yě)存在著(zhe)很多(duō)的(de)閉環控制、調節邏輯，讓過程朝著(zhe)設計的(de)目标逼近。在傳統的(de)數據分(fēn)析技術上，很少考慮機理(lǐ)模型（完全是數據驅動）、也(yě)很少考慮閉環控制邏輯的(de)存在。

（2）低質量數據的(de)處理(lǐ)技術。低質量數據會改變不同變量之間的(de)函數關系，這(zhè)給工業大(dà)數據分(fēn)析帶來(lái)災難性的(de)影(yǐng)響。現實中，制造業企業的(de)低質量數據普遍存在，例如ERP系統中物(wù)料存在“一物(wù)多(duō)碼”問題，無效工況、重名工況、非實時(shí)等數據質量問題也(yě)大(dà)量存在。這(zhè)些數據質量問題都大(dà)大(dà)限制了(le)對(duì)數據的(de)深入分(fēn)析，因而需要在數據分(fēn)析工作之前進行系統的(de)數據治理(lǐ)。

工業應用(yòng)中因爲技術可(kě)行性、實施成本等原因，很多(duō)關鍵的(de)量沒有被測量、或沒有被充分(fēn)測量（時(shí)間/空間采樣不夠、存在缺失等）、或沒有被精确測量（數值精度低），這(zhè)就要求分(fēn)析算(suàn)法能夠在“不完備”“不完美(měi)”“不精準”的(de)數據條件下(xià)工作。在技術路線上，可(kě)大(dà)力發展基于工業大(dà)數據分(fēn)析的(de)“軟”測量技術，即通(tōng)過大(dà)數據分(fēn)析，建立指标間的(de)關聯關系模型，通(tōng)過易測的(de)過程量去推斷難測的(de)過程量，提升生産過程的(de)整體可(kě)觀可(kě)控。

「 2.工業大(dà)數據發展趨勢 」

随著(zhe)智能制造與工業互聯網概念的(de)深入，工業産業進入了(le)新一輪的(de)全球性革命，互聯網、大(dà)數據與工業的(de)融合發展成爲了(le)新型工業體系的(de)核心，工業大(dà)數據的(de)應用(yòng)将帶來(lái)工業生産與管理(lǐ)環節的(de)極大(dà)的(de)升級和(hé)優化(huà)，其價值正在逐步體現和(hé)被認可(kě)。

工業大(dà)數據是推進工業數字化(huà)轉型的(de)重要技術手段，需要“業務、技術、數據“的(de)融合。這(zhè)就要求從業務的(de)角度去審視當前的(de)改進方向，從IT、OT、管理(lǐ)技術角度去思考新的(de)運作模式、新的(de)數據平台、應用(yòng)和(hé)分(fēn)析需求，從數據的(de)角度審視如何通(tōng)過信息的(de)融合、流動、深度加工等手段，全面、及時(shí)、有效地構建反映物(wù)理(lǐ)世界的(de)邏輯視圖，支撐決策與業務。因此，工業大(dà)數據的(de)發展将呈現以下(xià)發展趨勢：

（1）數據大(dà)整合、數據規範統一。工業企業逐步加強工業大(dà)數據采集、交換與集成，打破數據孤島，實現數據跨層次、跨環節、跨系統的(de)大(dà)整合，在宏觀上從多(duō)個(gè)維度建立切實可(kě)行的(de)工業大(dà)數據标準體系，實現數據規範的(de)統一。另一方面，在實際應用(yòng)中逐步實現工業軟件、物(wù)聯設備的(de)自主可(kě)控，實現高(gāo)端設備的(de)讀寫自由。

（2）機器學習(xí)，數據到模型的(de)自動建模。在實現大(dà)數據采集、集成的(de)基礎上，推進工業全鏈條的(de)數字化(huà)建模和(hé)深化(huà)工業大(dà)數據分(fēn)析，将各領域各環節的(de)經驗、工藝參數和(hé)模型數字化(huà)，形成全生産流程、全生命周期的(de)數字鏡像，并構造從經驗到模型的(de)機器學習(xí)系統，以實現從數據到模型的(de)自動建模。

（3）構建不同領域專業數據分(fēn)析算(suàn)法。在大(dà)數據技術領域通(tōng)用(yòng)算(suàn)法的(de)基礎上，不斷構建工業領域專業的(de)算(suàn)法，深度挖掘工業系統的(de)物(wù)理(lǐ)化(huà)學原理(lǐ)、工藝、制造等知識，滿足企業對(duì)工業數據分(fēn)析結果高(gāo)置信度的(de)要求。

（4）數據結果通(tōng)過3D工業場(chǎng)景可(kě)視化(huà)呈現。進行數據和(hé)3D工業場(chǎng)景的(de)可(kě)視化(huà)呈現，将數據結果直觀的(de)展示給用(yòng)戶，增加工業數據的(de)可(kě)使用(yòng)度。通(tōng)過3D工業場(chǎng)景的(de)可(kě)視化(huà)，實現制造過程的(de)透明(míng)化(huà)，有利于過程協同。

「 3.工業大(dà)數據市場(chǎng)縱覽 」

目前，國内外做(zuò)大(dà)數據的(de)廠商主要分(fēn)爲兩類：一類是已經具有獲取大(dà)數據能力的(de)公司，他(tā)們利用(yòng)自身優勢地位沖擊著(zhe)大(dà)數據領域，并占據著(zhe)市場(chǎng)主導地位。主要包括IBM、SAP、HPE、Teradata、Oracle、Microsoft等老牌廠商，谷歌(gē)、亞馬遜、百度、騰訊、阿裏巴巴等互聯網巨頭，以及華爲、浪潮、中興等國内領軍企業，涵蓋了(le)數據采集、數據存儲、數據分(fēn)析、數據可(kě)視化(huà)以及數據安全等領域。

另一類是初創的(de)大(dà)數據公司，他(tā)們針對(duì)市場(chǎng)需求，爲市場(chǎng)帶來(lái)創新方案并推動技術發展。國外如專注Hadoop技術的(de)三家公司Cloudera、Hortonworks（兩家公司已合并）和(hé)MapR（已被HPE收購(gòu)），以及Palantir、Splunk、Tableau（已被Salesforce收購(gòu)）等，其中Palantir被稱爲矽谷最神秘獨角獸的(de)大(dà)數據挖掘公司，Splunk從日志分(fēn)析工具起家，當前已成爲機器數據分(fēn)析龍頭企業；國内有航天雲網、樹根互聯、石化(huà)盈科等一批具有制造基因的(de)企業，他(tā)們具有較強數據彙聚能力，還(hái)包括星環科技、天雲大(dà)數據、昆侖智彙、美(měi)林(lín)數據、東方國信、Kyligence等技術型企業，他(tā)們在數據存儲、數據建模、分(fēn)析處理(lǐ)等領域不斷突破核心技術。

「 4.工業大(dà)數據産業發展 」

工業大(dà)數據技術及應用(yòng)将成爲未來(lái)提升制造業生産力、競争力、創新能力的(de)關鍵要素，是驅動産品智能化(huà)、生産過程智能化(huà)、管理(lǐ)智能化(huà)、服務智能化(huà)、新業态新模式智能化(huà)，以及支撐制造業轉型和(hé)構建開放、共享、協作的(de)智能制造産業生态的(de)重要基礎，對(duì)實施智能制造戰略具有十分(fēn)重要地推動作用(yòng)。

當前，我國的(de)大(dà)數據産業增長(cháng)迅速，産業規模持續放大(dà)。大(dà)數據産業主要涵蓋三個(gè)層次：基礎支撐、數據服務和(hé)融合應用(yòng)相互交融，協力構建了(le)完整的(de)大(dà)數據産業鏈。

基礎支撐是整個(gè)大(dà)數據産業的(de)核心，它提供了(le)大(dà)數據産品和(hé)服務正常運轉所需的(de)多(duō)樣化(huà)軟硬件資源，包括大(dà)數據存儲管理(lǐ)系統、大(dà)數據網絡和(hé)計算(suàn)等系統資源管理(lǐ)平台，大(dà)數據管理(lǐ)平台，以及大(dà)數據相關硬件設備等。其中，大(dà)數據存儲、網絡和(hé)計算(suàn)相關的(de)軟硬件産品和(hé)服務，爲海量數據的(de)存儲、傳輸和(hé)分(fēn)析挖掘奠定了(le)堅實基礎，代表廠商有專注Hadoop發行版的(de)星環科技、紅象雲騰和(hé)天雲大(dà)數據，傳統數據庫廠商人(rén)大(dà)金倉和(hé)南(nán)大(dà)通(tōng)用(yòng)，研發新型分(fēn)布式數據庫的(de)巨杉數據庫、PingCAP等，以及華爲、聯想、浪潮、中興等硬件廠商。

數據服務是圍繞各類應用(yòng)和(hé)市場(chǎng)需求，提供輔助性的(de)服務，包括前端的(de)數據采集、中端的(de)流處理(lǐ)、批處理(lǐ)、即時(shí)查詢、數據分(fēn)析和(hé)數據挖掘，末端的(de)數據可(kě)視化(huà)，以及貫穿始終的(de)數據安全。這(zhè)一層通(tōng)常與上層融合應用(yòng)相伴，同時(shí)也(yě)可(kě)作爲獨立的(de)環節提供技術服務。由于數據服務層覆蓋了(le)數據處理(lǐ)各個(gè)流程，積極布局各個(gè)細分(fēn)領域的(de)廠商也(yě)較多(duō)。例如在商業智能領域有阿裏雲，其Quick BI是第一個(gè)入選Gartner數據分(fēn)析和(hé)商業智能領域的(de)中國産品，還(hái)包括永洪科技、帆軟和(hé)亦策等；數據可(kě)視化(huà)領域的(de)海智BDP、海雲數據、數字冰雹相對(duì)領先；在數據安全領域有網智天元、安恒信息、明(míng)朝萬達等。

融合應用(yòng)是大(dà)數據産業的(de)發展重點，主要包含了(le)通(tōng)用(yòng)性的(de)營銷大(dà)數據，以及與行業緊密相關的(de)各類細分(fēn)領域整體解決方案。在大(dà)數據應用(yòng)市場(chǎng)，一種廠商緻力于爲企業提供大(dà)數據驅動的(de)數字營銷解決方案；另一種廠商則基于自身在數據技術的(de)積累，結合不同行業的(de)屬性和(hé)需求，向客戶提供具有行業特色的(de)整體解決方案，在這(zhè)一細分(fēn)市場(chǎng)，布局的(de)廠商衆多(duō)，例如以阿裏巴巴、百度、騰訊、人(rén)大(dà)金倉、浪潮、曙光(guāng)、南(nán)大(dà)通(tōng)用(yòng)爲代表的(de)互聯網企業、雲計算(suàn)和(hé)數據庫廠商紛紛加大(dà)應用(yòng)推廣力度，在國際先進的(de)開源大(dà)數據技術基礎上，形成各自的(de)大(dà)數據平台、和(hé)應用(yòng)服務解決方案，以支撐不同行業不同領域的(de)專業化(huà)應用(yòng)；還(hái)包括昆侖數據、美(měi)林(lín)數據、百分(fēn)點等廠商，也(yě)均形成了(le)面向不同行業/領域的(de)大(dà)數據應用(yòng)，如百分(fēn)點已推出了(le)基于大(dà)數據的(de)智能營銷、基于大(dà)數據的(de)智能供應鏈、基于大(dà)數據的(de)智能工廠、基于大(dà)數據的(de)智能物(wù)聯網這(zhè)四大(dà)智能場(chǎng)景解決方案。

随著(zhe)大(dà)數據技術與開源社區(qū)的(de)不斷成熟，爲數據技術向工業界滲透提供了(le)必要的(de)條件，同時(shí)也(yě)爲高(gāo)端制造企業提供了(le)巨大(dà)的(de)市場(chǎng)機會。近年來(lái)，國際知名工業企業、軟件公司和(hé)科研機構紛紛研發面向制造業轉型升級的(de)大(dà)數據産品和(hé)系統。

美(měi)國通(tōng)用(yòng)電氣（GE）公司聯合Pivotal向全球開放工業互聯網雲平台Predix，将各種工業資産設備接入雲端提供資産性能管理(lǐ)（APM）和(hé)運營優化(huà)服務；丹麥維斯塔斯（Vestas）公司聯合IBM基于Big Insights大(dà)數據平台分(fēn)析氣象、傳感器、衛星、地圖數據支持風場(chǎng)選址、運行評估等工作；德國西門子公司面向工業大(dà)數據應用(yòng)，整合遠(yuǎn)程維護、數據分(fēn)析及網絡安全等一系列現有技術和(hé)新技術，推出Sinalytics數字化(huà)服務平台，作爲其實現工業4.0的(de)重要抓手；德國SAP公司開發了(le)面向物(wù)聯網應用(yòng)和(hé)實時(shí)數據處理(lǐ)的(de)HANA大(dà)數據平台，并利用(yòng)其在傳統企業信息化(huà)ERP系統上的(de)優勢，推動HANA與信息化(huà)系統的(de)集成；美(měi)國航空航天局（NASA）對(duì)外開放自身數據，幫助進行火星8生命探測和(hé)天文觀測等。此外，矽谷新興創業公司也(yě)在積極投入工業數據的(de)技術和(hé)産品研發，典型代表有Uptake Tech公司，爲建築、航空、采礦行業提供分(fēn)析與預測軟件服務。