海量資料奔騰 動態挑戰來襲 IBM Streams Computing江河運算 率先以微秒展現資料關鍵價值

  • IBM完備針對海量資料不同特性,包括資料量大(Volume)、變化速度快(Velocity)且種類繁多(Variety)的分析能力,且針對業界鮮少著墨的流動性資料(Data In-Motion)分析,提出「江河運算」(Streams Computing)技術應戰。在台灣將鎖定電子製造業、政府單位、醫療機構、金融產業等需求,協助企業挖掘自身的資料煉金術。
  • 「江河運算」奠基於IBM海量資料的InfoSphere Streams系統,針對動態的海量資料進行即時分析,其分析反應速度更可控制在微秒之間。

 

面對海量資料環境,尤其是國內業者鮮少對快速變化的動態資料(Data In-Motion)分析著墨,台灣IBM率先提出「江河運算」(Streams Computing)技術 – IBM InfoSphere Streams系統,並提出完整海量資料分析平台架構與解決方案,能滿足客戶所處的不同產業與運算環境對於海量資料分析的需求。「江河運算」奠基IBM海量資料InfoSphere Streams系統,針對動態且非結構化海量資料進行即時分析,不須耗費資料倉儲處理時間,可隨時處理即時流動的多元結構資料載入。台灣IBM整合全球資源,並結合硬體、軟體、顧問諮詢服務、研發中心各單位,並鎖定電子製造、政府單位、醫療機構、金融等產業,協助企業在面臨資料洪流的之際,制訂決策、掌握商機。台灣IBM軟體研發中心和全球業務諮詢服務事業群合作,從今年四月起將於清華大學工業工程研究所合開六堂資料挖礦課程,為台灣培養更多人才。

 

資料量大(Volume)、變化速度快(Velocity)且種類繁多(Variety)為海量資料的共同特徵。根據國際研究暨顧問機構Gartner統計,非結構化資料至2020年將增長44倍,而在所有新增長的資料裡,非結構化資料比重將高達80%。企業處理複雜的分析運算時,需考慮多元來源與處理系統的擴充性,包括過去多被忽略不斷流動變化的資料(Data In-Motion),及其他訊號、影像、聲音或表面上看似無關聯的數據類型。對此,IBM祭出「江河運算」(Streams Computing)技術應戰。面對海量資料的多變特性,IBM提出應重視當下即用資料的速度(Velocity),且強調只有同時具備能分析此3V(量大、速度快、多樣)海量資料特質者,才能為客戶創造商業價值(Value)。

 

台灣IBM軟體事業處副總經理林世偉表示,越來越多企業面臨高達100 Terabytes以上的龐大資料量,且在分秒必爭的商業環境,許多情況資料分析講求即時性,不容許企業好整以暇等候資料蒐集,才細火慢燉分析;當涉及部分醫療照護、電子製造業製程改良的資料分析,甚至得在微秒間即獲得結果,並在事件當下立即做出決斷,才得產生價值。當前資料倉儲以每週或每月為基期,進行批次性的資料統整模式,愈來愈難以支援高階商業分析。相對於傳統靜態資料庫,動態資料串流(Streaming Data)的異動頻繁、流入量龐大、使用者需要即時回應等特性,可藉「江河運算」自動彙集分析數據,直接將數據透過分析得知,因此在處理上不需等待資料倉儲,而達到多樣化且即時處理的應用,好因應需保持高度彈性的市場競爭。

 

源自與美國國土安全部合作的反恐專案所研發而成,IBM旗下的InfoSphere Streams是新一代分析處理方法,提供先進的運算平台,針對動態的海量資料進行即時分析,利用多節點PC伺服器的記憶體大批處理,不須等待資料儲存,可隨即時流動的資料載入,其分析反應速度更可控制在微秒(micro-second)之間。此外InfoSphere Streams平台可與資料倉儲、資料庫、業務流程管理等整合,其中包括基於Hadoop技術、針對大規模靜態資料,可作多節點分散式運算,得隨時增加節點的InfoSphere BigInsights(善用大量未開發資料)與InfoSphere Streams分別針對不同海量資料特性與分析需求,形成良好互補,架構完整的分析平台。

 

林世偉指出,IBM獨步業界的InfoSphere Streams,特別適用於智慧電表等感測器(sensor)產生的資料、網路/系統/Web伺服器/應用程式伺服器的Data Log、需要高速交易的金融資料、以及多元來源,包括訊號、影像、聲音或表面上看似無關聯的數據類型。以電子製造業為例,當製程微縮(Die Shrink)需求大增時,資料量與複雜度更將瞬間擴大百倍以上,InfoSphere Streams可有效輔助半導體廠商在工程數據分析(EDAEngineer Data Analysis)系統的限制。IBM在台灣也將鎖定電子製造業、政府單位、醫療機構、金融產業資料分析需求,協助客戶「從沙漠中煉金」。

 

目前IBM全球已與加拿大安大略理工大學成功合作開發,以InfoSphere Streams即時監控早產兒病房,彙集不斷由感測器監測產出的心跳、呼吸等醫學資料,協助醫護人員提前24小時預測早產兒加護病房中敗血症引發的感染,即時採取治療。瑞典斯德哥爾摩也利用此系統,分析整合RFID、影像處理、電子金流等資訊,讓用路人根據感測器蒐集的最新路況,選擇最佳效率行車路線,並依車輛燃料種類等資訊計算碳排量,收取道路費用,7個月內已降低都會區交通流量20%,空氣品質改善 2%10%

 

Gartner 最新市場報告顯示,2011IBM中介軟體在全球市佔率以32.1%居冠,連續11年穩霸全球中介軟體市場;台灣IDC(國際數據公司)亦指出,2011年下半年度,台灣IBM以市佔率35.8%,穩居台灣中介軟體市場之冠。「商業分析與優化」(Business Analytics and Optimization, BAO)為IBM全球四大成長動能之一,IBM全球在2011年已由「商業分析與優化」驅動16%顯著利潤增長。過去5年間,IBM 投注超過140億美元,進行高達28項分析併購,在海量資料的技術與服務研發投資一億美元,以發展出高端的軟體、系統等能力,協助客戶因應管理多元、快速且大量的資料。「商業分析與優化」預計至2015年全球相關營收上看160億美元,IBM在此領域的全球產業專業顧問群近9000人,產出數百項分析專利,是業界唯一齊備軟硬體解決方案、顧問諮詢服務且同時專注於產品技術研發、校園深耕的領導業者

 

 

【相關新聞資料】