Yahoo!將Hadoop從科學技術 提昇至全球最大網路部署及商業應用主流

 2010630新聞資料

 
 
Yahoo!Hadoop從科學技術
提昇至全球最大網路部署及商業應用主流
 
(美國加州訊,Hadoop高峰會) 2010/6/29 –帶領Apache Hadoop開發腳步的全球網路領導者Yahoo!,今日宣布大幅提昇開源碼軟體功能,可加速主流企業普遍採用的機會。Hadoop是大量資料與雲端運算中最重要的開源碼技術,可協助企業更有價值地運用資料,並加強業務管理。
 
隨著網路使用持續成長及資料暴增,不論何種規模的企業,都面臨如何安全且有效地管理資料的挑戰。Yahoo!身為全球最大網路公司之一,原先僅將Hadoop技術運用於科學研究專案,之後便將Hadoop發展成企業級的跨服務平台,協助Yahoo!逐步發展建立在互信及高相關性基礎上的個人化使用經驗。Hadoop在熱門的Yahoo!全球首頁、Yahoo!搜尋、Yahoo!電子信箱以及其他多項主要服務均扮演著舉足輕重的角色。
 
Yahoo!執行副總裁暨產品長Blake Irving表示,「Hadoop是科學與大量資料結合所產生的結果,也是一種技術支援,可強化Yahoo!的創新服務與廣告產品在全球最先進數位領域的地位。」 Irving也進一步指出,「Yahoo!在雲端運算與Hadoop的技術,讓Yahoo!能夠快速將產品內容與廣告個人化,提供高度相關使用者經驗,同時保持Yahoo!六億使用者對Yahoo!的信任。」
 
以安全防護、方便使用性及企業信任度提升Hadoop性能
在Yahoo!主辦的第三屆Hadoop高峰會,Yahoo!宣布推出結合安全防護與Oozie功能的Hadoop試用版。Oozie是Yahoo!管理Hadoop的作業流程引擎。這項開放資源可提升企業對管理商業機密資料的掌控度,並幫助企業處理複雜程序。兼具安全防護與Oozie功能的Hadoop可相互整合,現已通過Yahoo!數萬台伺服器的測試與部署。
 
本屆Hadoop高峰會主要貢獻包括:
·        有安全防護功能的Hadoop:一組大幅升級的Hadoop安全防護套件,擁有強大的驗證系統
    結合Hadoop與Kerberos這項成熟的開源碼驗證標準,讓用戶能進行更多安全性的整合與分享資料。
    讓不同的多方租戶或使用硬體的內部多方用戶可透過驗證方式安全存取和處理各自的機密資料。
 
·        Hadoop流程引擎Oozie:Oozie是一組開源碼作業流程管理與協調引擎,幫助管理Hadoop作業流程,包括Hadoop分散式檔案系統(Distributed File System)、Pig,和MapReduce。
    針對管理複雜工作流程與全球規模資料轉置ETL(萃取、轉置、載入)所設計。
    結合安全防護系統至Hadoop。
    經過Yahoo!的測試與安裝使用。
 
IDC研究總監Melanie Posey表示,「所有產業都在尋求如何處理不斷累積的大量資料,而Apache Hadoop就是處理大量資料的有效解決方案。Hadoop目前已發展成熟,再加上Kerberos驗證功能,現已成為企業級的雲端運算技術。」Posey進一步表示,「任何規模的組織無須從頭進行內部科學實驗,便可將Yahoo!在Hadoop上的投資與部署運用至自身系統。 」
 
Hadoop與雲端運算的技術與研究
Yahoo! Labs一直是使用和發展各類型開源碼雲端軟體的先鋒,也是最早採用Hadoop的用戶。自2005年以來,Yahoo! Labs一直利用Hadoop進行實際的網路規模科學測試,並利用Yahoo!的全球網路來調查消費者行為、社會系統、機器學習方法,以及許多影響網路發展的科學。
 
Yahoo! Labs科學家發展出的數項方案已移作Yahoo!雲端運作之用,有部分方案已開放原始碼給社群。例如Pig(一種可作業於Hadoop上處理資料程序的程式語言),以及Zookeeper(一種能在分散式運算環境中管理效能的服務,並於最近獲得USENIX ATC ‘10最佳論文獎)。
 
此外,Yahoo!將持續和全球學術界和科學團體密切合作,分別成立Open Cirrus™雲端運算研究測試平台,以期將雲端運算研究提昇至國際規模;以及Open Cloud Consortium(開放雲端聯盟)作為研究大規模資料雲端運算系統的測試機構。而知名研究院所,如Carnegie Mellon、加州大學柏克萊分校、康乃爾大學、麻省州立大學Amherst分校,都在Yahoo!的M45超級電腦上使用Hadoop,作為更大範圍的電腦科學研究。
 
(全文完)
雅虎、Yahoo!奇摩和其商標為雅虎公司所有
 
【關於Yahoo! Hadoop
Yahoo!Apache Hadoop的主要貢獻者與使用者。Hadoop2005開始由Yahoo!的一組工作團隊在開源碼專案中所參與開發的系統,原本用來解決公司資料爆增的業務需求。五年後,Yahoo!Hadoop從一個原本僅適用在研究室內20個伺服器的原型系統,發展進階至Yahoo!全球達35,000個伺服器的網路配置及結合雲端服務的全球平台。透過Hadoop協助和分析大量資料,Yahoo!得以提供內容高度相關的產品,並優化使用者的上網經驗。
 
配有安全防護功能與OozieYahoo! Hadoop,可透過Yahoo!開發者社群(Yahoo! Developer Network)取得,網址為
 
【關於Hadoop高峰會】
為促進Hadoop社群的協同合作,Yahoo!於美國加州舉辦第三屆Hadoop高峰會。此活動聚集Hadoop社群領袖,包括AmazonFacebookIBMCloudera,和數百位Hadoop開發者與社群成員。想知道更多Hadoop相關訊息,請參考以下網路連結:
 
【關於Yahoo!奇摩】
Yahoo!為全球消費領導品牌及最重要的網站之ㄧ,每天有數億網友必定造訪Yahoo!,搜尋瀏覽其最關心的人事物;因此,廣告主們能在Yahoo!獲得獨特且受矚目的廣告經驗。Yahoo!在台灣擁有Yahoo!奇摩及國內知名社群網站的無名小站等兩大重要服務平台,提供網友親切、好用、生活化的網路使用環境。根據20105IX創市際『ARO網路測量研究』及AC Nielsen NetWatch等研究機構調查顯示Yahoo!奇摩在網站的流量、不重覆使用者及國內網友的到達率都名列第一,為台灣最受網友歡迎的網路媒體。除服務廣大網友外,Yahoo!奇摩也為企業提供網路廣告及電子商務等兩大網路行銷服務,協助企業客戶提升其整體行銷效益。歡迎至Yahoo!奇摩企業部落格()掌握最新消息。
 
新聞聯絡人:

經典公關 楊貞儀/李彥儒
TEL: 7718-7777 #522/516 Fax: (02)7718-7789
Mobile: 0963-191-486 / 0937-720-085
Yahoo!奇摩黃明怡
TEL: 2360-1794 Fax: (02)2364-8262