云计算时代建立大数据交易所势在必行.docx
《云计算时代建立大数据交易所势在必行.docx》由会员分享，可在线阅读，更多相关《云计算时代建立大数据交易所势在必行.docx（12页珍藏版）》请在冰点文库上搜索。
云计算时代建立大数据交易所势在必行
云计算时代建立大数据交易所势在必行
随着大数据技术的成熟和发展，大数据在商业上的应用越来越广泛，有关大数据的交互、整合、交换、交易的例子也日益增多。
本文就进行大数据交易的一些问题，以及建立大数据交易所的必要性，做一些探讨和研究。
我们认为，建立大数据交易所是势在必行的市场需求。
目前下列公司和机构通常拥有大数据：
大型实体商业公司或电子商务公司，如大型连锁商店walmart，sears等，或amazon，阿里巴巴。
这类公司大都拥有大量的客户数量、长期的客户购卖记录、客户的支付历史等。
这类公司最感兴趣的是客户购物的消费偏好和消费习惯。
目前这类公司的大数据应用包括推荐关联产品和推出其它新的产品、新的服务上。
大型服务公司，如银行、电信服务等公司。
这类公司也拥有客户的某个方面历史消费记录，比如银行可能拥有客户的金融账户收入支出信息，电信公司拥有客户的电话或网络使用历史。
这类公司通常对本行业内推出新的产品和服务，以及寻找潜在客户，降低业务风险较感兴趣，比如热门的推荐系统等。
大型制造企业，如福特汽车公司等。
这类公司因为其大量的客户基础，往往可以在推出新产品服务上使用大数据技术和应用。
大型网络服务公司，如google，XX，yahoo等。
这类公司由于在其服务行业的垄断性，积累有海量的用户在网络虚拟世界的行为信息。
这类公司通过归纳和机器学习等，可以挖掘出非常多有价值的应用产品和服务。
目前使用大数据最好的公司是google。
google广告系统adsense就是利用大数据技术来实现的。
另外，google公司还可以利用大数据做出一些预测，如流感的爆发，政治性事件的预测等。
google公司还进一步推出如自动驾驶等大数据应用，及google眼镜等结合大数据收集与应用于一身的产品应用。
大型社交网站，如facebook，twitter，及其它社交网站如linkedin和其它活跃论坛等。
全世界用户每天都在社交网站上产生大量的内容。
仅facebook每天需要处理的社交信息就达到了500tb之多。
目前这些数据正在被大量的个人开发者和技术公司使用，用来做各种商业服务推荐或新的产品。
政府部门和科研机构的公开数据，如有关天气、交通状态、道路、地质、环境以及科学研究的进展等部分。
美国联邦政府特别提出，将联邦政府各部门的数据开放给公众，这些数据的应用包括自动驾驶、智能交通监测系统等。
除了上述商业机构的大数据之外，国家机构还拥有大量有关国家安全的敏感信息。
本文只讨论商业应用，故不讨论这部分大数据的应用和交互。
一位曾在teradata公司工作的数据专家说过，很多商业公司大约只存储15%的有关他们业务的数据，其余85%数据都存储在其它外部公司或网站上。
大数据时代的技术，使得企业内部的大数据和外部数据的整合、交互变得更加重要。
目前一些商业机构对大数据的应用，不止局限于对自身拥有的大数据进行分析，还需要用到其它方面的大数据。
例子1：
某些金融企业如银行希望和利用获得其用户的社交信息，以便和该金融企业拥有的客户信息整合起来，推出更多的新产品和更好的客户体验。
例子2：
一位医疗保险公司的客户要去某国外城市旅行，在微博上发表了这一信息，医疗保险公司因为事先得到客户的许可，可以从社交媒体（微博）上获得这一信息，根据这位客户的个人特殊身体情况，医疗保险公司马上给该客户发去避免某些当地食物的短信。
例子3：
一家经营连锁旅馆的企业，除了自己网站、各地客房入住等情况外，希望能够获得其它旅游方面的大数据，例如景区旅游人数、租车公司的客户数量、租的汽车的档次等变化等，这些对旅馆的房价定价，经营预期等有着很强的辅助作用。
例子4：
一家初创公司，利用城市交通情况的公开信息（政府信息），结合其用户群上传的即时的城市交通状况（互联终端产生的用户自创信息或社交信息），对交通路线、预测到达时间等进行预测，从而为城市里的驾车人群车流进行更好的服务。
商业公司对外部大数据的整合和交互是未来的大趋势，国外有很多公司已经开始着手这方面的技术和服务，如alteryx、qlikview、tableau、factual等。
对于政府或科研部门公开的大数据信息，商业公司业可以进行整合和分析，比如人口调查、gdp统计、房产信息（美国是公开的）交通情况等。
众多大数据技术公司也已经在这方面发力，如factual、infochimps、socrata等公司。
据gartner预测，到2017年，约三分之二的大数据整合项目，将是企业防火墙之外（外部数据）的整合。
商业公司之间的大数据交互至少有下列几种：
方式一：
两家或两家以上的商业公司，他们从事的服务行业不同，拥有客户的不同方面的信息，他们的服务行业有的具较有强的相关性，整合、交互信息对其中一方或参与各方都能增加新的价值。
方式二：
商业公司对社交网站的客户个人信息数据整合，期望带来新的业务增长点或实行更好的客户服务。
方式三：
商业公司对政府部门的公开信息，进行大数据级别的整合和交互，产生新的商业模式、新业务、或改进客户服务。
方式四：
未来，还会有新的外部大数据的整合方式会产生价值，比如某商业公司进行大量的对外部弱相关的数据的整合，当总量达到一定规模之后，仍然会产生对商业公司自身业务具有巨大价值的信息。
商业公司间的大数据种类众多，几乎大多数的情况下，两个公司之间数据的整合只对其中一方的业务有帮助，或者对双方的业务帮助价值不对等，比如社交媒体的信息对于大众商品销售公司等。
因此，购买大数据的可能性远大于简单数据交换或数据互通。
如何引导，规范大数据的交易，以及提供交易方式、工具等，成为有关部门和大数据技术公司研究的重要课题。
我们认为，要开展大数据的交易，需要解决一系列的问题，例如：
如何引导更多企业开放大数据？
大数据的应用需要更多的企业开发各自行业、领域的数据，市场的参与者越多，市场的交易选择和能找到的价值就越大。
我国政府应该鼓励更多企业开放他们的大数据。
企业间的大数据通过更多的交互和交易，才能最大的价值化。
如何保护大数据的属有权和隐私权？
大数据往往是个人信息的集成，我国对于个人信息隐私的保护有明确法规和引导，大型企业都特别注意对用户的隐私保护。
企业间用来交易的大数据，必须遵守国家有关法律，保护个人隐私和重要信息。
因此，市场能提供的大数据应该更多是经过处理，隐去个人敏感信息，或者直接就是按照区域、人口年龄、收入情况等进行分类集成后的信息。
相关部门可以制定关于大数据交易的法规，引导市场参与者在提供大数据的同时，对于国家安全信息、个人隐私、商业机密等方面进行特别保护和处理。
如何更好地开放政府部门信息？
各国政府都在开放更多的公开信息，建立公开的大数据平台，更好的利用大数据为社会服务和产生价值。
我国政府在这方面也大有可为。
如何找到有价值的外部数据？
商业公司只对自身业务有关的外部数据感兴趣，如何找到强相关或弱相关的外部数据，成为重要的课题。
大数据创业公司可以在提供工具，建立开放的api等方向有所作为。
各类云计算平台也可以提供大数据的api。
我们认为，政府或大数据技术公司等业界，应该创造一些基本的数据处理、归类、分析工具。
为商业公司寻找外部大数据的整合和应用，提供服务和方便。
如何衡量大数据的量和质？
一般说来，一个大数据包，如果包含某一方面的大数据年限越久，覆盖人群或服务方向越多，其价值就越高。
但是同样的大数据，对于不同的潜在买家，可能具有的价值不同。
例如某电子商务网站的客户消费记录，对于一个大型综合类销售公司，和对某一小型单一产品销售公司的价值，差别巨大。
如何对大数据产品进行量和质进行价值上的分类，是进行大数据交易必须解决的问题。
如何规范大数据商品的可重复使用性？
一个大数据包，可能会对不同的外部企业都具有价值，有时而且没有利益冲突。
理论上一个大数据商品，可能可以出卖多次。
对大数据交易，是否产生使用权，属有权的改变？
是否能够再次出售，能否转卖？
能否卖给某位买家的竞争对手？
等问题，都应该进行明确和规定。
如何建立大数据商品交互技术平台、开放api、统一api？
由于大数据的量大，规格众多等特性，大部分时候，大数据的直接转移非常困难或不现实，买家往往需要通过api来使用大数据商品，如何建立统一的api，建立大数据交互的技术平台，也是一个巨大的挑战。
另外，大数据商品，更接近于原始的商品，市场参与者各自带上自己的货物，到一个市场进行交易，类似于摆摊。
由于上述的大数据商品的特性，更加需要建立规范的、方便的交易场所。
大数据商品的交易可能会包含下列过程：
卖家对自己的大数据进行预处理，保证用于交易的大数据商品遵守国家相关的法律和规定；卖家描述自己的大数据包，并描述以往的交易历史，包括历史买家的行业描述等；买家在大数据交易平台上寻找对自己业务有帮助的大数据商品；买卖双方就数据的使用权，数据的转移，数据是否可以再次出售（时间上，竞争对手限制等），是否委托第三方技术公司进行数据分析等等，达成协议；买方支付交易金额，同时大数据商品转移到买方；买方将对大数据商品进行分析或应用，实现大数据商品的价值。
我们认为，由于大数据商品的特殊性，建立大数据交易所，可以对大数据的交易做出权威性的规范，保证交易安全，同时为市场参与者提供工具和帮助。
大数据交易所的重大作用：
大数据交易所可以深化国家有关法律对大数据商品的规范，特别是确保大数据交易的买卖双方遵守国家有关隐私，国家安全，商业机密等方面的法律，保护消费者的信息安全和其它权益；大数据交易所可以引导对大数据商品的规范，对大数据进行定量，定价方面进行引导；大数据交易所应该建立认证系统，确保大数据商品的真实性和价值；大数据交易所应该为市场参与者提供技术上的帮助，帮助市场参与者寻找适合自己的交易方；大数据交易所应该且可以对大数据的转移和使用提供法律上的保障；大数据交易所应该且可以对大数据的转移和使用提供数据安全上的技术保障；大数据交易所，应该确保资金的转移和安全；大数据交易所，还可以开放大数据期货，即对未来某时间段将要产生的大数据，进行交易。
由于市场参与者大都为商业公司，大数据的交易更像是实体商品交易而不同于股票交易。
随着交易的进行和市场参与者的增多，大数据商品的种类会逐渐丰富，从而吸引更多的市场参与者。
大数据交易的参与者至少包含下列几类：
初端卖家，即提供某方面信息的大数据商品卖家，该类用户可能通过从事的行业服务，积累某个方面的数据；终端买家，对相关行业服务信息由需求的商业服务公司，买来大数据提升自己的服务或产品；大数据投资者，这类参与者发现或认可某大数据商品的价值，可以先买入，再买给有需求的大数据终端买家；加工商，由于大数据商品的高技术含量，大数据技术公司可能先买入原始数据，经过处理，集成后，再卖给终端买家。
市场参与者可能具有多重交易身份，既是大数据的提供者，也是大数据的消费者。
各类市场参与者的交易，能使大数据交易市场更加活跃，增加市场的流动性，引来更多的大数据商品的加入和交易。
综上所述，建立大数据交易所，虽然在技术上、法律上、流程上尚有一系列需要解决的问题，但我们认为，这是一个可以逐步进行，逐步解决的过程。
我们认为，建立大数据交易所有非常大的必要性和可行性，建立大数据交易所是势在必行的市场需求。
【责任编辑刘波成】
隨著大數據技術的成熟和發展，大數據在商業上的應用越來越廣泛，有關大數據的交互、整合、交換、交易的例子也日益增多。
本文就進行大數據交易的一些問題，以及建立大數據交易所的必要性，做一些探討和研究。
我們認為，建立大數據交易所是勢在必行的市場需求。
目前下列公司和機構通常擁有大數據：
大型實體商業公司或電子商務公司，如大型連鎖商店walmart，sears等，或amazon，阿裡巴巴。
這類公司大都擁有大量的客戶數量、長期的客戶購賣記錄、客戶的支付歷史等。
這類公司最感興趣的是客戶購物的消費偏好和消費習慣。
目前這類公司的大數據應用包括推薦關聯產品和推出其它新的產品、新的服務上。
大型服務公司，如銀行、電信服務等公司。
這類公司也擁有客戶的某個方面歷史消費記錄，比如銀行可能擁有客戶的金融賬戶收入支出信息，電信公司擁有客戶的電話或網絡使用歷史。
這類公司通常對本行業內推出新的產品和服務，以及尋找潛在客戶，降低業務風險較感興趣，比如熱門的推薦系統等。
大型制造企業，如福特汽車公司等。
這類公司因為其大量的客戶基礎，往往可以在推出新產品服務上使用大數據技術和應用。
大型網絡服務公司，如google，XX，yahoo等。
這類公司由於在其服務行業的壟斷性，積累有海量的用戶在網絡虛擬世界的行為信息。
這類公司通過歸納和機器學習等，可以挖掘出非常多有價值的應用產品和服務。
目前使用大數據最好的公司是google。
google廣告系統adsense就是利用大數據技術來實現的。
另外，google公司還可以利用大數據做出一些預測，如流感的爆發，政治性事件的預測等。
google公司還進一步推出如自動駕駛等大數據應用，及google眼鏡等結合大數據收集與應用於一身的產品應用。
大型社交網站，如facebook，twitter，及其它社交網站如linkedin和其它活躍論壇等。
全世界用戶每天都在社交網站上產生大量的內容。
僅facebook每天需要處理的社交信息就達到瞭500tb之多。
目前這些數據正在被大量的個人開發者和技術公司使用，用來做各種商業服務推薦或新的產品。
政府部門和科研機構的公開數據，如有關天氣、交通狀態、道路、地質、環境以及科學研究的進展等部分。
美國聯邦政府特別提出，將聯邦政府各部門的數據開放給公眾，這些數據的應用包括自動駕駛、智能交通監測系統等。
除瞭上述商業機構的大數據之外，國傢機構還擁有大量有關國傢安全的敏感信息。
本文隻討論商業應用，故不討論這部分大數據的應用和交互。
一位曾在teradata公司工作的數據專傢說過，很多商業公司大約隻存儲15%的有關他們業務的數據，其餘85%數據都存儲在其它外部公司或網站上。
大數據時代的技術，使得企業內部的大數據和外部數據的整合、交互變得更加重要。
目前一些商業機構對大數據的應用，不止局限於對自身擁有的大數據進行分析，還需要用到其它方面的大數據。
例子1：
某些金融企業如銀行希望和利用獲得其用戶的社交信息，以便和該金融企業擁有的客戶信息整合起來，推出更多的新產品和更好的客戶體驗。
例子2：
一位醫療保險公司的客戶要去某國外城市旅行，在微博上發表瞭這一信息，醫療保險公司因為事先得到客戶的許可，可以從社交媒體（微博）上獲得這一信息，根據這位客戶的個人特殊身體情況，醫療保險公司馬上給該客戶發去避免某些當地食物的短信。
例子3：
一傢經營連鎖旅館的企業，除瞭自己網站、各地客房入住等情況外，希望能夠獲得其它旅遊方面的大數據，例如景區旅遊人數、租車公司的客戶數量、租的汽車的檔次等變化等，這些對旅館的房價定價，經營預期等有著很強的輔助作用。
例子4：
一傢初創公司，利用城市交通情況的公開信息（政府信息），結合其用戶群上傳的即時的城市交通狀況（互聯終端產生的用戶自創信息或社交信息），對交通路線、預測到達時間等進行預測，從而為城市裡的駕車人群車流進行更好的服務。
商業公司對外部大數據的整合和交互是未來的大趨勢，國外有很多公司已經開始著手這方面的技術和服務，如alteryx、qlikview、tableau、factual等。
對於政府或科研部門公開的大數據信息，商業公司業可以進行整合和分析，比如人口調查、gdp統計、房產信息（美國是公開的）交通情況等。
眾多大數據技術公司也已經在這方面發力，如factual、infochimps、socrata等公司。
據gartner預測，到2017年，約三分之二的大數據整合項目，將是企業防火墻之外（外部數據）的整合。
商業公司之間的大數據交互至少有下列幾種：
方式一：
兩傢或兩傢以上的商業公司，他們從事的服務行業不同，擁有客戶的不同方面的信息，他們的服務行業有的具較有強的相關性，整合、交互信息對其中一方或參與各方都能增加新的價值。
方式二：
商業公司對社交網站的客戶個人信息數據整合，期望帶來新的業務增長點或實行更好的客戶服務。
方式三：
商業公司對政府部門的公開信息，進行大數據級別的整合和交互，產生新的商業模式、新業務、或改進客戶服務。
方式四：
未來，還會有新的外部大數據的整合方式會產生價值，比如某商業公司進行大量的對外部弱相關的數據的整合，當總量達到一定規模之後，仍然會產生對商業公司自身業務具有巨大價值的信息。
商業公司間的大數據種類眾多，幾乎大多數的情況下，兩個公司之間數據的整合隻對其中一方的業務有幫助，或者對雙方的業務幫助價值不對等，比如社交媒體的信息對於大眾商品銷售公司等。
因此，購買大數據的可能性遠大於簡單數據交換或數據互通。
如何引導，規范大數據的交易，以及提供交易方式、工具等，成為有關部門和大數據技術公司研究的重要課題。
我們認為，要開展大數據的交易，需要解決一系列的問題，例如：
如何引導更多企業開放大數據？
大數據的應用需要更多的企業開發各自行業、領域的數據，市場的參與者越多，市場的交易選擇和能找到的價值就越大。
我國政府應該鼓勵更多企業開放他們的大數據。
企業間的大數據通過更多的交互和交易，才能最大的價值化。
如何保護大數據的屬有權和隱私權？
大數據往往是個人信息的集成，我國對於個人信息隱私的保護有明確法規和引導，大型企業都特別註意對用戶的隱私保護。
企業間用來交易的大數據，必須遵守國傢有關法律，保護個人隱私和重要信息。
因此，市場能提供的大數據應該更多是經過處理，隱去個人敏感信息，或者直接就是按照區域、人口年齡、收入情況等進行分類集成後的信息。
相關部門可以制定關於大數據交易的法規，引導市場參與者在提供大數據的同時，對於國傢安全信息、個人隱私、商業機密等方面進行特別保護和處理。
如何更好地開放政府部門信息？
各國政府都在開放更多的公開信息，建立公開的大數據平臺，更好的利用大數據為社會服務和產生價值。
我國政府在這方面也大有可為。
如何找到有價值的外部數據？
商業公司隻對自身業務有關的外部數據感興趣，如何找到強相關或弱相關的外部數據，成為重要的課題。
大數據創業公司可以在提供工具，建立開放的api等方向有所作為。
各類雲計算平臺也可以提供大數據的api。
我們認為，政府或大數據技術公司等業界，應該創造一些基本的數據處理、歸類、分析工具。
為商業公司尋找外部大數據的整合和應用，提供服務和方便。
如何衡量大數據的量和質？
一般說來，一個大數據包，如果包含某一方面的大數據年限越久，覆蓋人群或服務方向越多，其價值就越高。
但是同樣的大數據，對於不同的潛在買傢，可能具有的價值不同。
例如某電子商務網站的客戶消費記錄，對於一個大型綜合類銷售公司，和對某一小型單一產品銷售公司的價值，差別巨大。
如何對大數據產品進行量和質進行價值上的分類，是進行大數據交易必須解決的問題。
如何規范大數據商品的可重復使用性？
一個大數據包，可能會對不同的外部企業都具有價值，有時而且沒有利益沖突。
理論上一個大數據商品，可能可以出賣多次。
對大數據交易，是否產生使用權，屬有權的改變？
是否能夠再次出售，能否轉賣？
能否賣給某位買傢的競爭對手？
等問題，都應該進行明確和規定。
如何建立大數據商品交互技術平臺、開放api、統一api？
由於大數據的量大，規格眾多等特性，大部分時候，大數據的直接轉移非常困難或不現實，買傢往往需要通過api來使用大數據商品，如何建立統一的api，建立大數據交互的技術平臺，也是一個巨大的挑戰。
另外，大數據商品，更接近於原始的商品，市場參與者各自帶上自己的貨物，到一個市場進行交易，類似於擺攤。
由於上述的大數據商品的特性，更加需要建立規范的、方便的交易場所。
大數據商品的交易可能會包含下列過程：
賣傢對自己的大數據進行預處理，保證用於交易的大數據商品遵守國傢相關的法律和規定；賣傢描述自己的大數據包，並描述以往的交易歷史，包括歷史買傢的行業描述等；買傢在大數據交易平臺上尋找對自己業務有幫助的大數據商品；買賣雙方就數據的使用權，數據的轉移，數據是否可以再次出售（時間上，競爭對手限制等），是否委托第三方技術公司進行數據分析等等，達成協議；買方支付交易金額，同時大數據商品轉移到買方；買方將對大數據商品進行分析或應用，實現大數據商品的價值。
我們認為，由於大數據商品的特殊性，建立大數據交易所，可以對大數據的交易做出權威性的規范，保證交易安全，同時為市場參與者提供工具和幫助。
大數據交易所的重大作用：
大數據交易所可以深化國傢有關法律對大數據商品的規范，特別是確保大數據交易的買賣雙方遵守國傢有關隱私，國傢安全，商業機密等方面的法律，保護消費者的信息安全和其它權益；大數據交易所可以引導對大數據商品的規范，對大數據進行定量，定價方面進行引導；大數據交易所應該建立認證系統，確保大數據商品的真實性和價值；大數據交易所應該為市場參與者提供技術上的幫助，幫助市場參與者尋找適合自己的交易方；大數據交易所應該且可以對大數據的轉移和使用提供法律上的保障；大數據交易所應該且可以對大數據的轉移和使用提供數據安全上的技術保障；大數據交易所，應該確保資金的轉移和安全；大數據交易所，還可以開放大數據期貨，即對未來某時間段將要產生的大數據，進行交易。
由於市場參與者大都為商業公司，大數據的交易更像是實體商品交易而不同於股票交易。
隨著交易的進行和市場參與者的增多，大數據商品的種類會逐漸豐富，從而吸引更多的市場參與者。
大數據交易的參與者至少包含下列幾類：
初端賣傢，即提供某方面信息的大數據商品賣傢，該類用戶可能通過從事的行業服務，積累某個方面的數據；終端買傢，對相關行業服務信息由需求的商業服務公司，買來大數據提升自己的服務或產品；大數據投資者，這類參與者發現或認可某大數據商品的價值，可以先買入，再買給有需求的大數據終端買傢；加工商，由於大數據商品的高技術含量，大數據技術公司可能先買入原始數據，經過處理，集成後，再賣給終端買傢。
市場參與者可能具有多重交易身份，既是大數據的提供者，也是大數據的消費者。
各類市場參與者的交易，能使大數據交易市場更加活躍，增加市場的流動性，引來更多的大數據商品的加入和交易。
綜上所述，建立大數據交易所，雖然在技術上、法律上、流程上尚有一系列需要解決的問題，但我們認為，這是一個可以逐步進行，逐步解決的過程。
我們認為，建立大數據交易所有非常大的必要性和可行性，建立大數據交易所是勢在必行的市場需求。
【責任編輯劉波成】
升级会员 