謝文：數(shù)據(jù)大未必是大數(shù)據(jù)

前不久寫(xiě)了一篇《迎接大數(shù)據(jù)時(shí)代》的文章，發(fā)表后頗有反響。一些朋友找我去開(kāi)這方面的會(huì)，一些媒體采訪發(fā)這方面的文章，一些資本想找這方面的項(xiàng)目投入。這可有點(diǎn)似曾相識(shí)燕歸來(lái)的感覺(jué)了。當(dāng)年寫(xiě)過(guò)關(guān)于WEB2.0革命，寫(xiě)過(guò)網(wǎng)絡(luò)平臺(tái)，寫(xiě)過(guò)開(kāi)放，業(yè)內(nèi)和社會(huì)上也都有過(guò)類(lèi)似反應(yīng)，想搭順風(fēng)車(chē)，混吃混喝的大有人在。為了避免以往悲劇的產(chǎn)生，減少魚(yú)龍混雜，以假亂真的現(xiàn)象，只好多寫(xiě)幾篇這方面的感想，權(quán)作免責(zé)條款吧。

極而言之，如果全世界網(wǎng)民的網(wǎng)絡(luò)行為記錄都能緊密整合在一起，那當(dāng)然稱(chēng)得起大數(shù)據(jù)這個(gè)名稱(chēng)。反之，如果只有一個(gè)網(wǎng)民的一條孤零零網(wǎng)絡(luò)記錄，那當(dāng)然撐不起大數(shù)據(jù)這個(gè)概念。問(wèn)題在于如何在這兩個(gè)極端之間，找到一個(gè)劃分大數(shù)據(jù)與否的區(qū)分點(diǎn)，或者找到一組指標(biāo)，能夠具體衡量數(shù)據(jù)量從量變到質(zhì)變的相對(duì)標(biāo)準(zhǔn)。這無(wú)論在學(xué)術(shù)研究上或是在商業(yè)實(shí)戰(zhàn)上都很重要。試想若是某個(gè)公司自認(rèn)為自己網(wǎng)絡(luò)服務(wù)產(chǎn)生的數(shù)據(jù)量很大，覺(jué)得可以自稱(chēng)大數(shù)據(jù)公司了。于是說(shuō)服董事會(huì)和投資者加大這方面的投入，購(gòu)買(mǎi)大批專(zhuān)用設(shè)備和第三方專(zhuān)業(yè)服務(wù)，組建這方面的團(tuán)隊(duì)。經(jīng)過(guò)一段時(shí)間的實(shí)踐，發(fā)現(xiàn)投入產(chǎn)出不成比例，建立在大數(shù)據(jù)基礎(chǔ)上的商業(yè)模式和產(chǎn)品服務(wù)研發(fā)不能得到理想的回報(bào)，那豈不是個(gè)悲?。?/p>

以我的觀察和實(shí)踐經(jīng)驗(yàn)，網(wǎng)絡(luò)業(yè)中一個(gè)公司是否稱(chēng)得起擁有大數(shù)據(jù)至少要從三個(gè)維度考量：

數(shù)據(jù)規(guī)模----所謂大數(shù)據(jù)最基本的要求當(dāng)然是數(shù)據(jù)規(guī)模大，但很難給出一個(gè)絕對(duì)的數(shù)字標(biāo)準(zhǔn)來(lái)確定大小，而只能用一些模糊的感覺(jué)來(lái)相對(duì)比較。例如，一個(gè)公司在年度預(yù)算中有了專(zhuān)門(mén)的，顯著的數(shù)據(jù)存儲(chǔ)和分析預(yù)算（例如，總預(yù)算的3-5%），有了獨(dú)立的數(shù)據(jù)處理和分析部門(mén)，有了比較完整的數(shù)據(jù)存儲(chǔ)，安全和保密政策與管理流程，有了高度依賴(lài)數(shù)據(jù)分析結(jié)果的商業(yè)模式，那么，可以說(shuō)這個(gè)公司面臨著利用大數(shù)據(jù)的機(jī)會(huì)或挑戰(zhàn)了。

數(shù)據(jù)結(jié)構(gòu)----數(shù)據(jù)量只是反映數(shù)據(jù)性質(zhì)的一個(gè)指標(biāo)，也許還不是最重要的指標(biāo)。一天產(chǎn)生一百萬(wàn)個(gè)T數(shù)據(jù)的公司也許算不上大數(shù)據(jù)公司，而另一個(gè)一天只產(chǎn)生一萬(wàn)個(gè)T數(shù)據(jù)的公司也許反而是個(gè)大數(shù)據(jù)公司，其奧妙在于數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性。例如，A公司擁有一億用戶(hù)，但用戶(hù)在A公司網(wǎng)站上只干一件事或一類(lèi)事，比如獲取新聞資訊，買(mǎi)買(mǎi)東西，或者玩玩游戲。那么由此產(chǎn)生的數(shù)據(jù)量雖然不小，但結(jié)構(gòu)簡(jiǎn)單，重復(fù)性高，分析起來(lái)很容易，無(wú)非就是根據(jù)用戶(hù)背景和使用習(xí)慣分分組，歸歸類(lèi)，簡(jiǎn)單數(shù)據(jù)挖掘基本功足夠，扯什么大數(shù)據(jù)就有點(diǎn)故弄玄虛了。B公司只有一千萬(wàn)用戶(hù)，卻是個(gè)開(kāi)放平臺(tái)，用戶(hù)在此可以干互聯(lián)網(wǎng)能夠支持的所有事情，網(wǎng)絡(luò)行為又可分為個(gè)人，群體，組織等層次，那么這個(gè)數(shù)據(jù)的結(jié)構(gòu)就夠復(fù)雜，能夠支持深度挖掘和復(fù)雜建模，因而就可以算作大數(shù)據(jù)。

數(shù)據(jù)關(guān)聯(lián)度----網(wǎng)絡(luò)業(yè)一個(gè)常見(jiàn)現(xiàn)象就是隨著數(shù)據(jù)量的增加，用戶(hù)行為所產(chǎn)生的數(shù)據(jù)間的關(guān)系越來(lái)越不清晰，越來(lái)越難以捉摸，越來(lái)越相互孤立，也就是所謂的數(shù)據(jù)碎片化。這種碎片化主要來(lái)自?xún)蓚€(gè)方面：一是網(wǎng)站結(jié)構(gòu)碎片化，邏輯混亂化，各種產(chǎn)品與服務(wù)之間相互孤立化，因而導(dǎo)致數(shù)據(jù)之間關(guān)系斷裂，關(guān)聯(lián)度很低。例如，明明是同一個(gè)用戶(hù)在一個(gè)網(wǎng)站上使用了十種不同的產(chǎn)品和服務(wù)，但由于其中五種無(wú)需注冊(cè)使用，其他五種又需要分別注冊(cè)使用，結(jié)果這十種網(wǎng)絡(luò)行為的數(shù)據(jù)無(wú)法整合在一起，或者需要通過(guò)種種技術(shù)手段和工具進(jìn)行高成本的數(shù)據(jù)整合，以至于入不敷出。這也就減少了數(shù)據(jù)的含金量，降低了數(shù)據(jù)的可挖掘度，使得無(wú)論數(shù)據(jù)量如何大，結(jié)構(gòu)如何復(fù)雜，也形成不了大數(shù)據(jù)。反之，如果一個(gè)WEB2.0時(shí)代的開(kāi)放平臺(tái)，架構(gòu)清晰，邏輯分明，用戶(hù)與用戶(hù)，用戶(hù)與用戶(hù)行為，行為與行為之間都具有確定的關(guān)聯(lián)性，那么這樣的數(shù)據(jù)就具有極高的含金量，極高的分析挖掘價(jià)值，也就可以形成大數(shù)據(jù)。

所以，簡(jiǎn)而言之，大數(shù)據(jù)與否取決于數(shù)據(jù)規(guī)模，結(jié)構(gòu)復(fù)雜性和關(guān)聯(lián)性，簡(jiǎn)單地說(shuō)某個(gè)公司的數(shù)據(jù)量大并不等于說(shuō)這個(gè)公司具備擁有和利用大數(shù)據(jù)的前景。例如，直到google+誕生前，谷歌就不能聲稱(chēng)自己是個(gè)大數(shù)據(jù)公司，因?yàn)樗暮Ａ克阉鲾?shù)據(jù)雖然規(guī)模龐大，但結(jié)構(gòu)簡(jiǎn)單。盡管聽(tīng)說(shuō)它的搜索算法已經(jīng)囊括了六萬(wàn)多個(gè)變量，成千上萬(wàn)的數(shù)學(xué)和統(tǒng)計(jì)學(xué)模型，上千的博士和工程師參與分析，但在數(shù)據(jù)挖掘深度，搜索結(jié)果個(gè)人化，搜索結(jié)果與廣告之間的相關(guān)度上進(jìn)展有限，只有改良，沒(méi)有突破。更嚴(yán)重的是，谷歌數(shù)百個(gè)產(chǎn)品和服務(wù)之間相互關(guān)聯(lián)度極低，各干各的，無(wú)數(shù)數(shù)據(jù)庫(kù)互不相干。各個(gè)部門(mén)之間以鄰為壑，互不配合，更不整合。所以，面對(duì)以FACEBOOK和蘋(píng)果為代表的WEB2.0時(shí)代以及由此產(chǎn)生的大數(shù)據(jù)戰(zhàn)略機(jī)會(huì)，谷歌若干年來(lái)束手無(wú)策，只能靠不斷擴(kuò)展產(chǎn)品線對(duì)付。如果直到兩年前谷歌還算不上大數(shù)據(jù)公司，那些自認(rèn)為自己有點(diǎn)數(shù)據(jù)，或者會(huì)點(diǎn)加減乘除，或者以為掌握一些基本的數(shù)據(jù)庫(kù)技術(shù)和KNOWHOW就可以招搖過(guò)市，到網(wǎng)絡(luò)業(yè)和資本界呼風(fēng)喚雨，是不是有點(diǎn)不知深淺，過(guò)于幼稚了呢？

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。