青島游戲機構(gòu) 什么是大數(shù)據(jù)
什么是大數(shù)據(jù)，也就是大數(shù)據(jù)概念A(yù)的定義，是大數(shù)據(jù)概念的核心。目前，大數(shù)據(jù)的概念尚未形成統(tǒng)一的認識。一些文獻從技術(shù)分析、應(yīng)用價值、社會發(fā)展影響等角度對大數(shù)據(jù)概念進行了不同的定義。這些多樣化的定義可以統(tǒng)一到廣義的大數(shù)據(jù)概念中，即大數(shù)據(jù)是數(shù)據(jù)、技術(shù)、人才和組織的組合。例如，大數(shù)據(jù)發(fā)展、大數(shù)據(jù)建設(shè)、大數(shù)據(jù)政策等，使用廣義的大數(shù)據(jù)概念。一般來說，大數(shù)據(jù)是指數(shù)據(jù)本身，這是一個狹義的大數(shù)據(jù)概念。其中，麥肯錫最權(quán)威、最有影響力的定義是:大數(shù)據(jù)是指超出典型數(shù)據(jù)庫軟件采集、存儲、管理和分析能力的數(shù)據(jù)集。這個定義以數(shù)據(jù)規(guī)模為衡量大數(shù)據(jù)的標(biāo)準(zhǔn)，強調(diào)大數(shù)據(jù)的大，從而區(qū)分大數(shù)據(jù)和小數(shù)據(jù)。
大數(shù)據(jù)被標(biāo)榜為大數(shù)據(jù)，認為大數(shù)據(jù)是所有數(shù)據(jù)(N=all)，即使用手頭的所有數(shù)據(jù)，而不是其中的一小部分。然而，N=all只是一個誘人的假象。首先，并不是所有的信息源都能生成數(shù)據(jù)。以人為例，無論PC、平板、智能手機、可穿戴設(shè)備如何普及，還是有相當(dāng)一部分人錯過了這些設(shè)備，在數(shù)據(jù)上屬于沉默者。因此，基于互聯(lián)網(wǎng)和智能終端的數(shù)據(jù)不是所有數(shù)據(jù)。尤其是人的思想、心理、情緒、意識等。，通常不能以數(shù)據(jù)的形式表達出來，而且除了所有數(shù)據(jù)。其次，數(shù)據(jù)收集受公民隱私、商業(yè)秘密或國家安全等客觀條件的制約，導(dǎo)致數(shù)據(jù)空白和數(shù)據(jù)不足。第三，大數(shù)據(jù)本身不是全面數(shù)據(jù)。受有意操縱、誘導(dǎo)或無意識主觀偏見的影響，獲得的大數(shù)據(jù)可能是片面的、局部的。另外，數(shù)據(jù)公開，數(shù)據(jù)共享并非絕對的，而數(shù)據(jù)壁壘，數(shù)據(jù)孤島仍將長期存在。所以，大數(shù)據(jù)并不等于全部數(shù)據(jù)，它仍然是部分數(shù)據(jù)，局部數(shù)據(jù)。此外，大數(shù)據(jù)之所以如此大，是因為數(shù)字圖片和數(shù)字圖像的興起導(dǎo)致了數(shù)據(jù)量空間的膨脹，其中包含了大量無用的數(shù)據(jù)，遠沒有很多人想象的那么重要。追求所有數(shù)據(jù)只會增加成本和算法的難度，不一定能產(chǎn)生實際效果。
大數(shù)據(jù)的大，即數(shù)據(jù)量，是否有明確的標(biāo)準(zhǔn)？英特爾和美國國家科學(xué)基金會提出，一個機構(gòu)每周產(chǎn)生和分析500TB以上的數(shù)據(jù)可以稱為大數(shù)據(jù)。另一種說法是，大數(shù)據(jù)的數(shù)量級通常應(yīng)該達到太字節(jié)(TB)的數(shù)量級。這兩種觀點對大數(shù)據(jù)量的描述差異很大。事實上，數(shù)據(jù)量是大數(shù)據(jù)的外在特征，并非衡量大數(shù)據(jù)的唯一標(biāo)準(zhǔn)。在2011年的一項調(diào)查中，美國《科學(xué)》雜志發(fā)現(xiàn)，在科學(xué)研究中，48.3%的受訪者不到1GB，92.4%的受訪者使用的數(shù)據(jù)不到1TB。事實上，日常大數(shù)據(jù)分析不需要大規(guī)模的數(shù)據(jù)集，Hadoop運行處理輸入的數(shù)據(jù)集往往小于14GB。即便是Facebook，90%的任務(wù)，數(shù)據(jù)集也不到100GB。大數(shù)據(jù)的大數(shù)據(jù)的大用Big表達，而不是Large或Vast。后者是指具體直觀的體積，而Big是指抽象意義?？梢?，不要拘泥于從數(shù)據(jù)量上理解大數(shù)據(jù)。在大數(shù)據(jù)應(yīng)用中，不要迷戀大，盲目追求完美，盲目收集大數(shù)據(jù)；而是要根據(jù)自己的數(shù)據(jù)能力和價值目標(biāo)選擇所需的核心數(shù)據(jù)。
