不过，大数据对中等规模的公司帮助并不大。波士顿咨询公司的资深技术和商业顾问菲利普·埃文斯（philip evans）说，超大型的公司占据了数据优势，比小公司更有规模。但是在大数据时代，一个公司没必要非要达到某种规模才能支付它的生产设备所需投入。大数据公司发现它们可以是一个灵活的小公司并且会很成功（或者会被大数据巨头并购）。
大数据也会撼动国家竞争力。当制造业已经大幅转向发展中国家，而大家都争相发展创新行业的时候，工业化国家因为掌握了数据以及大数据技术，所以仍然在全球竞争中占有优势。不幸的是，这个优势很难持续。就像互联网和计算机技术一样，随着世界上的其他国家和地区都开始采用这些技术，西方世界在大数据技术上的领先地位将慢慢消失。对于发达国家的大公司来说，好消息就是大数据会加剧优胜劣汰。所以一旦一个公司掌握了大数据，它不但可能超过它的对手，还有可能遥遥领先。
不过，就算有那么多好处，我们依然有担忧的理由。因为随着大数据能够越来越精细的预测世界的事情以及我们所处的位置，我们可能还没有准备好接受它对我们的隐私和决策过程带来的影响。我们的认知和制度都还不习惯这样一个数据充裕的时代，因为它们都建立在数据稀缺的基础之上。下一个章节，我们将探讨大数据所带来的不良影响。
第三部分 大数据时代的管理变革 07 风险：让数据主宰一切的隐忧
我们的隐私被二次利用了
我们倾向于从数字数据的增长和奥威尔写《1984》时所处“监视炼狱”的角度去理解大数据给个人隐私带来的威胁。但是事实上，不是所有的数据都包含了个人信息。其实，不管是传感器从炼油厂采集的数据、来自工厂的机器数据、机场的气象数据，还是沙井盖爆炸数据都不包含个人信息。英国石油公司和纽约爱迪生联合电力公司不需要（也不想要）个人信息，就能分析挖掘出他们所需要的数据价值。事实上，这方面的数据分析并不威胁个人隐私。
当然，目前所采集的大部分数据都包含有个人信息，而且存在着各种各样的诱因，让我们想尽办法去采集更多、存储更久、利用更彻底，甚至有的数据表面上并不是个人数据，但是经由大数据处理之后就可以追溯到个人了。
比方说，如今在美国和欧洲部署的一些智能电表每6秒钟采集一个实时读数，这样一天所得到的数据比过去传统电表收集到的所有数据还要多。因为每个电子设备通电时都会有自己独特的“负荷特征”，比如热水器不同于电脑，而它们与led大麻生长灯又不一样，所以能源使用情况就能暴『露』诸如一个人的日常习惯、医疗条件和非法行为这样的个人信息。（led大麻生长灯，是一种植物补光灯，也是植物生长灯的一种，依照植物生长需要太阳光的规律，代替阳光给植物提供更好的生长发育环境——编者注）
然而，我们要探讨的主要是大数据是否改变了这种威胁的『性』质，而不是是否加剧了这种威胁。如果仅仅是加剧了这种威胁，那么我们现在采用的保护隐私的法律法规依然是有效的，我们只需要付出加倍的努力来确保有效『性』就可以。然而，倘若威胁的『性』质已经改变了，我们就需要寻求新的解决方案。
不幸的是，我们的担忧一语中的。大数据的价值不再单纯来源于它的基本用途，而更多源于它的二次利用。这就颠覆了当下隐私保护法以个人为中心的思想：数据收集者必须告知个人，他们收集了哪些数据、作何用途，也必须在收集工作开始之前征得个人的同意。虽然这不是进行合法数据收集的唯一方式，“告知与许可”已经是世界各地执行隐私政策的共识『性』基础（虽然实际上很多的隐私声明都没有达到效果，但那是另一回事）。
更重要的是，大数据时代，很多数据在收集的时候并无意用作其他用途，而最终却产生了很多创新『性』的用途。所以，公司无法告知个人尚未想到的用途，而个人亦无法同意这种尚是未知的用途。但是只要没有得到许可，任何包含个人信息的大数据分析都需要向个人征得同意。因此，如果谷歌要使用检索词预测流感的话，必须征得数亿用户的同意，这简直无法想象。就算没有技术障碍，又有哪个公司能负担得起这样的人力物力支出呢？
同样，一开始的时候就要用户同意所有可能的用途，也是不可行的。因为这样一来，“告知与许可”就完全没有意义了。大数据时代，告知与许可这个经过了考验并且可信赖的基石，要么太狭隘，限制了大数据潜在价值的挖掘，要么就太空泛而无法真正地保护个人隐私。
同时，想在大数据时代中用技术方法来保护隐私也是天方夜谭。如果所有人的信息本来都已经在数据库里，那么有意识地避免某些信息就是此地无银三百两。我们把谷歌街景作为一个例子来看，谷歌的图像采集车在很多国家采集了道路和房屋的图像（以及很多备受争议的数据）。但是，德国媒体和民众强烈地抗议了谷歌的行为，因为民众认为这些图片会帮助黑帮窃贼选择有利可图的目标。有的业主不希望他的房屋或花园出现在这些图片上，顶着巨大的压力，谷歌同意将他们的房屋或花园的影像模糊化。但是这种模糊化却起到了反作用，因为你可以在街景上看到这种有意识的模糊化，对盗贼来说，这又是一个此地无银三百两的例子。
另一条技术途径在大部分情况下也不可行，那就是匿名化。匿名化指的是让所有能揭示个人情况的信息都不出现在数据集里，比方说名字、生日、住址、信用卡号或者社会保险号等。这样一来，这些数据就可以在被分析和共享的同时，不会威胁到任何人的隐私。在小数据时代这样确实可行，但是随着数据量和种类的增多，大数据促进了数据内容的交叉检验。
2006年8月，美国在线（aol）公布了大量的旧搜索查询数据，本意是希望研究人员能够从中得出有趣的见解。这个数据库是由从3月1日到5月31日之间的65.7万用户的2000万搜索查询记录组成的，整个数据库进行过精心的匿名化——用户名称和地址等个人信息都使用特殊的数字符号进行了代替。这样，研究人员可以把同一个人的所有搜索查询记录联系在一起来分析，而并不包含任何个人信息。
尽管如此，《纽约时报》还是在几天之内通过把“60岁的单身男『性』”、“有益健康的茶叶”、“利尔本的园丁”等搜索记录综合分析考虑后，发现数据库中的4417749号代表的是佐治亚州利尔本的一个62岁寡『妇』塞尔玛·阿诺德（thelma arnold）。当记者找到她家的时候，这个老人惊叹道：“天呐！我真没想到一直有人在监视我的私人生活。”这引起了公愤，最终美国在线的首席技术官和另外两名员工都被开除了。
事隔仅仅两个月之后，也就是2006年10月，dvd租赁商奈飞公司做了一件差不多的事，就是宣布启动“netflix prize”算法竞赛。该公司公布了大约来自50万用户的一亿条租赁记录，并且公开悬赏100万美金，举办一个软件设计大赛来提高他们的电影推荐系统的准确度，胜利的条件是把准确度提高10%。同样，奈飞公司也对数据进行了精心的匿名化处理。然而还是被一个用户认出来了，一个化名“无名氏”的未出柜的同『性』恋母亲起诉了奈飞公司，她来自保守的美国中西部。
通过把奈飞公司的数据与其他公共数据信息对比分析，得克萨斯大学的研究人员很快发现，匿名用户进行的收视率排名与互联网电影数据库（imdb）上实名用户所排的是匹配的。
在美国在线的案例中，我们被我们所搜索的内容出卖了。而奈飞公司的情况则是因为不同来源数据的结合暴『露』了我们的身份。这两种情况的出现，都是因为公司没有意识到匿名化对大数据的无效『性』。而出现这种无效『性』则是由两个因素引起的，一是我们收集到的数据越来越多，二是我们会结合越来越多不同来源的数据。
科罗拉多大学的法学教授保罗·欧姆（paul ohm），同时也是研究反匿名化危害的专家，认为针对大数据的反匿名化，现在还没有很好的办法。毕竟，只要有足够的数据，那么无论如何都做不到完全的匿名化。更糟的是，最近的研究表明，不只是传统数据容易受到反匿名化的影响，人们的社交关系图，也就是人们的相互联系也将同受其害。
与25年之前的民主德国相比，现在我们所受的监控没有减少，反而变得越来越容易、严密以及低成本。采集个人数据的工具就隐藏在我们日常生活所必备的工具当中，比如网页和智能手机应用程序。我们知道大多数的汽车中都装了一个“黑盒子”——用来监测安全气囊激活的情况，而如今，一旦出现具有争议的交通案件，这个黑盒子所采集的数据就可以在法庭上充当证据。当然，如果企业采集数据只是来提高绩效，我们就不用像被stasi窃听那样而感到那么害怕。毕竟企业再强大，也不如国家强制力。
不过，即使它们不具备国家强制力，想到各种各样的公司在我们不知情的情况下采集了我们日常生活方方面面的数据，并且进行了数据共享以及一些我们未知的运用，这还是很恐怖的。对大数据大加利用的不只是私营企业，『政府』也不甘落后。
据《华盛顿邮报》2010年的研究表明，美国国家安全局每天拦截并存储的电子邮件、电话和其他通信记录多达17亿条。前美国安全局官员威廉·宾尼（william binney）估计『政府』采集的美国及他国公民的通信互动记录有20万亿次之多，其中包括谁和谁通过话、发过电子邮件、进行过电汇等信息。为了弄明白这所有的数据，美国建立了庞大的数据中心，其中美国国家安全局就耗资12亿美元在犹他州的威廉姆斯堡建立了一个。
如今，不再只是负责反恐的秘密机关需要采集更多的数据，所有的『政府』部门都需要，所以，数据采集扩展到了金融交易、医疗记录和facebook状态更新等各个领域，数据量之巨可想而知。『政府』其实处理不了这么多数据，那为什么要费力采集呢？
这是因为在大数据时代，监控的方式已经改变了。过去，调查员为了尽可能多地知道嫌疑人的信息，需要把鳄鱼夹夹到电话线上。当时最重要的是能深入调查某个人，而现在情况不一样了，比如谷歌和facebook的理念则是人就是社会关系、网上互动和内容搜索的加和。所以，为了全面调查一个人，调查员需要得到关于这个人的最广泛的信息，不仅是他们认识的人，还包括这些人又认识哪些人等。过去的技术条件没法做到这样的分析，但是今非昔比了。
不过，虽然企业和『政府』拥有的这种采集个人信息的能力，让我们感到很困扰，但也还是没有大数据所引起的另一个新问题让我们更恐慌，那就是用预测来判断我们。
挣脱大数据的困境
大数据为监测我们的生活提供了便利，同时也让保护隐私的法律手段失去了应有的效力。面对大数据，保护隐私的核心技术不再适用了。同样，通过大数据的预测，对我们的未来想法而非实际行为采取惩罚措施，也让我们惶恐不安，因为这否认了自由意志并伤害了人类尊严。
同时，那些尝到大数据益处的人，可能会把大数据运用到它不适用的领域，而且可能会过分膨胀对大数据分析结果的信赖。随着大数据预测的改进，我们会越来越想从大数据中掘金，最终导致一种盲目崇拜，毕竟它是如此的无所不能。这就是我们必须从麦克纳马拉的故事中引以为戒的。
必须杜绝对数据的过分依赖，以防我们重蹈伊卡洛斯的覆辙。他就是因为过分相信自己的飞行技术，最终误用了数据而落入了海中。下一章，我们将探讨如何让数据为我们所用，而不让我们成为数据的奴隶。
第三部分 大数据时代的管理变革 08 掌控：责任与自由并举的信息管理
一场管理规范的变革
我们在生产和信息交流方式上的变革必然会引发自我管理所用规范的变革。同时，这些变革也会带动社会需要维护的核心价值观的转变。我们以印刷机的发明导致的信息洪流为例。
1450年前后，古登堡发明了活字印刷机，在这之前，思想的传播受到了极大的限制。一方面，书籍大多被封禁在修道院的图书馆里，依照天主教精心制定的规定，被僧侣严格看守着，为的是确保并维护其统治地位。在教堂之外，少数几所大学也收藏了一些书籍，大概几百本的样子；15世纪初，剑桥大学图书馆大概有122本大部头。另一方面，读写水平欠缺也是当时信息传播受限的一个重要因素。
古登堡的印刷机让书籍和手册的大量刊印成为可能。马丁·路德（martin luther）把拉丁语版本的《圣经》翻译成日常使用的德文，让越来越多的人可以不通过牧师而直接聆听上帝的声音，德语版的《圣经》是当时卖得最好的书，这也让他更确信《圣经》可以印刷、分发给成千上万的人。就这样，信息传播越来越广泛。
这种巨变也使得创立新规范来管理活字印刷术所引发的信息爆炸的条件变得成熟。审查和许可条例被创立，用来规范和管理出版物。著作权法的制定为创作者带来了进行创作的法律和经济动力。随后，保护公民言论自由被写入了宪法。一如既往，权利伴随着责任产生了。当低俗的报纸践踏人们隐私权或诽谤其名誉时，法律规范就会出现以保护人们的隐私权并允许他们对文字诽谤提出上诉。
可是，变革并不止于规范。这种管理规范上的改变也体现了当时更深层次的价值观转变。在古登堡时期，人类第一次意识到了文字的力量；最终，也意识到了信息广泛传播的重要『性』。几个世纪过去了，我们选择获取更多的信息而非更少，并且借助限制信息滥用的规范而不是最初的审查来防止其泛滥。
随着世界开始迈向大数据时代，社会也将经历类似的地壳运动。在改变我们许多基本的生活和思考方式的同时，大数据早已在推动我们去重新考虑最基本的准则，包括怎样鼓励其增长以及遏制其潜在威胁。然而，不同于印刷革命，我们没有几个世纪的时间去慢慢适应，我们也许只有几年时间。
大数据时代，对原有规范的修修补补已经满足不了需要，也不足以抑制大数据带来的风险——我们需要全新的制度规范，而不是修改原有规范的适用范围。想要保护个人隐私就需要个人数据处理器对其政策和行为承担更多的责任。同时，我们必须重新定义公正的概念，以确保人类的行为自由（也相应地为这些行为承担责任）。新机构和专家们需要设计复杂的程序对大数据进行解读，挖掘出其潜在的价值和结论。他们也要向那些可能受害于大数据结论的人——因之被剥夺了工作、接受医疗或贷款权利的人，提供支持。对已有的规范进行修修补补已经不够了，我们需要推陈出新。
第三部分 大数据时代的管理变革 结语：正在发生的未来
大数据时代，名副其实的“信息社会”
大数据在实用层面的影响很广泛，解决了大量的日常问题。大数据更是利害攸关的，它将重塑我们的生活、工作和思维方式。在某些方面，我们面临着一个僵局，比其他划时代创新引起的社会信息范围和规模急剧扩大所带来的影响更大。我们脚下的地面正在移动。过去确定无疑的事情正在受到质疑。大数据需要人们重新讨论决策、命运和正义的『性』质。我们的世界观正受到相关『性』优势的挑战。拥有知识意味着掌握过去，现在则更意味着能够预测未来。
当我们准备开发电子商务、寓生活于互联网、进入计算机时代或者拿起算盘时，这些事情比那些代表他们的问题更加重要。我们寻找原因的想法可能被高估了，很多情况下，弄清楚“是什么”比找寻“为什么”更加重要，因为前者表面事实才是我们生活和思维的基础。这些问题可能没有答案。或许，它们是关于人在宇宙中的位置以及能否在喧嚣混『乱』、不可理喻的世界中寻找到意义这一永恒争论的一部分。
最终，大数据标志着“信息社会”终于名副其实。我们收集的所有数字信息现在都可以用新的方式加以利用。我们可以尝试新的事物并开启新的价值形式。但是，这需要一种新的思维方式，并将挑战我们的社会机构，甚至挑战我们的认同感。可以肯定的是，数据量将继续增长，处理这一切的能力也是如此。但是，现在大多数人都认为大数据是一个技术问题，应侧重于硬件或软件，而我们认为应当更多地考虑当数据说话时会发生什么。
除了纠结于数据的准确『性』、正确『性』、纯洁度和严格度之外，我们也应该容许一些不精确的存在。数据不可能是完全对或完全错的。当数据的规模以数量级增加时，这些混『乱』也就算不上问题了。事实上，它甚至可以是有好处的，因为当我们只想使用一小部分时，无须捕捉这么多的知识细节。又因为我们可以用更快更便宜的方式找到数据的相关『性』，并且效果往往更好，而不必努力去寻找因果关系。当然在某些情况下，我们仍然需要精心策划的数据来做因果关系研究和控制实验，如测试『药』物的副作用或设计关键的飞机部件。但是在日常情况下，知道“是什么”就已经足够了，不必非要弄清楚“为什么”。大数据的相关『性』将人们指向了比探讨因果关系更有前景的领域。
这些相关『性』能让我们节省机票钱和预测流感爆发，并知道在一个资源有限的世界中应该检查哪些沙井盖和过度拥挤的建筑物。它可以帮助健康保险公司不做体检就能决定保险覆盖面，并降低提醒病人服『药』的成本。通过大数据的相关『性』，语言可以得到翻译，汽车可以在预测的基础上自行驾驶。沃尔玛可以了解飓风前应在门店准备哪种口味的蛋挞。当然，如果能从中得到因果关系更好。问题是，因果关系往往更难找到，通常我们认为找到了的时候，都是在自欺欺人。
我们之所以能做所有这些事，新工具只是个很小的因素，无论是更快的处理器、更多的存储器，还是更智能的软件和算法。这些固然重要，但是更为根本的原因是我们拥有了更多的数据，继而世界上更多的事物被数据化了。诚然，人类量化世界的雄心陷于计算机革命，但是数字工具将数据化提升到了新的高度。不仅移动电话能够跟踪到我们呼叫的人和我们所在的位置，而且同样的数据也能用于断定我们是否生病了。不久之后，它或许还能够辨别我们是否恋爱了。
能置身于信息流中央并且能收集数据的公司通常会繁荣兴旺。有效利用大数据需要专业技术和丰富的想象力，即一个能够容纳大数据的心态，但价值的核心归功于数据本身。有时，重要的资产并不仅仅是能清楚看到的信息，更是从人们与信息交互中收集到的数据废气，聪明的公司可以用它来改善现有的服务，或推出全新的服务。
大数据同时也给我们带来了巨大的风险。它使得目前用以保护隐私的法律手段和核心技术失去了效果。过去个人身份信息包含的名字、社会安全号码、税收记录等，其构成简单明了。因此隐私保护相对比较简单，只要确保不使用这些信息即可。而今天，即使是最无害的数据，只要被数据收集器采集到足够的量，也会暴『露』出个人身份。匿名化或者是单纯隐藏已不再适用。不仅如此，现在要是对某人进行监督，必定会侵犯到较之以往范围更广的个人隐私内容。因为『政府』在管理上不仅要求个人信息尽可能完善，还记录了其所有的社会关系、交往和交流信息。
无论大数据如何威胁到隐私保护，最让人们头疼的都是行为倾向问题。大数据预测的准确『性』越来越高，它能预测行为的发生，在人们犯错之前，提前惩处。因为预测的结果几乎不可反驳，人们也就无法为自己开脱。但这种基于预测得出的惩罚不仅违背自由意志的原则，同时也否定了人们会突然改变选择的可能『性』（无论可能『性』有多小）。当我们给一个人判定责任（并给予惩罚）时，必须牢记人类意志的神圣不可侵犯『性』。人类的未来必须保留部分空间，允许我们按照自己的愿望进行塑造。否则，大数据将会扭曲人类最本质的东西，即理『性』思维和自由选择。
应对大数据的汹涌来袭，我们没有万无一失的方法，必须建立规范自身的新准则。随着社会越来越熟悉大数据的特征和缺陷，我们可以改变一系列的惯『性』来帮助社会应对这种冲击。我们需要把进行隐私保护的责任从个人转移到数据使用者身上，也就是说，数据使用者应该以负责任的态度使用数据。
在一个预测的时代里，人类的自由意志神圣而不可侵犯，这一点不可轻视。我们不仅需要承认个人进行道德选择的能力，还要强调个人应为自我行为承担责任。社会则必须采取新的保护措施：接受一种新的职业人，也就是数据算法师，对大数据进行深度分析。如此，因为大数据而变得可预测的世界，才不会陷入一个用一种未知取代另一种未知的困境中，不会变成一个黑匣子。
大数据将成为理解和解决当今许多紧迫的全球问题所不可或缺的重要工具。例如要应对气候变化问题时，需要对污染相关数据进行分析，得出最佳方案，来指导努力方向，找出缓解问题的方法。全球范围内遍布的大量传感设备，包括智能手机内部的传感器，使我们能够以更高的细节水平模拟环境。而世界贫困人口迫切需要提高医疗保健服务，降低医疗费用，这很大程度上可以靠自动化来实现。当下许多似乎需要人类判断才能进行的事情，其实完全可以交由电脑来做，比如癌细胞活检、传染病爆发前期的模拟预测等。
大数据也被用于发展经济和理解如何预防冲突。基于手机动向数据显示，非洲许多贫民窟地区经济活动十分活跃。大数据还揭示了最可能引发种族关系紧张的社区以及解决难民危机的方式。只有当科技应用至生活的方方面面时，大数据的适用范围才能进一步扩大。
大数据能帮助我们更好地进行已有的工作，并处理全新的事务。但它绝不是魔术棒，不会带来世界和平，无法根绝贫穷问题，更不能创造出另一个毕加索。大数据不能造婴儿，虽然它确实可以救助早产儿。不要多久，我们将在生活的各个方面使用到大数据，如果不用的话还可能会引起些许焦虑，这种情况就像普通体检查不出问题时，会希望有医生帮我们预约x光进行检查。
当大数据成为日常生活的一部分后，它将会极大地改变我们对未来的看法。大约五百年前，欧洲在逐渐发展为更加自由、科学、文明的世界的进程中，欧洲人经历了对时间认知的重大转变。在此之前，时间被认为是循环的，生命也是轮转的。每天或每年与过去的日子如出一辙，甚至连生命的终结也与起点相似，因为濒死的成人会显示出孩子的特征。认知转变后，时间变作线『性』的，成了一条岁月演变过程，过程中世界因人变化，生命的轨迹也受到相应的影响。如果说这以前的历史中，过去、当下、未来的概念是完全交织在一起的，那么通过塑造当下，人类现在便有了过去可以回顾，有了未来可以展望。
虽然我们可以塑造当下，但未来却从过去的“完全可预测”转变为一块开放又原始、广阔而空白的帆布，所有人都可以在上面依据自己的价值，努力裁剪塑形。“现代”的一个定义『性』特征便是人类感到自己是命运的主人，这使我们与生活在宿命论桎梏中的先辈们截然不同。但是大数据预测却又使我们的生命帆布不再那么开放、原始和纯净。对于善于运用科技解读未来的人来说，我们的未来不再是只字未书的画布，而是似乎已经着上了淡淡的墨痕。未来的可预知『性』似乎缩小了塑造命运的空间。潜在的可能『性』在概念的圣坛上被解剖。
与此同时，大数据又意味着我们将永远受困于过去的行为，这些行为在预知我们下一步的预测过程中与我们作对，即我们永远无法逃避已发生的事。莎士比亚曾写道：“凡是过去，皆为序曲。”大数据通过运算将这句话铭刻，无论结果好坏——无论这句话是否会浇熄我们迎接下一个日出的热情，是否会打击我们留名于世的渴望。
其实，事实很多可能是相反的。知道行为在未来如何谢幕，我们便可以采取补救措施，避免问题发生并改善结局。我们能在期末考试之前早早发现有退步趋势的学生。我们能检测出微小的癌变，赶在疾病完全爆发前根治。我们能看到青春期意外妊娠的可能『性』，或是预测到某种犯罪生涯，然后尽力干预，避免出现可能的悲剧结局。例如拥挤的纽约住宅着火的时候，如果能事先知道并从几间最可能是火源的公寓着手，将会免除一场致命的火灾。
没有什么是上天注定的，因为我们总能就手中的信息制定出相应的对策。大数据预测结果也并非铁定，而只是提供了一种可能『性』，也就是说，只要我们愿意，结局可以改写。我们可以判断出迎接未来的最佳方式，摇身变作未来的主人，正如莫里在海与风的广阔世界中乘风破浪一般。在过程中我们无须理解宇宙的奥秘或是去证明神的存在，因为大数据已经帮我们做好了。
