内心的低语
12月中旬一个寒冷、雾气蒙蒙的星期五晚上，公司的节日晚会结束，你驾车回家。事实上，你是在搭车回家。你最近买了人生中的第一台自动驾驶汽车——由谷歌编程、梅赛德斯制作的eSmart电子轿车，软件就安装在方向盘上。你从自动调节的LED车前灯发出的光亮可以知道，路面有的地方结了冰，而且你知道，多亏了不断自动调节的仪表盘，汽车相应地调节车速和牵引设置。一切都进展顺利。你放松下来，思绪回到了晚上那夸张的欢宴。但是，当你离家只有几百码了，行驶过一段树木茂盛的路段时，突然，一只动物冲到路上，停了下来，正对着车。你认出来那是邻居家的比格猎狗，它总是挣脱绳索跑出来。
你的机器人司机会怎么做？它会紧踩刹车吗？为了救这条狗而冒着打滑失去控制的风险？或者，它会把“脚”从刹车片上移开，牺牲这条狗，确保你和这辆车的安全？它将如何对所有的变量和可能性进行分类整理、权衡利弊，瞬间给出答案？如果算法计算出踩刹车，则狗获救的概率是53%，但是有18%的可能会毁坏车，4%的可能你会受伤，这是不是就得出结论，应该救那条狗呢？软件自行运算，它能够同时兼顾现实后果和道德后果，将一组数据转化为决策吗？
如果路中间的狗不是邻居家的宠物而是你自己的宠物该怎么办？如果还是这个情境，马路中央不是一条狗而是个小孩呢？想象一下，早上上班途中，翻阅着一夜积累下来的邮件，自动驾驶汽车载着你穿过桥梁，车速一直保持在每小时40英里。一群学生也在朝桥这边走。他们在你车道旁边的人行道上奔跑。这些小孩看起来年龄不是很小，行为举止也比较乖巧，旁边还有大人照看。没有什么危险信号，但是车还是慢慢降低了速度，因为计算机为了确保安全宁可犯点儿错误。突然，孩子们打闹起来，有一个小男孩被推到了路中央。而此时，你正忙着发短信，没有留意到正在发生的事情。你的汽车必须做出判断：要么急打轮，冲出现有车道，变到反向车道上，这可能会要了你的命，要么就会撞到小孩。软件会给方向盘下达怎样的指令？如果程序知道你的孩子坐在车后面配有传感器的座椅上，这会影响它的决定吗？如果反向车道有车辆迎面驶来呢？如果对面驶来的是校车呢？艾萨克·阿西莫夫的机器人法则第一条——“机器人不能伤害人类，也不能无所作为，让人类受到伤害”听起来很合理，让人备感安慰，但是现实世界要比法则中假设的世界复杂得多。
纽约大学心理学教授盖里·马库斯表示，自动驾驶汽车时代的到来不仅“标志着人类又一项技能的终结”，还昭示着一个新时代的到来，在这个时代里，机器必须拥有“道德体系”。有的人可能认为，现在已经进入了这个时代。在一些小的方面，我们已经开始将道德决策交给计算机，这是个不祥的征兆。想想现在比较普遍的机器人吸尘器伦巴。伦巴分不清灰尘和虫子。它不加区分，全都吞下去。如果一只蟋蟀经过，就会被伦巴吸进去而丧命。许多人在吸尘的时候，也会从蟋蟀身上轧过。他们不重视虫子的生命，至少当虫子入侵了他们的家园时是如此。但是其他人会停下手中的工作，捡起蟋蟀，带到门口放生。（古老的印度宗教——耆那教的信徒认为伤害生命是一种罪过；他们非常注意，不杀害或伤害昆虫。）当我们按下伦巴的按钮，让它开始在地毯上工作时，我们就给了它权力，代表我们做出了道德的选择。机器人割草机，比如LawnBott和Automower，每天都要和比它们更高等生命的死亡打交道，包括爬虫、两栖动物和小型哺乳动物。在割草的时候看到一只蟾蜍或者前方地上有一群老鼠的话，大多数人都会有意地躲开，如果他们偶然碰到了，就会觉得很恶心。而机器人割草机会杀了这些动物，不会有任何不安。
到目前为止，关于机器人和其他机器的道德问题一直停留在理论层面，科幻小说或想象中的事情也只是在哲学范围内进行试验。对道德的考量经常会影响工具的设计——枪有保险栓，车有限速器，搜索引擎有过滤装置，但是机器不需要有思维意识。它们不需要实时调整运行状况以应对各种各样的道德问题。在过去，如果出现技术使用的道德问题，人们会插手干预，把事情调查清楚。在未来，却无法始终做到这一点。因为机器人和计算机感知世界和自动执行的能力越来越强，它们不可避免地会面临没有正确选择的局面。它们不得不自己解决令人苦恼的决定。而如果不能自动做出道德的选择，也就不可能实现人类活动的完全自动化。
当遇到道德伦理判断时，人类会暴露许多缺点。我们经常犯错误，有时候是出于混乱或粗心大意，而有时是出于故意。很多人争辩说，相比于人类立即做出的决定，机器人分拣选项、预估可能性和衡量后果的速度非常快，这使得它们的选择更明智。这是事实。在某些情况下，特别是在只是钱或其他财产受到威胁时，能够对可能性进行快速计算就足够了，就能以此做出行动判断，带来最优结果。虽然可能会造成交通事故，但一些人类司机在交通灯刚变红时会快速闯过马路。计算机却永远不会这么匆忙地做出决定。但是，两难境地并不会这么容易就得到解决。要用数学的方法解开这些难题，你就会面临一个更基本的问题：在道德模糊的局势下，谁决定什么是“最优的”或“理性的”选择？谁将为设计了机器人而感到自责？是机器人的制造商吗？机器人的主人？软件程序员？政客？政府法规？哲学家？还是保险承保人？
没有完美的道德算法，我们不能将道德伦理简化成一组人人都赞同的规则。哲学家为此努力了几个世纪，但都失败了。即使是冷冰冰的功利计算也具有主观性，计算结果取决于决策者的价值观和利益。车辆保险公司的理性选择——牺牲狗的性命，可能不会是你的选择，当你要撞向邻居家的宠物时，无论是有意还是自然反应，你都不会这样做。政治科学家查尔斯·罗宾说：“在机器人时代，我们和从前一样被道德绑架，甚至比以往更严重。”
尽管如此，我们仍要编写算法。计算出摆脱道德困境的方法可能有点异想天开，甚至让人厌恶，但是这并不会改变现实——机器人和软件代理商正在算计如何摆脱道德的两难境地。除非直到人工智能具备些许意识，能够感知或至少模拟人类情绪，例如喜爱和后悔，否则我们那些靠计算运作的“亲戚”就会无路可走。我们可能会后悔在没想好如何赋予自动化道德感之前，就让他们进行涉及伦理道德的行为，但光是后悔不会让我们摆脱困境。道德系统要依靠我们。如果自动化机器要在这个世界大行其道，我们就要把道德代码完美地转化为软件代码。
伦理的挑战：杀缪机器
再假设另一番情景。你是一名陆军上校，手下的士兵有人类也有机械战士。你有一个排的由计算机控制的“机器人狙击手”，它们驻扎在城市的各个街角和楼顶上，共同守卫这座城市，抵抗一个游击队的攻击。这时候出现了一个人，经验告诉你他很可疑。机器人根据实际情况，结合历史行为模式数据库信息进行了全面分析，立刻计算出这个人有68%的可能性是叛乱分子，正准备引爆炸弹，他只有32%的可能性是个无辜的路人。这时候，一辆人员运输车载着十几名士兵沿着这条路驶过来。如果这里已经安置了炸弹，那个人随时可能引爆它。战争没有暂停键。机器人也不能运用人类判断，只能做出行动。软件会给机器人下达什么样的指令？射击还是不采取行动？
如果说我们作为平民百姓，还没有面临自动驾驶汽车和其他自动化机器人带来的道德影响，但在军队里，情况就完全不同。近几年，国防部门和军校一直在研究将生死权交给战地机器人的方法及其带来的影响。无人驾驶飞机投射导弹和炸弹已经很常见了，例如“捕食者无人机”和死神无人机。它们已经成了人们热议的焦点。持不同观点的人都颇有道理。支持者认为，无人机可以让士兵和飞行员免受危险，同传统的搏斗和轰炸比起来，无人机可以通过精准的攻击降低伤亡和破坏程度。而反对者认为，无人机攻击是政府支持的暗杀行为。他们指出，爆炸通常会造成平民伤亡，更不用说引起的恐慌了。但是，无人机并不是自动化的，而是需要人类远程控制。飞机的飞行和监视功能可以自行运转，但是开火的决定是由士兵下达的，士兵坐在计算机前，观察着实时录像反馈，严格执行上级的命令。按照现在的部署来说，携带导弹的无人机同巡航导弹和其他武器没什么区别，仍然需要人来发动攻击。
如果由计算机来扣动扳机，那情况就会大有不同。完全自动化的计算机控制的杀人机器——军方称之为致命的自动化机器人（LAR），现在来看在技术上是可行的，并且很多年前就已经实现了。环境传感器可以对战场进行高分辨率的精准扫描，自动射击装置广泛使用，控制机枪射击或发射导弹的编码也不难写。对于计算机来说，开火决定同股票交易或将邮件转入垃圾邮箱的指令没什么两样。算法只是算法。
2013年，南非法学家克里斯托夫·海恩斯作为联合国大会法外执行、立即执行和强制执行决议的记录员，就军队机器人的现状和未来展望公布了一份报告。报告客观谨慎，让人看了感到阵阵寒意。海恩斯写道：“政府能够制造LAR，但是也声明，根据目前情况来看，不会在武装冲突或其他场合使用。”但是，海恩斯又提出，武器的历史表明，我们不应该过分相信这些保证。“回想一下，飞机和无人机最开始应用于武装冲突只是出于监察目的，因为可能带来负面影响，所以不能用于攻击。而后来的情况表明，当技术具有更多明显的优势时，最初的想法就被抛弃了。”一旦一种新的武器问世，总是会伴随着军备竞赛。从这一点来看，“特权阶层的权力会阻碍人类采取相应的控制”。
在许多方面，同平民生活相比，战争存在固有模式。有交战规则、指挥体系和界限分明的双方。杀戮不仅是可以接受的，甚至还受到鼓励。即使是出于道德的战争，也会带来些无法解决的问题，或者至少必须抛开道德顾虑才能解决这些问题。2008年，美国海军委任加州理工大学的道德和新兴科技小组编写一份白皮书，回顾LAR带来的道德问题，并列出设计军用“道德自动化机器人”的方法。伦理学家认为，有两种基本的方式，可以为机器人编写计算机程序，做出道德决策：自上而下和自下而上。自上而下的方式是指，提前编写好控制机器人决策的所有规则，机器人只需遵守这些规则，“不需要改变，也不用具有灵活性”。阿西莫夫在尝试制定机器人道德体系时发现，这个体系听起来很简单，但其实不然。我们无法预测机器人可能遭遇的所有情况。自上而下变成的“严格性”会弄巧成拙，学者写道：“当出现某些事件或局势，是程序员没有预见的或设想不充分的，就会导致机器人无法工作，或犯下可怕的错误，这正是因为机器人是受规则束缚的。”
而自下而上的编程方法是指机器人被嵌入一些基本的规则，然后投入使用。这种方式利用机器的自学技术，培养机器人自己的道德编码，并根据遇到的新环境加以调整。“就像个孩子，机器人面临纷繁复杂的局势，通过尝试和错误（以及反馈），学习认识新事物以及行为禁忌”。机器人遇到的困境越多，道德判断就越合理。但是，自下而上的编程方法会带来更严重的问题。首先，这是无法实现的。我们还没有发明出来能够做出道德决策的精密且稳定的机器自学算法。其次，在攸关生死的情况下，也不允许尝试或犯错误。自下而上这种编程方法本身就是不道德的。再次，我们无法保证计算机衍生出来的道德可以反映人类的道德，或同人类的道德标准相适应。带着机关枪和自学算法走上战场，机器人只会失去控制。
伦理学家指出，人类可以将自上而下和自下而上两种方式结合起来，用于道德决策。人类社会里有法律和其他束缚，可以引导和控制人类的行为；许多人为了遵守宗教和文化训诫而规范自己的决定；无论是天生与否，个人的道德观，都会影响具体的行为规范。经验有时也会产生影响。人类在不断成长的过程中也在学习如何成为道德生物，同不同情况下的道德决策做斗争。我们远非完美，但是大多数人拥有道德判断力，可以灵活应对我们未曾遇过的困境。机器人拥有道德的唯一方式就是以我们为参照，采取综合编程方式，既遵守规则，也要通过实际经历学习。但是创造拥有这种能力的机器远远超出了我们的技术能力范畴。伦理学家总结道：“最终，我们也许能够创造出拥有道德智慧的机器人，既能保持自下而上系统动态、灵活的道德感，调节不同的输入，也能根据自上而下原则，影响选择和行为评估。”但是，在这之前，我们需要研究如何编写计算机程序来打造这种“超理性能力”——拥有情绪、社交技能、意识并且“在这个世界上拥有具身”。换句话说，我们得成为上帝。
军队可不会等那么久。美国陆军战争学院杂志《参变量》（Parameters）上发表了一篇文章，在文中，军事战略家、退伍陆军中校托马斯·亚当斯表示：“逻辑引导的完全自动化系统的出现是不可避免的。”得益于自动武器的速度、尺寸和灵敏性，战争“正脱离人类的感官领域”并且“在人类反应速度之外徘徊”。很快，战争会变得“过于复杂”，“人类难以理解”。亚当斯回应坚持以技术为中心的民用软件设计师，他表示，人类成了军事体系里最薄弱的一环，并且人类对战争决策“有意义的控制”将是下一个消失的对象。“当然，有一种解决办法，就是接受相对较慢的信息处理速度，这是在军事决策中保留人的参与所付出的代价。但是问题在于，反对者最终会发现，要打败以人为中心的系统就必须要设计出另一个系统，不受人类限制。”最终，亚当斯认为，我们会认为“战术战争是属于机器的，根本不适合人类”。
阻止LAR最困难的一点不是机器人在战术上是否能够发挥作用，而是部署了机器人以后，除了机器自身所具有的外在的道德，还会有一些其他伦理优势。人类战士具有基本的本能，在激烈、混乱的战场上，这种本能会触动人的内心，而机器人则没有这种本能。它们不会感到压力、沮丧或涌动的冲动情绪。克里斯托夫·海恩斯写道：“一般来说，机器人不会表现出复仇、慌乱、愤怒、怨恨、偏见或恐惧。除此之外，如果没有特殊编写的程序，机器人也不会故意给平民带来伤害，例如折磨拷问。机器人也不会强奸人。”
机器人不会撒谎，也不会掩饰自己的行为。我们可以通过编程，让它们“留下数字轨迹”，这样有助于提高军队的责任感。最重要的是，用LAR发动战争可以避免本国士兵伤亡。杀手机器人既能杀人也能救人。一旦人们清楚地认识到自动化士兵和武器可以降低子女在战争中遇害或致残的可能性，就一定会迫使政府实现战争自动化。用海恩斯的话来说，机器人缺乏“人类判断、常识、大局观、揣摩行为背后的意图的能力以及价值观理解力”，这一缺点可能最终并不重要。事实上，虽然机器人在道德方面存在欠缺，但还是具有其自身的优势。如果机器具有人类的思考和感知特性，我们就不会那么乐观地把它们送上战场，看着它们毁灭了。
路途越来越艰险。海恩斯指出，机器人士兵在军事和政治上的优势也给它们带来了道德困境。部署LAR不仅会改变战争和小规模冲突的方式。政客和将军最初决定是否参战的考虑也会发生变化。造成灾难性的平民伤亡一直是阻止战争、促进和谈的一大因素。因为LAR将降低“武装冲突的人类成本”，公众会“越来越远离”军事争论，“把是否派遣军队的决定作为一个经济或外交问题，交给政府去解决，这就促成了军事冲突‘标准化’。可能因此，LAR就会降低国家参战或采取致命性武器的门槛，这样一来，军事冲突就不再是解决问题的最终手段”。
每一种新式武器的诞生都会改变战争的本质，能够远程发射或引爆的武器，例如弹射器、地雷、迫击炮、导弹，一般都具有非常大的威力，既包括预期威力，也包括未预料到的影响。自动杀戮机器的影响可能远远超过了之前所有的武器。机器人自发开出的第一枪将震惊全世界。它将改变战争，甚至可能彻底改变这个社会。
深层自动化
机器人杀手和无人驾驶汽车给社会和伦理带来了挑战，指向一些同自动化发展方向相关的重要信息，这让人感到不安。以前，人们错误地认为，替代性神话就是指一项工作可以分成若干个独立的任务，并且，可以在不改变整个工作本质的前提下，实现各个小任务的自动化。这个定义需要得到扩展。随着自动化范围的扩大，我们不断认识到，社会可以被分成若干个独立的活动领域——例如工作、休闲或政府范畴的活动领域，在不改变整个社会性质的前提下，可以实现每个活动领域的自动化。世间万物都是相连的——改变了武器就改变了战争，当计算机网络使联系清晰化，事物之间的联系也会变得更紧密。从某些程度来讲，自动化达到了一种临界值。自动化开始塑造社会规范、人们的假设和伦理道德。人们看待自身和看待他人关系的方式各不相同，随着技术角色的不断变化，人们会调整个人能动性和责任感。人们的行为也发生变化。人们希望计算机能起到辅助作用，但是，当人们无法获得计算机的帮助时，就会感到迷茫。软件承担了计算机科学家约瑟夫·魏泽鲍姆所说的“强迫性要务”，“人们必须依靠软件才能打造自己的世界。”
20世纪90年代，互联网泡沫开始膨胀，人们兴奋地讨论“普适计算”。很快，专家警告人们，微型芯片将渗入各个角落——嵌入工厂机器和仓库货架，附着在办公室、商店和家里的墙上，埋在地下，悬浮在空气中，内置到购买的商品里，编织进衣物，甚至在我们的身体里游荡。微型计算机装配了传感器和收发器以后，可以测量所有我们可以想到的变量，从金属属性到土壤温度到血糖变化，计算机通过互联网将读数传送给数据处理中心，在数据处理中心里，更大型的计算机将对数字进行处理，输出指令，保证一切都保持规范性和同步化。计算将无处不在；自动化将环绕在周围。我们生活在电脑技术狂的天堂，整个世界是一台可以编程的机器。
这场狂潮的一大源头就是施乐帕克研究中心，据传说，史蒂夫·乔布斯的麦金塔电脑的灵感就来自这间位于硅谷的研究实验室。施乐帕克研究中心的工程师和信息学家公布了一组报告，描述了在未来，计算机将深入“日常生活的每一个角落”，“无法同生活分离”。我们甚至对周围正在进行的计算毫无察觉。我们被数据包围，享受着软件的服务，以至于我们不再为信息过载而感到焦虑，“一切都是那么平静”。这听起来像是田园般的生活。但是，施乐帕克研究中心研究员不是盲目乐观。他们也表示，可以预见到这个世界将会令人感到担忧。他们担心无处不在的计算系统会成为专制独裁者隐秘的理想场所。该实验室首席技术专家马克·维瑟1999年在《IBM系统期刊》（IBM System Journal）上发表了一篇文章，他写道：“如果计算系统无边无形，就很难知道谁在掌控，事物之间存在怎样的联系，信息的流向，以及信息的使用情况。”我们会对运行该系统的人员和公司给予充分的信任。
人们对无处不在的计算感到兴奋可能过于草率，同样，焦虑也没有必要。20世纪90年代的技术还不能把世界变成机器可读的模式，在互联网泡沫破灭之后，投资者没有心情再提供资金，去到处安装昂贵的微型芯片和传感器了。但是，在随后的15年里，情况发生了很大变化。现在，经济方程式已和以往大不相同。计算设备和高速数据传送的成本大幅下降。许多公司，例如亚马逊、谷歌和微软已经设计出了数据处理的实用程序。他们建立了云计算网格，能够通过高效集中的设备收集和处理大量信息，然后传送给智能手机、平板电脑上运行的应用，或是传送给机器的控制电路。制造商投资数十亿美元为工厂配备联网的传感器，技术巨头（如通用电气、IBM和思科）希望引领创建“物联网”，他们争相制定结果数据的分享规则。计算机现在非常普及，即使是世界微微抽动一下，也会被计算机用二进制数据流记录下来。我们可能并不是“沉浸在平静之中”，但确实浸泡在数据里。现在看来，施乐帕克研究中心好像就是先知。
工具和基础设施之间存在很大差别。当大量系统和网络运行以后，工业革命才达到顶峰。19世纪中期的铁路建设扩大了公司所辐射的市场范围，为机械化大生产和越来越大的规模经济提供了动力。几十年后，电网的诞生开启了工厂装配线的进程，工厂可以采用并且支付得起各种形式的电器设备，这推动了消费主义，工业化走进了千家万户。新的运输网、电网、电报、电话以及随之诞生的广播系统改变了社会。它们改变了人们工作、娱乐、旅行、教育甚至构建社区和家庭的方式。它们改变了生活的步伐和本质机理，远远超出了工厂蒸汽机械的影响。
托马斯·休斯在《能量之网》（Networks of Power）一书中回顾了电网的诞生所带来的影响，他写道，工程文化、商业文化以及最终的大众文化会进行自我重塑，以适应新系统。他表示：“人类和各个机构体系在发展自身特性时会迎合技术的特征。人类、思想和组织体系之间的系统性互动，无论是技术层面的还是非技术的，都引发了一种超级系统——社会技术系统，它四通八达且流动性大。”从这一点看来，无论是电力行业、生产模式还是相关的人类生活，技术动量都站稳了脚跟。“通用系统是传统动量的聚合。它的发展平缓，系统变化也只是功能更加多样了。”发展进程找到了最佳方式。
现在我们的经历同自动化历史上的某一刻类似。社会在不断调整，以适应无处不在的计算基础设施——比当时接受电网的速度还要快，社会正在被重塑。工业操作和商业关系背后的种种假设都发生了变化。圣菲研究所经济学家、技术理论家W·布莱恩·亚瑟解释说：“人类之间早已形成将商业流程都交给电子化技术来执行的习惯。”“在一个看不见的领域里，商业实现了严格的电子化。”亚瑟以欧洲范围内的船运流程作为例子。几年前，需要有许多人挥舞着写字板进行指挥。他们登记进出港情况，核对货单，检查货品，签字盖章批准许可，填写书面文件，写信或打电话给其他参与协调或规范国际货运的工作人员。货运路线的更改需要各方代表（发货人、收货人、运送者、政府机构）辛苦沟通，会带来更多的文案工作。现在，每件货物都配有射频标码。当货物通过港口或是中转站时，扫描仪读取标码，将信息传送给计算机。计算机再把这些信息转交给其他计算机，这些计算机一起协同工作，进行必要的检查，提供所需的认证，按需更改计划，并确保货运各方都能获取货运状态的当前数据。如果需要新的路线，计算机会自动生成，并更新标码和相关数据存储库。
这种广泛的信息自动交换已经成为经济领域的常规惯例。正如亚瑟所说，“完全在机器之间进行的、大量的机器会话”正在逐渐接管商业运作。要进入商业领域，就需要有能够参与这种会话的联网计算机。比尔·盖茨告诉公司管理人员：“你知道，你已经建成了一个非常好的数字神经系统，信息在机构内部流通就像思维在人体内发挥作用一样，快速且自然。”任何大公司，如果想要生存下来，没有别的选择，只能实行自动化，并且要不断推行自动化。公司需要重新设计工作流程和产品，从而实现更大规模的计算机监控，还要严格限制供应和生产过程中人员的参与程度。毕竟，人类跟不上计算机的速度，只会拖慢会话的速度。
科幻小说作家亚瑟·C·克拉克曾经问道：“人机结合是否具有稳定性？或者纯粹的有机成分是否会成为障碍，必须被抛弃？”至少在商业领域，在我们可以预见的未来，人类和计算机之间不存在固定分工。现在通行的计算机化的交流和协作方式几乎已经确定了，人类的角色将逐渐弱化。我们设计的系统将把我们自己抛弃了。如果未来几年，因为技术发展造成的失业现象越来越严重，其原因应该是我们新安装的底层的自动化基础设施，而不是工厂里的机器人或是办公室里的决策支持类应用。机器人和各种应用软件只是盛开在地上的看得见的花朵，但它们的自动化根系深埋地下、四处蔓延、嵌入土壤。
这个根系也为自动化供给养分，向更广阔的文化范围延伸。从政府服务条款到维系亲友关系，社会在逐渐转型，以适应新的计算机基础设施所勾勒的社会轮廓。这些计算机基础设施精心协调数据的即时交换，使得无人驾驶汽车和机器人杀手军队成为可能。提供个人或集团决策的预测算法也从计算机基建中获取预测材料。它支撑着教室、图书馆、医院、商店、教堂和家庭的自动化——从传统意义上来讲，这些场所同人类息息相关。美国国家安全局和其他侦查机构、犯罪团伙以及业务庞杂的公司，都借助计算机基建设施进行监控和谍报活动，并且活动的规模巨大，前所未有。这些远远偏离了公共机构和个体同小屏幕的“会话”。也正是由于这些基建，各式各样的计算工具指引我们每天的生活，按时发出个性化的提醒、指令和建议。
还要再提一下，人类和各个机构正在开发自身特点，以适应现在通行的技术。工业化没有把我们变成机器，自动化也不会把我们变成机器人。人类没有那么简单。但是自动化的扩张让我们的生活越来越程式化。证明人类智慧和创造性的机会越来越少，自力更生原来曾作为人类的主要特性，现在也很少有机会展现。除非我们再思考一下未来的前进方向，否则技术的狂潮将朝着这个方向不断加速前进。
透过玻璃
这是一场非常有趣的演讲。2013年2月底，TED[1] 会议在洛杉矶附近的长滩表演艺术中心举行。讲台上演讲的男子衣着邋遢，略显不安，讲话的声音犹犹豫豫，他就是谢尔盖·布林。据说，在谷歌的两个创始人中，布林还算是性格相对外向的。他正站在讲台上展示一种眼镜，是谷歌设计的“头戴式计算机”。播放了一段简短的推广视频后，布林开始嘲讽起智能手机。谷歌曾经通过自家的安卓系统推动智能手机成为现在的主流设备。他从兜里掏出自己的手机，鄙夷地看着它。他说，使用智能手机是“一种柔弱的表现，你明白的，你坐在那儿，什么也不做，只是用手指滑动这个毫无特点的玻璃屏”。布林表示，智能手机会造成“社交孤立”，并且低头盯着屏幕还会削弱人对外部世界的感知能力。“你就想这样对待你自己吗？”
布林放下了手机，开始宣扬谷歌眼镜的优点。他表示，这个新设备会提供一种高级“形状因子”，可用于个人计算。人们的双手解放了，也不必再低着头，可以目视前方，同周围的事物重新建立起联系。人们重新融入了这个世界。谷歌眼镜还有其他优点。戴上谷歌眼镜以后，计算机屏幕一直处于人的视线之内，只要谷歌眼镜觉察到人们需要建议或帮助，谷歌就能通过谷歌即时资讯服务或其他追踪和个性化程序向人们传递相关信息。谷歌公司将最大限度地实现公司的愿景：信息流自动进入人类大脑。有了谷歌眼镜就忘了自动补全的谷歌搜索提示服务吧。布林回应同事雷·库兹韦尔的言论，他表示，戴上谷歌眼镜，你再也不用进行网页搜索了。你不必构思搜索关键词，不用在搜索结果中挑挑拣拣，也不必按照长长的链接转到具体的网页。“在你需要的时候，信息就会自动来到你面前。”计算机将成为无处不在的全知者。
布林笨拙的演示惹来了技术博主的嘲笑。但是，他说的还是有道理的。智能手机使人着迷，但也会让人堕落。人类大脑不能同时关注两件事。朝手机屏幕瞥一眼或是翻阅一下手机都会把我们从周围环境中抽离。手里握着手机时，我们好像变成了幽灵，在现实和虚拟两个世界间摇摆。当然，人总是容易分心的，思维总是四处游荡，注意力也会分散。但是，从没有哪个工具能像这样一直俘获我们的感官，分散我们的注意力。就像布林暗示的那样，智能手机将人类同一个符号化的世界联系起来，将我们驱逐出当下的现实世界。我们丧失了存在的力量。
布林保证谷歌眼镜会解决这个问题，但这无法令人信服。毫无疑问，如果有时使用计算机或相机时可以不用手，确实是个优势。但是，盯着悬浮在面前的屏幕也需要投入一定的注意力，不比浏览手里的手机少，可能还需要更多的注意力。对使用平视显示设备的飞行员和司机进行的研究表明，人们观看投放在外界环境上的文字和图片影像时，很容易产生“注意力隧道效应”。人的焦点会缩小，眼睛盯着显示图像，忽略视野内的其他事物。研究人员在飞行模拟器中进行了一项实验，使用平视显示设备的飞行员降落时要花费较长的时间才能发现有一架大型飞机挡在跑道上，而没有佩戴平视显示设备的飞行员低头扫一眼仪表读数，再抬头就能很快发现这一问题。其中有两名佩戴平视显示设备的飞行员甚至完全没有注意到正前方停着的飞机。心理学教授丹尼尔·西蒙斯和克里斯托弗·查布利斯2013年发表了一篇关于谷歌眼镜危害的文章，指出“感知能力需要双眼和大脑的共同参与，如果你的思维被占用了，你就无法注意到原本非常明显的事物了”。
由于采用了类似的设计，谷歌眼镜也很难避免这个问题。谷歌眼镜位于眼睛上方，时刻准备着，它只需一个眼神就能调取图像。至少手机可以被塞进口袋或手包里，或者也能放进汽车的杯托里。事实证明，你可以通过说话、移动头部、手势和指尖触摸同谷歌眼镜互动，这就对使用者思维和感官的参与度有更高的要求。而眼镜发出的来电提醒和信息提示的声频信号——布林在TED演讲时夸耀，“能通过头盖骨传送”，不像电话的嘟嘟声和蜂音那样突兀扰人。但是，打个比方来说，谷歌眼镜就像是附着在前额的计算机，只会让情况变得更糟。
无论是谷歌眼镜那样的头戴式设备抑或是腕上的Pebble[2] 智能手表，这种可穿戴式计算机都是新鲜事物，它们究竟具有多大的吸引力，暂时还无法定夺。如果想要受到普遍欢迎，它们需要战胜某些大的障碍。现在看来，可穿戴式计算机没有什么优势，它们看起来甚至有点蠢——伦敦《卫报》称谷歌眼镜是“可怕的眼镜”。并且，可穿戴计算机内置的微型照相机让许多人感到不安。但是，就像之前的其他个人计算机一样，很快，可穿戴计算机就会升级，它们会变得不那么突兀，功能也会增加。现在看来，在身上佩戴计算机是一件很奇怪的事，但是在未来10年，这将成为一种常态。我们甚至会吞下药片大小的纳米计算机，以观察体内的生物化学变化和器官的功能。
但是，布林认为谷歌眼镜和其他可穿戴式设备将开拓计算新时代的想法是错误的。它们会给已有的技术动量注入更多能量。随着智能手机和平板电脑越来越普及，网络计算机更加便携化、私人化，可穿戴式设备的出现让软件公司能够更多地融入我们的生活。软件应用价格低廉、界面友好，可穿戴式设备甚至可以通过云计算基础设施使最平凡的琐事也实现自动化。计算机化的眼镜和腕表进一步拓展了自动化的领域。有了这些设备，使用者在走路或骑车的时候能够非常轻松地获取路线信息，算法还可以生成建议，告诉使用者下一顿饭去哪儿吃或晚上出去穿什么。可穿戴式设备还可以作为人类传感器，将用户的位置、想法和健康状况传送给云。这样一来，软件编写人员和软件所有者就有更多机会将越来越多的日常活动自动化。
意愿的松动
我们进入了一个循环，是良性循环还是恶性循环，这取决于你的看法。随着我们越来越依赖应用和算法，我们也变得越来越离不开它们的帮助——我们经历了“技术隧道效应”，也经历了“注意力隧道效应”。这使得软件更加不可缺少。自动化繁衍出自动化。每个人都希望通过电子屏幕来管理自己的生活，自然地，社会也改变了自身的惯例和规程去适应电脑的惯例和规程。无法运用软件完成的事物——经不起电脑运算考验并因此抗拒自动化的事物开始显得可有可无。
施乐帕克研究中心的研究员表示，早在20世纪90年代，我们就应该知道，当我们不再去注意是否存在电脑运算的时候，就说明它就已经无处不在了。电脑是如此彻底地陷入了我们的生活，以至于我们将根本看不见它们。我们“不自觉地用它们来完成每天的任务”。这在当时来说似乎是个白日梦，笨重的电脑常常死机、瘫痪，或者在关键时刻做出不合时宜的举动。而现在，我们的白日梦也不是完全不可能实现。许多电脑公司和软件公司都表示正在努力将产品变得无形。来自硅谷的杰出企业家杰克·多西表示，“我对科技完全消失这件事感到特别兴奋。我们正在就此与Twitter（推特）合作，我们也正在与移动支付公司Square合作”。马克·扎克伯格经常将Facebook称为“一种公共设施”，他是在传递一种信号，他想让社交网络融入我们的生活，就像电话系统和电网那样。苹果公司将iPad宣传成一种可以“完成工作”的设备。说到这里，谷歌更是将谷歌眼镜推销成一种“解决科技问题”的设备。谷歌总工程师维克·冈多特拉最近在旧金山发表了演讲，他甚至在这条标语上加上了嬉皮士标签：“科技应该被扔到一边，这样你才可以去生活，去学习，去爱。”
技术人员也许确实夸大其词，但是他们并非玩世不恭。他们的确相信我们的生活变得越计算机化，我们就会越幸福。毕竟，这是他们自己的亲身经验。但是他们的抱负只不过是自私自利罢了。如果一项广为流行的技术要变得无形，首先，它必须在人们的生活中变得必不可少，以至于人们不能想象没有它的生活。只有当一项科技把我们生活的方方面面都包围时它才会从我们眼前消失。英特尔公司的首席技术官贾斯汀·拉特纳表示，他希望英特尔公司的产品能变成人们“生活环境”中非常重要的一部分，这样英特尔就能够为人们提供“无处不在的帮助”。可以肯定地说，让顾客们如此依赖电子产品也会为英特尔以及其他电脑公司带来更多的利润。对于做生意来说，让顾客依赖你的产品这一原则是至高无上的。
将一项复杂的技术融入人们的生活，这样就能节省许多劳力或脑力，这种前景对顾客和商家来说十分具有吸引力。《纽约时报》专栏作家尼克·比尔顿写道：“当技术不再成为我们的负担，我们就从中解放了。”但事情绝非如此简单。你不可能简单按一下开关就让一项技术变得无形。它只有在缓慢的文化接纳和个人适应改变之后才能消失。随着我们越来越习惯这项技术，它对我们造成的影响只会越来越大，而不是越来越小。我们也许不会去注意它对我们生活形成的限制，但是这些限制依然存在。就像法国社会学家布鲁诺·拉图尔指出的，一项为人熟知的技术的无形是“一种光污染”。我们重塑自己以适应这项技术，但这种重塑很难发觉。最初被我们用来实现某些特定意图的工具开始向我们身上强加它的意图，或者是其创造者的意图。拉图尔写道：“如果我们不能认识到一种技术的使用是如何大规模地取代、转变、修饰或是扭曲了最初的意图的话，不管这种技术多么简单，都只是因为我们按照改变方式的方法改变了目的，而且因为意愿松动，我们开始需要一些别的东西，与我们一开始想要的不同的东西。”
编程机器人汽车和士兵带来了一些伦理难题——谁操控着软件？谁负责选择优化目标？编码反映了谁的意图和利益？这些问题同生活自动化应用的发展息息相关。随着程序变得对我们越来越有影响力——影响我们工作的方式、看见的信息、旅行的途径、交往的方式，这些程序变成了一种远程控制。不像机器人或无人机，我们有拒绝软件指令和建议的自由。虽然要避免它们的影响很难。当我们发行一款应用的时候，我们希望能获得指导——我们使自己处于机器的照顾之下。
让我们细说下谷歌地图。当你在城市中旅游并使用这款应用时，它给你提供的不仅仅是导航参考，它会使你获得一种思考城市的方式。嵌入在这款软件中的是一种地点哲学，它反映了谷歌的商业利益、程序员的背景和偏见，以及软件在空间表现上的优势和局限性。谷歌在2013年推出了新版地图。它改变了展示城市的方式，这款地图是为每位谷歌用户量身定做的，它满足了每个人的不同需要和渴望，而这样做的基础就是谷歌之前在你身上搜集过的资料。这款应用会把附近的餐馆和你的社交好友推荐的其他目标点突出显示。它会给出你过去的导航选择。谷歌表示，用户的视野是“独一无二的，总是能够适应您当下的要求”。
这听起来很有吸引力，却很有局限性。谷歌选择了褊狭的个性化，过滤了意外发现的乐趣。它用算法消毒剂清理了一座城市所具有的各种传染性。可以说，看待一座城市的最重要的方式消失了——不仅仅是与朋友一起，而且是与一大群不同的陌生人一起分享公共空间。技术评论家耶夫根尼耶·莫洛佐夫评论道：“谷歌的都市生活方式是那些想要开着自动驾驶汽车去购物中心的人的生活方式。这十分功利主义，甚至是自私的，很少甚至根本没有考虑到公共空间的问题。在谷歌的世界里，公共空间只是横在你家房子与你想去的著名餐馆之间的东西。”便利性高于一切。
社交网络迫使我们以符合其背后公司利益和偏见的方式来呈现自己。通过Facebook的大事年表和其他的纪录片专题可以看出，Facebook鼓励用户将个人的公共形象和身份融为一体。它希望将他们锁在一个单一的、统一的“自我”里，贯穿始终，从孩童时代到生命终点。这符合公司创始人对于自我及其可能性的狭隘概念。马克·扎克伯格说过：“你拥有一种身份。以前，你在工作好友或同事以及熟人面前呈现的是不同的形象，这种日子也许马上就要到头了。”他甚至认为“拥有两重身份就是不诚实的表现”。这种观点一点儿也不出人意料，同Facebook想要将用户包装成整齐划一的数据集卖给广告商的愿望相吻合。对于公司来说，让人们觉得不应该太注重个人隐私就会给公司带来额外利益。如果拥有一重以上的身份就表明不诚实，那么，渴望保持某些不同于公众观点的想法或行动显示出的就是性格的懦弱。但是我们可以粉碎Facebook通过软件强加给我们的自我概念。自我很少是确定的，它有种千变万化的品质。它形成于自我探索中，随着环境而变化。这在人们年轻时尤为如此，那时，一个人的自我概念是不固定的，它要经历测试、实验和修正。特别是在人生早期，束缚在一种身份里可能会阻止个人成长和个人实现。
每种软件都包含了这样的隐含假定。在自动化智能查询中，搜索引擎会优先考虑流行性和新近性，而不是观点的多样性、论证的精确性或是表达的质量高低。就像所有的分析程序一样，它们偏爱那些倾向数据分析的标准，而对那些需要审美经验或其他主观判断的标准毫不在乎。论文自动评分算法鼓励学生们去死记硬背写作技巧。这些程序检测不出语气，对知识的细微差别也丝毫不感兴趣，对创造性的表达也十分抗拒。故意破坏语法规则可能会让读者感到高兴，但电脑对此绝不姑息。不管是推荐电影还是推荐潜在恋爱对象的引擎都在迎合我们已经明确的欲望，而不是向我们推荐新奇意外的事物。它们认为我们更喜欢熟悉的习惯，而不是冒险；它们认为我们更喜欢可预见的事物，而不是奇思妙想。家庭自动化的技术把照明、暖气、烹饪以及娱乐程序化，一丝不苟，家庭生活被强加了一种准时准点的心态。它们不露声色地鼓励人们去适应已建立好的惯例和日程，让家变得更像工作场所。
