超级AI智能会杀死所有人！
Sam曾多次公开表达对AI未来的担忧，甚至到了晚上睡不着觉的程度。
现在，已经组建团队，尝试在未来四年内用20%的算力解决“超智能对齐问题”。
最新团队将由联合创始人兼首席科学家 Ilya 和 Jan Leike 共同领导。
博客一开始，用短短几行文字，详细阐述了对超级智能到来时间的预测以及对其“毁灭世界”能力的严重担忧。
超级智能将成为有史以来最有影响力的技术，帮助我们解决世界上许多最重要的问题。 但超级智能的巨大力量也可能非常危险，可能导致人类力量的丧失，甚至人类的灭绝。
尽管超级智能现在看来还很遥远，但我们相信十年内就有可能实现。
未来四年我们要做的就是阻止超级智能杀死全人类。
四年解决超级AI对齐问题
并认为超级人类科技，为了管理这些风险并彻底解决一致性问题，必须建立一个新的治理机构。
他表示，目前还没有合适的解决方案来引导或控制潜在的超级人工智能。
目前的技术都依赖于人类监督，例如基于人类反馈的强化学习（RLHF）等。
但仅仅依靠人力来监管比我们聪明得多的人工智能系统，有一天将是艰巨而困难的。 目前的对位技术还无法扩展到超智能，因此新的技术突破的需要被提上了日程。
“英雄榜”也于今日上线。
目标是建立一个大致达到人类水平的自动对齐研究者，然后使用大量计算来扩展研究工作并迭代调整超级智能。
为了创建第一个“自动对齐研究员”，本质上是创建一个人工智能，需要三个步骤。
首先，制定可扩展的培训方法；
其次，验证生成的模型；
第三，对整个对齐的管道进行压力测试。
研究人员使用 AI 系统来帮助评估其他 AI 系统（可扩展监督），研究人员还希望了解和控制他们的模型如何将监督推广到人类研究人员无法监督的任务（有点拗口）。
随后，为了验证系统的一致性，研究人员自动搜索有问题的行为和有问题的内部结构。
最后，可以通过找到错位模型来测试整个过程，确认开发的框架可以检测各种不同的错位类型（称为对抗性测试）。
研究人员预计，随着对这个问题的研究越来越深入，研究重点将会发生变化，甚至可能会出现新的研究领域。
全新团队
为此，我们正式宣布组建一支由顶尖机器学习研究人员和工程师组成的团队——“”。
未来四年，目前已获得的计算资源的20%将专门用于解决超级人工智能的对齐问题。
预计许多团队将参与这一过程，从开发新方法到将其扩展到实际应用。
表示，他的目标是在四年内解决超智能对齐的核心技术挑战。
虽然听起来很大，实施起来也不一定能100%成功，但我仍然相信，只要多方共同努力，还是可以解决的。
Ilya 作为联合创始人兼首席科学家，已将这一目标作为核心研究重点，并将与 项目负责人 Jan Leike 共同领导该团队。
团队成员包括之前负责比对工作的研究人员和工程师，甚至还有其他团队的研究人员，可以说是阵容庞大。
LeCun的“狗级”AI十年后真的会翻身吗？
可以说，十年之内超级智能的AI系统将会诞生，这是一个非常大胆的预测。
首先，比如说，没有人承认它是一种具有人类思维能力的人工智能。
相比之下，类似于自动完成的大型语言模型可以在不完全理解单词背后的含义的情况下重新创建类似人类的响应。
因此，它有时会给出明显错误的答案，或者无法理解基本逻辑。
前段时间，Ng Enda 在新课程中指出，单词不会颠倒过来直接出现在热榜上。
例如，如果您要求它反转单词，则输出完全是混乱的。
主要原因是大型模型使用标记来处理文本，其优点是减少内存和时间复杂度。
然而，对单词进行分词显然存在一个致命的问题，那就是模型很难学习到有意义的输入，同时也能理解为什么它无法理解单词的含义。
当被要求处理单词反转的任务时，模型可能只是反转每个标记，从而使自己出丑。
除此之外，从更广泛的角度来说，图灵奖获得者Yann LeCun一直称当前的人工智能是比猫和狗还糟糕的AI。
一句话概括就是：“论智力，他可能连狗都不如。”
LeCun表示，目前的AI系统即使有，也根本不具备人类智能的水平。
在他看来，没有必要太过紧张。 如今的AI智能水平还远远没有达到我们应该担心的水平。
目前的生成式AI模型都是LLM训练的，这种只接受语言训练的模型并没有聪明多少。 这些模型的性能非常有限，并且它们无法提供对现实世界的理解。
从这个角度来看，预测超级人工智能即将到来对某些人来说可能看起来很奇怪。
尽管如此，他们仍然希望做好准备，利用先发制人的打击，将人工智能灭绝人类的想法扼杀在萌芽状态。
网友解答疑问
AI 首席执行官表示，我们计划将 AGI 与 ASI 结合起来。
我的观点（给出你的观点）：我们不可能在不剥夺自由的情况下绝对地调整超级智能。 对齐和自由是正交的。 我们不要构建可能对人类构成生存威胁和剥夺人类权力的人工智能。
博客称，未来将投入20%的算力来做这件事，但遭到网友质疑。
是时候有人考虑一下超级智能的安全性了。 但我们现实一点，20%的计算真的能解决问题吗？ 对于如此大的问题来说，这似乎是九牛一毛。
协调团队负责人 Jan Leike 解释说，
20% 的计算量可不是小数目，如此规模的资源分配意愿给我留下了深刻的印象。
这是有史以来最大的对齐投资，可能比人类迄今为止在对齐研究上花费的还要多。
完成这项任务需要4年时间。 如何判断是否失败或者进度不够快？
人类对于宇宙中是否存在其他先进文明充满好奇和想象。 想象一下，如果存在超级文明，他们可能比我们领先10亿年，拥有远远超过人类的科技和文明水平。 一旦你接触到我们，没有人能确定你是快乐还是悲伤？ #外星人#
我们人类有与生俱来的坏品质。 如果还有其他像我们一样的存在，掌控着更高级的文明，一旦被发现与他们接触，后果将不堪设想。 本文将探讨这个问题，虽然我们不能给出结论性的答案，但我们可以通过推测和反思，勾勒出一幅超级文明可能性的图景。
超级文明存在的可能性：
首先，宇宙非常古老。 宇宙随着大爆炸诞生于大约138亿年前，而人类文明的历史只有几千年。 在宇宙的历史长河中，正如中国的成语所说：“千军易得，将帅难求”。 可能存在一些超级文明，经历了数十亿年的不断进化和发展。 达到了我们无法想象的高度。
其次，宇宙中有数千个恒星系统和行星可能提供适宜居住的条件。 正如中国成语所说：“万物生长”，我们可以合理地推测，某些星球上的生命可能已经发展出了高度智慧的文明。 这些文明可能已进入超级文明阶段，拥有难以企及的科技和文化成就。
此外，宇宙中的物理定律和基本常数可能在超级文明的发展中发挥关键作用。 如果有一些物理定律或技术原理还没有被我们发现，超级文明可能已经掌握了这些知识并将其应用到他们的技术中。 正如中国成语所说：“开阔眼界”，我们需要保持开放的心态，不断拓展我们对宇宙和科学的认识，才能更好地认识超级文明存在的可能性。
超级文明的文明等级和特征：
超级文明的文明水平和特征是一个令人着迷的话题。 虽然我们无法准确描述超级文明的具体面貌，但通过推测和思考，我们可以探索它们可能具有的文明水平和独特特征。
超级文明的水平和特征可能超出我们的想象。 这是我们对超级文明的猜测和想象。 我们需要不断的研究和探索，进一步了解宇宙中可能存在的超级文明的真实面貌。
超级文明对人类的潜在威胁：
超文明对人类的潜在威胁是一个重要的考虑因素。 如果存在比人类领先数十亿年的超级文明，他们可能拥有强大的技术和资源，对人类构成潜在的挑战和威胁。
超级文明可能拥有远远超过人类的科技水平和军事能力。 他们的技术可能使他们能够制造出强大的武器和工具，具有远距离探测、攻击和防御的能力。 这种技术优势可能对人类构成直接的军事威胁，使地球和人类面临灭绝的危险。
它还可能寻求获取更多资源，包括地球的自然资源。 他们可能拥有控制和开发宇宙资源的能力，这可能会引发与人类的资源竞争。 这种竞争可能会导致地球资源的枯竭，给人类的生存和发展带来巨大的困难。
此外超级人类科技，超级文明的存在可能会对人类文化和社会结构产生影响。 他们可能有与人类文化相冲突的不同价值观和道德准则。 它们的存在可能引发文化冲突和价值碰撞，对人类社会的稳定与和谐构成挑战。
但我们需要看到，超级文明的意图和行为我们仍然不得而知。 虽然我们可以推测它们的潜在威胁，但这仅基于假设和猜测。 我们无法确定超级文明的真实意图和态度，因此我们不能过度害怕或认为它们对人类怀有敌意。
面对超级文明的潜在威胁，我们需要保持警惕和开放的心态。 我们要不断推进科学研究，增强人类科技实力和文化智慧，更好应对可能出现的挑战和威胁。 同时，我们还可以通过建立国际合作与沟通渠道，与其他文明进行交流与合作，促进相互理解与和平发展。
总之，超级文明对人类的潜在威胁是一个复杂而严重的问题。 我们需要保持谨慎、冷静的态度，不断探索和研究，以更好地了解宇宙中的其他文明，制定应对策略，以确保人类的生存和繁荣。
我们会成为宇宙的超级文明吗？
人类是否有潜力成为宇宙超级文明，是一个引人深思的问题。 尽管我们对宇宙的探索仍处于起步阶段，但我们所取得的令人瞩目的技术和文明进步使这个问题值得思考。
人类作为一种高度智慧和创造力的生物，在科学、技术、文化等领域取得了重大突破和进步。 我们可以探索太空，了解宇宙，创造许多复杂的技术系统和文明建设。 这显示了人类在知识和技术方面的潜力和创造力。
我们不断追求进步和发展，致力于改善生活条件、保护环境、促进社会正义。 这种追求使人类在道德伦理和社会发展方面取得更高水平的进步，建立更加成熟文明的社会结构。
然而，要成为宇宙中的超级文明，人类面临着许多挑战和限制。 宇宙的浩瀚和复杂，需要超级文明的形成，超越现有的科技和文明水平。 我们需要克服技术限制、资源限制、社会文化问题，才能实现更高的文明水平。
超级文明的形成也需要时间和历史的积累。 目前人类文明的历史还比较短，而超级文明可能需要数十亿年的演化和进化。 因此，要成为宇宙中的超级文明，还需要不断努力、发展、进化。
虽然我们目前无法确定人类最终是否会成为超级文明，但我们应该积极探索和开发我们的潜力。 我们可以通过科学研究、技术创新和文化建设不断提高我们的智慧和文明。 同时，我们还可以通过与其他文明的交流与合作，共同促进宇宙的和谐与繁荣。
总而言之，成为宇宙中的超级文明是一个雄心勃勃、令人向往的目标。 尽管我们面临许多挑战和限制，但通过不断努力和进步，我们有望实现更高的文明水平。 无论结果如何，我们都应该珍惜当前的人类文明，关注人类自身的发展和幸福，为宇宙的探索和发展做出积极的贡献。
总结
宇宙中是否存在比人类领先10亿年的超级文明，这是一个引人深思的问题。 无论它存在与否，我们都可以从中汲取灵感和动力。
我国古代有句俗话：“大海有知音，天涯若比邻”。 即使我们与超级文明存在巨大差距，我们也可以保持谦虚和勇敢，继续追求知识和智慧，努力探索宇宙的奥秘。 无论我们是宇宙中的超级文明，还是普通的探索者，都应该以不竭的热情和坚定的信念去追求未知，不断超越自我，为人类文明进步做出贡献。
