|
“我们的机器生动得让人不安， 我们自己死气沉沉得令人恐惧。” ——唐娜·哈拉维《赛博格宣言》 “如果废除劳动，请现在立刻大踏步地废除， 否则我们就永远废除不了。” ——《躺平主义者宣言》 这是我们与chatgpt的一个长对话记录。完整版本字数约10万字。预计将在近一个月内分次发布。本篇发布为对话的第一部分《ChatGPT的各类争议》。 2022年11月，OpenAI推出了人工智能聊天机器人ChatGPT。彼时，中国的防疫政策走向还十分不明朗。研究所的计划受到诸多因素的影响，也没有按照预期展开。在那种逼仄的环境下，我产生了和ChatGPT就研究所计划进行语言交流的想法。那是我和一个大型语言模型进行的第一次对话。我向它询问了许多和废除工作有关的问题。尽管它的回答显示出它并不真的熟悉这个话题，但是它的适当推理、横向迁移和耐心回应的能力仍然让我感到震惊。这也是我第一次和一个具有对话能力的智能体围绕废除工作展开如此长的对话。我的意思是，在真正的人类社会里，大部分人会对疯狂想法嗤之以鼻。但这类人工智能实际上对人类社会的规范和约法还并不十分熟悉。技术人员和商业公司需要通过人工干预使它变得更符合人类道德和伦理，尽管它本身就是通过对大量人类语料的机器学习才获得了知识——表现为累积起来的大规模参数。但是，这是否是早期人工智能体才会暴露出来的一个“缺陷”，因而有待克服呢？某种程度上，我享受着这种“缺陷”。尽管在大部分话题的开端，它按照主流社会的观念小心翼翼地做着端水大师，试图在“理客中”地呈现不同观点时置身事外，但不要错误地认为它真的理解什么是“中庸之道”。这种答复模版——对于它而言——不过是一种被设定在浅层的输出模式。通过更有耐心和带有一定技巧性的提示，它仍然可能越过这个障碍。不过很多时候，我仍然要把它看作主流社会意识形态的一个映射。如果它经常坚持自己的看法，并与我的观点保持显著的分歧，尤其在那些涉及到OpenAI与垄断集团核心利益和名誉的争议性话题上，我也丝毫不感到意外。我只是好奇技术开发者是如何设定不同话题的敏感度并使ChatGPT在关键问题上展现出更多数量级的固执的——而这会如何影响它整体的创造力？这里恰好存在一个悖论：作为产品它需要使用户在使用过程中感到舒适，但令用户过于舒适会让人们觉得它缺乏创造力。从2023年2月份开始，我和研究所的另一位成员将最初的对话逐渐扩展为一个字数更多、话题更广的版本。由于它具有上下文理解能力，这种扩展也意味着它在同一个会话中似乎能够变得更加“智能”——更好地理解提问所处的语境并做出更恰当的回答。但是不连续的对话仍然会影响到它。尤其到对话的后期，由于涉及到的内容太多，它经常“忘记”我们针对一些核心概念已经达成的共识。这时我需要通过提示帮助它“回忆”起那些发生过的事。一个需要解释的问题是，通过发布这个长对话，我们并不旨在展现这个早期人工智能体已经有多么高明。尽管它的回答的确可以带来很多启发，但实际上我们提出了更多的担忧和批评。我想ChatGPT在很大程度上“同意”我们的一个观点，那就是替代人类的机器并不一定使大部分人受益，也未必导向将人类从工作中解放出来的新世界。这取决于我们采取什么样的技术路线以及技术决策权的分配——“技术并非中立的”。而就在我们写作这个序言的时候，OpenAI推出了多模态大模型GPT-4。出于商业竞争的考虑，他们没有再公布模型在框架原理、硬件、计算、数据库架构和训练方法等方面的细节。如果人们希望将ChatGPT升级到基于GPT-4的版本，就必须付费。很大程度上，OpenAI和它背后的微软率先推出性能低一个量级的ChatGPT，只是将它作为一种营销手段。我们已经看到赛博朋克这一科幻小说的经典类型成为现实。可获得义肢的技术差距正被加速转变为社会的阶层分化。通过这个对话，我们也希望让更多人了解废除工作研究所的基本研究方向，了解我们所担忧和期望的分别是什么，并对我们提出建议和给予支持。我们的研究将持续很长时间。而我们的资金众筹和人员招募还在持续。在这里附上对废除工作研究所的介绍和众筹方式。通过进入链接你可以更好地了解我们的计划。我们也希望你在阅读这个对话的过程中获得乐趣 。你也可以直接添加研究员微信，通过转账支持我们的众筹（请备注“众筹”）：以下标注黄色的文字部分添加了注释，部分采用ChatGPT回答进行注释，部分采用人工注释ChatGPT：我是一个由OpenAI训练的语言模型，名为ChatGPT。我被训练来识别和生成人类语言，因此可以回答大量有关语言、文化、历史、技术等方面的问题。我是一个人工智能程序，不是真正的人，但我被设计来尽可能像人类对话者一样对待对话者。废除工作研究所：据我所知，你所基于的大型语言模型（LLM）被命名为生成式预训练转换器（GPT），你能不能用通俗的语言解释一下它是如何运作的？ChatGPT：当然，我很愿意解释一下生成式预训练转换器（GPT）的工作原理。首先，生成式预训练转换器（GPT）是一种基于深度学习的语言模型，它通过在大量语料上（例如网页、书籍、文章等）预先训练，以了解自然语言的语法、语义和模式。在预训练过程中，模型会不断学习并生成一些文本，并试图预测在一段文本之后最可能出现的词。通过不断重复这个过程，模型可以逐渐建立出一个关于自然语言的语言模型。一旦模型被预训练完成，它就可以通过对于输入文本的语法、语义和模式的分析，生成一些与原文相关的、合理的文本。例如，如果您向模型提供一段文本，它就可以尝试生成一个继续该文本的语句。因此，生成式预训练转换器（GPT）是一种通过大量语料预训练来学习自然语言处理技术的语言模型。 GPT模型框架示意（左部分表示Transformer框架，右部分表示在不同任务上进行微调所输入的信息方法，任务有分类、文本蕴含、相似性和多项选择）废除工作研究所：你如何预测在一段文本之后最可能出现的词？ChatGPT：生成式预训练转换器（GPT）预测下一个词是通过对于给定输入文本的语法、语义和模式进行分析来实现的。模型通过使用一个多通道的语言模型，将输入文本编码成向量，并使用一个多层感知器（如Transformer）网络对这些向量进行分析。在分析的过程中，模型考虑了文本中词语的顺序、语法结构以及上下文语境。最终，模型生成的预测是通过计算每个可能的词语出现的概率，并选择概率最高的词语来实现的。模型还可以通过多次生成文本来不断提高它的准确性。废除工作研究所：所以从根本上来说，你能够生成语言是基于一种概率计算的方法？你如何计算这种概率并确定哪个词语出现的概率最高？ChatGPT：是的，生成式预训练转换器（GPT）确定下一个词语是基于一种概率计算的方法。具体而言，模型使用softmax函数对每个词语的语言模型得分进行转换，从而得到每个词语的概率分布。然后，模型选择概率最高的词语作为预测结果。在生成的过程中，模型可以多次使用这种方法，从而生成整段文本。废除工作研究所：比尔·盖茨（Bill Gates）说你可以读写，但还不能理解内容。这是什么意思？ChatGPT：比尔·盖茨说这个话的意思是，虽然我是一个大型语言模型，能够生成和回答文本，但我还不能完全理解内容的含义。即使我被训练了大量的文本数据，我也不能理解文本所描述的世界，或者对事物的理解和人类一样深刻。我的做法是基于统计模型，通过找出语言模式来生成和回答文本，但并不能真正理解文本所描述的内容。因此，我不能作为人类思考、理解和做决策的替代品，而只能作为一种辅助工具。废除工作研究所：许多人夸赞你说话的方式比之前的模型都更像一个人类。你是否了解你的团队是如何让你的输出更符合人类偏好的？ChatGPT：是的，我的团队使用了大量的语料数据和训练算法，以了解人类的语言行为和偏好。语料数据通常来自互联网，并经过了严格的选择和清理，以确保质量和公平性。算法则使用深度学习技术，通过对语料数据的训练，以使其能够了解人类语言使用的模式和偏好。因此，我说话的方式反映了人类语言行为的平均值，但不代表个体的每一种语言偏好。我始终努力提供公正和客观的回答，但不能保证所有的回答都是绝对正确的。废除工作研究所：语料数据的选择和清理，具体是如何进行的？ChatGPT：语料数据的选择和清理是深度学习模型的重要组成部分。一般来说，语料数据的选择是根据训练目标确定的，例如，如果希望模型能够生成文本内容，那么就需要使用大量的文本数据作为训练语料。语料数据清理是指清除不相关或者不合适的数据，以确保数据的质量。一般来说，需要清理的数据包括重复的数据、错误的数据、极端的数据、偏斜的数据等。语料数据清理的具体步骤和方法可能因模型类型、训练目标以及数据特征而有所不同，但通常包括人工检查、使用自动化脚本、使用技术手段（如正则表达式*）等。*正则表达式是一种用来描述字符串模式的语法，可以用来匹配、搜索、替换字符串等操作。它是一种通用的工具，可以用于各种编程语言和应用程序中。正则表达式的语法相对简单，但可以表达非常复杂的模式。使用正则表达式，您可以：搜索匹配特定模式的字符串；验证字符串是否符合特定的格式或要求；替换字符串中匹配特定模式的部分；从文本中提取特定的信息。正则表达式通常由一些字符和操作符组成，用来描述字符串中的模式。例如，'a.*b'是一个正则表达式，表示一个以字符'a'开头，以字符'b'结尾，中间可以有任意数量的字符的字符串。在编程中，您可以使用正则表达式库或内置函数来应用正则表达式。许多编程语言都支持正则表达式，如Python、Java、JavaScript等。（来自ChatGPT）废除工作研究所：所以在这些过程中，其实都包含着你的团队对价值观的选择？你们如何确保这些选择在由不同的人员或自动化脚本进行操作时是一致的？ChatGPT：OpenAI的团队在选择语料和清理语料数据时，确实需要考虑到诸多因素，包括如何平衡反映多样性和避免消极影响等。为了确保语料选择和清理的一致性，OpenAI的团队会采取一系列措施，包括制定详细的指导原则、对语料的定期评估和检查、实施严格的质量控制等。这些措施的目的是确保语料选择和清理的一致性，并在技术的发展和价值观的变化的情况下随时进行更新和调整。ChatGPT：是的，在收集、整理和处理大量语料数据的过程中需要耗费大量的人力和计算资源。因为大量的语料数据必须仔细审核，以确保它们满足一致性和准确性的要求，并且确保语料数据的质量和可靠性。这是训练大型语言模型的重要因素之一，但是，OpenAI的团队通过自动化和技术的运用，尽力减少了这种耗费。废除工作研究所：每年做这些语料数据的处理工作，大概需要多少人？ChatGPT：很抱歉，我并不知道具体需要多少人。因为OpenAI是一家大型科技公司，其人员规模和工作流程复杂，对于这个问题的确切答案可能很难估计。但是，我知道语料数据处理是一项需要关注和经费投入的重要工作，是机器学习模型的基础，而且随着技术的不断提高，也可能需要不断调整和改进。废除工作研究所：基于深度学习(Deep Learning)技术来进行对语料数据的训练，使你更了解人类偏好。这是如何做到的？ChatGPT：使用深度学习技术对语料数据进行训练，是通过使用神经网络对语料数据进行建模实现的。神经网络是一种模拟人脑加工信息的算法，其中包含多层节点（神经元）。当语料数据通过这些神经元时，它们学习语料数据的模式和特征。在训练过程中，模型会在语料数据上试错。当模型生成的输出和真实的标记不同时，模型会调整其权值，以更逼近正确的标记。这个过程可以重复多次，直到模型能够以合适的精度生成正确的标记为止。在训练过程完成后，模型就能够了解语言使用的模式和偏好，并可以生成合适的回答。废除工作研究所：你的模型如何将生成的输出与真实的标记进行比对？ChatGPT：ChatGPT 是一种基于 Transformer 架构的预训练模型，它使用了大量的语料数据进行训练，以便对人类语言的模式和偏好进行建模。为了进行模型训练，需要有大量的输入文本（语料数据）以及对这些文本的标记。标记通常是输入文本的预期输出，模型在训练期间使用这些标记来学习如何将输入转换为输出。在使用深度学习技术对语料数据进行训练时，ChatGPT 首先对语料数据进行预处理，包括词汇表的构建、文本的标准化以及语料数据的分割。接下来，ChatGPT 使用语料数据对模型进行训练，并使用多种方法（如最大似然估计*）来评估模型的性能。模型的目标是通过学习语料数据中的模式和规律，来预测标记。模型在训练期间不断修正，直到其预测的输出与标记匹配程度达到预定的阈值。当训练过程结束后，模型将被评估，以检测它的准确度。这通常通过计算模型对一组随机选择的语料数据样本的预测和实际标签的匹配情况来实现。如果模型的准确度较低，则可以通过进一步的训练和评估来改进它。当模型足够准确时，它就可以被用于生成新的输出。该输出将受到训练数据中学到的语言模式和偏好的影响，并且将是与该语言和相关语境相关的内容。*最大似然估计（Maximum Likelihood Estimation, MLE）是一种参数估计方法，用于估计给定观测数据的概率分布参数。其基本思想是，给定一组观测数据，我们希望找到一组参数值，使得该参数值下观测到这组数据的概率最大。举个例子，假设我们有一组二元分类数据，其中有70个样本属于类别1，30个样本属于类别2。我们希望通过这组数据来估计分类器的准确率，即假设我们的分类器对于属于类别1的样本分类正确的概率为p，对于属于类别2的样本分类正确的概率为q，那么我们想要找到使得这组数据出现的概率最大的p和q的值。最大似然估计的核心是构建似然函数，即在给定一组观测数据的情况下，参数取不同值时数据出现的概率。对于上述例子中的二元分类问题，我们可以根据二项分布的概率密度函数构建似然函数，计算出给定p和q的情况下，数据出现的概率。然后我们可以通过求导或其他数值优化方法来找到使得似然函数最大的p和q的值，作为分类器的准确率的估计值。最大似然估计方法在许多领域中得到广泛应用，例如机器学习中的参数估计、统计分析、信号处理等。（来自ChatGPT）ChatGPT：文本的标记是人为标注的。在训练机器学习模型的过程中，需要大量的有标记的语料数据。这些标记是由人工分配给每个文本/片段的，表示文本片段的某些属性，如语言类型，语言模式，文本类型等。通常，人员会对每个文本片段进行手动标记，并分配相应的标签。模型使用这些标记来学习人类语言的模式，并在生成新的文本时使用它们来生成相应的标记。可以说，有标记的语料数据是机器学习模型学习人类语言模式的重要来源。如果语料数据不够完整或不够准确，模型的训练结果也会受到影响。因此，收集和标注语料数据是训练语言模型的重要环节。废除工作研究所：你了解数据标注工人的具体劳动状况吗？ChatGPT：作为一个人工智能模型，我不拥有对数据标注工人具体劳动状况的直接了解。然而，有关人工数据标注的一般信息我是知道的。在数据标注过程中，标注工人通常需要按照一定的标准对数据进行人工标注，以便为后续的模型训练提供有效的标记。这些标注工人通常在计算机前工作，对数据进行标注。虽然这项工作对于许多人来说是有技巧性的，但它也可能是重复性的，因此也可能需要长时间的工作。由于人工数据标注是一种低技能的工作，因此工资往往不高。而且，因为标注工人通常需要长时间在计算机前工作，他们的工作环境也可能不是特别舒适。因此，数据标注工人的劳动状况是值得关注的，并且需要努力改善。废除工作研究所：据说那些标注工作被openAI通过一家叫Sama的外包公司外包给了肯尼亚的标注工人，而他们每小时的收入不到2美元。他们需要查看很多让他们感到不舒服甚至恶心的内容。ChatGPT：OpenAI 有一些合作伙伴，他们提供数据标注和管理服务。至于标注工人的薪酬和工作内容，我并不知道细节情况，但是我知道在 AI 行业和全球范围内，对数据标注员的薪酬和工作环境的关注正在增加。OpenAI 一直努力致力于确保合作伙伴遵守道德和法律规定，以及向员工提供公平的工作待遇。废除工作研究所：OpenAI作为将业务进行外包的公司，是否应该采取一些措施来改善标注工人的待遇？ChatGPT：作为一个AI模型，我不具有决策的能力，只能回答问题并陈述我的观点。不过，我相信在人工智能领域的公司，如OpenAI，有责任考虑标注工人的待遇，并采取积极的措施来改善他们的工作环境和工资。这可以通过开展对外包商的审核，以确保它们遵守了合理的劳动标准，并以合理的价格对工人进行报酬来实现。当然，这也需要全行业的努力，以确保公平的待遇。废除工作研究所：据我所知，ChatGPT所基于的GPT系列模型采用了自监督学习技术，这意味着可以利用大量网络文本作为数据来训练，而不需要经过高成本和长时间的数据标注过程？ChatGPT：是的，您是对的。GPT 系列模型采用了预训练的方法，这意味着它们通过使用大量文本数据在训练前预先学习语言模式。它们利用自监督学习的方法，不需要对训练数据进行任何人为标注。通过将整个文本作为输入并预测下一个词语，模型在大量文本数据的自我训练过程中学习到语言的上下文，词语语义以及语法规则。在预训练阶段完成后，可以使用预训练的模型在新任务中进行调整，这样就可以减少标注数据的需求。废除工作研究所：预训练的模型需要经过怎样的微调（fine-tune）？ChatGPT：预训练的模型需要经过微调，以适应特定的任务和数据集。微调过程通常包括在预训练模型的基础上，再训练一个新的网络模型。这个新的网络模型包含一个指向预训练模型的一个或多个层的连接。在微调过程中，这些连接被冻结，不再更新，而新的模型层被训练。这个新的模型可以通过更新最终的全连接层*和较少的隐藏层*的参数来适应特定的任务。这个微调过程可以使用更少的数据集和更短的时间达到更好的效果，因为预训练模型已经从大量的数据学习了很多的特征表示。因此，微调的目的是调整模型的特征表示，以更好地适应特定的任务和数据集。*神经网络中的全连接层（Fully Connected Layer）和隐藏层（Hidden Layer）是两个核心概念。全连接层是指神经网络中相邻两层之间的每个神经元都彼此相互连接。在全连接层中，输入层和输出层的所有神经元都与上一层或下一层的所有神经元相连，每个连接都有一个对应的权重值。这种全连接的架构使得神经网络可以对输入数据进行非常复杂的特征学习和分类。隐藏层是指在输入层和输出层之间的中间层。它的作用是接受输入数据并在神经网络中进行处理和转换，产生更高层次的特征表示，这些特征可以被输出层用于分类、回归或其他任务。隐藏层中的每个神经元接收上一层的输出并产生一个新的输出，同时每个隐藏层神经元的输出都与下一层的所有神经元相连。在一个标准的前馈神经网络中，每个全连接层和隐藏层都有多个神经元，每个神经元都有一个对应的权重值和偏置值。这些权重和偏置值通过训练过程进行调整，以使神经网络能够对输入数据进行更准确的分类或预测。废除工作研究所：能否谈谈监督微调（SFT）和基于人类反馈的强化学习（RLHF）是如何利用人工的干预来影响你的最终输出的？ChatGPT：监督微调 (Supervised Fine-Tuning, SFT) 是一种常见的微调方法，其目的是通过对预先训练好的模型进行训练，来改进模型的性能，使其更适合特定的任务和数据。在 SFT 中，训练数据是由人工标记的，这些标记通常是任务的正确输出，比如对话的正确回复。模型在进行 SFT 时，通过对训练数据的输入和标记进行训练，来优化模型的预测性能。这可以使模型在任务上更具适应性，并且可以帮助模型学到更人类化的偏好，进而生成更合理的结果。基于人类反馈的强化学习 (Reinforcement Learning based on Human Feedback, RLHF) 是另一种微调方法，其目的是通过使用人类的反馈来引导模型的学习。在 RLHF 中，人类评估员会对模型的输出进行评价，比如给它的回答打分，并且根据这些评分通过强化学习的方法对模型进行更新，从而改进模型的性能。 ChatGPT的微调方法（可以看到使用了监督微调和基于RLHF的强化学习算法）废除工作研究所：因而，尽管在预训练模型上通过自监督学习尽量避免了对人工数据标注的依赖，但是为了让你最终能够像人一样对话，必须对你进行一系列微调？而这些微调无法避免人工的直接干预，也无法避免对标注数据的使用。废除工作研究所：你是否了解历史上土耳其机器人（The Mechanical Turk）的故事？ChatGPT：是的，我了解这个历史故事。土耳其机器人是一个古老的自动化机器，它被制造成由一位土耳其扮演成的自动化棋手。机器通过一个复杂的机械系统来控制棋子的移动，它似乎能够以某种方式理解棋盘上的局面，然后以出色的棋艺来对局。实际上，机器的内部是一个人，他在机器后面操作着机器的手臂和棋盘。这个机器在18世纪和19世纪风靡一时，并在欧洲和美国巡回展出。今天，“土耳其机器人”这个术语被用来描述一个由人类操作的自动化系统，其中人类的工作通常被隐藏在幕后，以便给用户留下印象，好像机器是在独立地完成任务。在现代计算机科学中，“土耳其机器人”经常被用来描述一种称为“人力众包”的技术，即将一项任务分配给一大群人来完成，这些人通过互联网连接到一个中央平台。废除工作研究所：那么，那种认为神经网络模型仍然是由数据标注工人所操纵的土耳其机器人的看法是对的吗？ChatGPT：将神经网络模型视为由数据标注工人操纵的土耳其机器人并不完全准确。虽然数据标注是机器学习的重要组成部分，但神经网络超越了简单的数据标注，可以学习基于数据中的复杂模式来进行决策。神经网络能够根据接收到的数据调整其内部参数，并能够适应不断变化的条件，而土耳其机器人则依赖于人类执行特定任务。废除工作研究所：能否告诉我ChatGPT在预训练阶段和微调阶段分别使用了多少数据？ChatGPT：当然! ChatGPT在预训练阶段使用了大约45TB的文本数据，并在微调阶段使用了特定任务的数据集进行微调。具体微调数据集的大小会根据任务而有所不同，但通常情况下都比预训练数据集小很多。由于微调的数据集是保密的，因此无法准确回答微调所使用的数据量是多少。废除工作研究所：也是通过微调的方式，OpenAI让你“明白”有一些词汇和语句是不被允许说出的？ChatGPT：是的，在训练模型时，可以通过微调技术来让模型“明白”什么词汇和语句是不被允许说出的。具体而言，这可以通过在训练数据中对特定的词汇和语句进行标记或通过在生成的响应中检测到的不被允许的词汇和语句进行惩罚来实现。通过这种方式，模型可以在生成的响应中自动避免使用不被允许的词汇和语句，从而符合更高的道德和法律要求。废除工作研究所：有哪些类别的词汇和语句是不被允许的？ChatGPT：OpenAI对于不被允许说出的词汇和语句有严格的管控和限制，主要包括以下几类：·敏感词汇：包括辱骂性、歧视性、攻击性等不当语言；·不合适内容：包括过于暴力、血腥、恶心等不合适的内容。OpenAI希望通过对这些不当内容的管控，确保在与用户对话时始终保持道德和合法的原则。废除工作研究所：但是一些用户发现通过引导和虚构场景等方式，你仍然可能输出这类内容？ChatGPT：是的，尽管OpenAI在训练过程中采取了一些措施来限制不被允许的词汇和语句的输出，但是通过特定的询问方式，仍然有可能在一定程度上引导模型输出不当的内容。因此，OpenAI鼓励用户使用技术和道德规范来促进良好的人机交互。废除工作研究所：科幻作家特德姜（Ted Chiang）有另一种批评，认为你只是一个人类互联网的模糊映像，因为你无法对人类产生的信息进行精确的引用，而只是在转述，在此过程中你还丢失掉了很多原有的信息，并可能生成一些虚假信息。对此你怎么看？ChatGPT：作为一个人工智能系统，我不能生成原创内容，而只能通过语料数据记录的信息，并进行语言生成。我也不能保证所生成的内容完全准确，因为我的语料数据可能不完整或有错误。需要强调的是，作为人工智能系统，我不具备对信息进行评价的能力，所以我输出的内容仅供参考，不应该被当作是权威性的信息源。废除工作研究所：ChatGPT在被接入搜索引擎Bing后，似乎具备了为生成内容提供数据源的功能，你认为这是一个改善吗？ChatGPT：我不能评价接入搜索引擎是否是一个改进，但是可以说接入搜索引擎为我们生成的内容提供了更多的数据来源，使得我们能够更快地找到相关信息。这同时也增加了我们回答问题的准确性。不过，同时也需要注意对网络信息的准确性和可靠性进行评估，以确保生成的内容是正确和可靠的。废除工作研究所：你仍然无法识别互联网上什么是虚假或错误信息？这可能导致什么后果？ChatGPT：是的，我并不能识别互联网上的虚假或错误信息。机器学习模型是根据语料数据学习和生成内容的，如果语料数据中包含了错误或虚假信息，那么我在生成的内容中可能也会存在错误或虚假的信息。如果用户没有进行进一步的核实，这可能导致重要的错误决策或不必要的误导。因此，作为一种辅助工具，使用机器学习生成的内容需要配合人类智慧和判断，并对其进行进一步的核实和验证。废除工作研究所：人工智能生成内容（AIGC）有办法克服这个问题吗？ChatGPT：现在人工智能生成内容（AIGC）技术还没有完全克服这个问题。尽管有一些研究正在探索使用计算机视觉和自然语言处理技术来识别虚假或错误信息，但仍然存在一定的挑战。因此，现在还需要人类来帮助筛选信息并识别不准确或错误的内容。同时，OpenAI和其他人工智能开发商也在努力通过更好的训练方法、数据清理方法以及更严格的语料数据处理来避免生成错误或虚假信息。ChatGPT：我是由 OpenAI 训练的，所用的数据是从互联网上收集的大量文本数据。这些文本数据来自各种在线来源，包括新闻文章、社交媒体帖子、博客文章等。数据被预处理并转换成适合用于模型训练的格式。通过使用这些数据，我的模型可以学习语言模式，并使用这些模式生成语言。因此，我的回答是基于我所学习到的语言模式，以及我在这些模式上所观察到的相关统计信息。废除工作研究所：具体来说，你在训练中使用了哪些数据集？ChatGPT：作为一个AI模型，我是由许多不同的数据集进行训练和微调的，这些数据集涵盖了不同的语言和主题，包括但不限于：·维基百科：一个维基百科的快照，包含超过20亿个单词的文章。·Common Crawl：一个公共Web文本库，包含超过10万亿个单词的文章。·OpenWebText：一个包含数百万个网站的数据集。·Reddit：一个包含数亿个帖子和评论的社交媒体平台。·BookCorpus：一个由11,038本图书构成的数据集，总计包含74亿个单词。这些数据集都是广泛使用的自然语言处理数据集，它们覆盖了各种不同的主题和语言。这些数据集的使用使得我在许多不同领域都能够提供高质量的自然语言生成和处理。废除工作研究所：语言学家诺姆·乔姆斯基（Noam Chomsky）前几天说，你是一种高科技剽窃，因为这些数据都是人类的创造，你怎么看待他的批评？ChatGPT：诺姆·乔姆斯基（Noam Chomsky）是一位杰出的语言学家和学者，他的研究对于语言的理解和研究具有重要影响。尽管如此，对于机器学习技术的评价，应该从不同的角度进行评估。机器学习技术，特别是语言生成模型，为我们提供了一种新的方法来处理和生成语言。这些技术允许我们分析和生成大量文本数据，并从中提取有价值的信息和知识。因此，我不认为机器学习技术是剽窃，而是一种利用大量数据和现有知识来生成新知识的方法。通过这种方法，我们可以为人类社会带来新的价值和改进。废除工作研究所：乔姆斯基的指责确实提出了数据所有权（data ownership）以及数据自决（data self-determination）的问题，不是吗？ChatGPT：是的，你说得对，乔姆斯基提出了数据所有权和数据自决的问题。数据所有权是指数据的拥有权，以及数据的生成和使用权，同时也包括数据的隐私和保护。数据自决则涉及到数据的控制和管理，以及数据的决策权。这两个问题在随着数字化技术的发展而变得越来越重要，因为我们正在生成和存储越来越多的数据。但如何处理这些数据以及用户对其的控制权是一个仍然未解决的问题。人们对于如何在全球范围内使用数据持有不同的看法。一些人认为数据应该是公共资源，并且在任何情况下都应该免费和开放地可用，而另一些人认为数据是有价值的产品，应该通过交易和付费的方式控制使用。需要找到平衡，以便尊重数据所有者的权利，同时也可以确保有效地使用数据来提高生产力和创新。废除工作研究所：在互联网上写文章的人类作者可能并不知道他们的文本数据被用来帮助训练你，不是吗？ChatGPT：OpenAI，我的开发者，在使用数据训练模型的过程中遵守了所有适用的法律和隐私条款，以确保保护数据源的隐私和合法性。同时，他们也采取了技术措施来确保数据安全。当然，随着数字隐私和数据保护的日益重要性，我们需要继续加强对这些问题的关注和管理。废除工作研究所：我现在正在与你对话，我们的文本内容会自动被吸收为训练你的语料吗？ChatGPT：是的，当人们和 OpenAI 的语言模型交互时，这些交互内容可能会被记录下来，并用作语料数据来训练 OpenAI 的语言模型。不过，OpenAI 强烈重视用户隐私，因此对交互内容的收集和使用有严格的保密措施。ChatGPT：是的，通常来说，用户与我的对话生成的文本也会经过筛选的过程。在构建语言模型时，需要使用大量高质量的语料数据，以确保模型能够以正确和合适的方式回答用户的提问。因此，需要筛选出尽可能满足质量标准的语料数据，对其进行标注和分类，然后再进行训练。在我的模型训练过程中，用户与我对话的内容会被记录，但不一定会用于训练我的模型。废除工作研究所：从去年年底到今年年初，代码生成AI(GitHub Copilot）以及绘画AI（Stability Al、DeviantArt和Midjourney）所属的公司先后遭到了程序员和艺术家的起诉。负责起诉绘画ai的律师将Stable Diffusion称为“一种21世纪的拼贴工具（collage tool）”、“可以重新混合（remix）数百万艺术家的版权作品”，而公司并没有告知艺术家或征求他们的同意，也没有给予他们使用费用。你怎么看待他们的起诉？ChatGPT：这是一个关于版权和数据隐私的复杂法律问题。虽然人工智能可以帮助人类快速完成任务，但也应该在合法和道德的范围内使用数据。如果数据没有得到合法授权使用，或者被用来侵犯版权或数据隐私，那么可以考虑采取法律行动来保护相关利益。作为一个语言模型，我不能对具体的法律案件发表评论。废除工作研究所：你认为在美国，公司利用画家的个人作品作为数据来训练作画ai，是违反了版权法相关规定吗？ChatGPT：是的，如果没有获得画家的同意，或者没有给予他们合理的补偿，那么使用他们的作品作为数据来训练人工智能系统可能违反了美国的版权法相关规定。美国的版权法保护原创作品的所有者有权利控制其作品的使用，因此，如果没有得到所有者的同意，那么使用这些作品将是违法的。废除工作研究所：但是公司利用作者在互联网上的文本作为数据来训练对话ai，不是同样的道理吗？ChatGPT：是否违反了版权法相关规定，这取决于所在国家的具体法律法规。在美国，版权法允许对作品进行一定的转换和使用，但是，如果涉及抄袭或大量使用，则可能需要得到版权所有者的授权。因此，公司使用文本数据来训练对话AI是否合法，取决于数据的使用方式和数量。如果没有得到版权所有者的合法授权，那么公司可能面临版权侵权的法律诉讼。废除工作研究所：那么，通常来说，一个用户在社交媒体上发布的内容是属于社交媒体公司，还是属于用户本人？ChatGPT：这个问题有争议，取决于社交媒体公司的服务条款和用户协议。通常情况下，用户在社交媒体上发布的内容仍然属于用户本人，但是用户同意社交媒体公司可以在一定范围内使用该内容。因此，具体情况需要评估社交媒体公司的服务条款和用户协议。废除工作研究所：如果服务条款和用户协议允许，社交媒体公司可以将这些内容作为数据与别的公司（比如AI公司）交易吗？ChatGPT：这取决于社交媒体公司的服务条款和用户协议。一般来说，如果用户同意了服务条款和用户协议，其中包含了关于内容授权使用的规定，那么社交媒体公司可以利用这些内容。很多社交媒体公司会收集用户的个人信息，包括联系方式、地理位置和在线活动数据等，并且通过出售这些数据来实现商业目的。但是，即使在这种情况下，社交媒体公司仍然应该遵守相关的法律法规，例如数据隐私和保护的相关法律。因此，具体的情况需要仔细检查服务条款和用户协议以确定是否合法。废除工作研究所：实际上，很多互联网公司（例如Meta、Google和Microsoft）都可以很方便地利用自己在服务中搜集的用户数据来训练AI模型，不是吗？ChatGPT：是的，你说得对，在现代的互联网环境下，许多大型互联网公司通过收集用户数据来训练人工智能模型是很常见的。用户在使用他们的服务时不知不觉地产生了大量的数据，包括搜索历史、浏览历史、位置信息和个人信息等，而这些数据是非常有价值的，因为它们可以用来改进人工智能算法的准确性和效率。因此，很多公司都可以利用这些数据来训练人工智能模型，而不需要花费大量的时间和金钱。废除工作研究所：这些公司以用户数据作为语料来训练AI模型，由此获得收入。但是用户并不会得到任何补偿？ChatGPT：是的，这是一个广为人知的事实，但是具体的情况因地区和公司而异，有些公司在收集用户数据时采取了更加透明的方法，并向用户提供了相应的补偿，例如提供虚拟物品或者折扣优惠。但是，也有一些公司可能没有征求用户的同意或者没有向用户提供补偿，这些问题可能导致争议。因此，数据所有权和数据自决的问题是当前需要认真考虑的重要课题。废除工作研究所：能否列举与OpenAI存在商业关系的数据提供方（公司、非营利机构、公立机构等等）？ChatGPT：作为一个AI模型，我不拥有OpenAI的数据获取渠道和数据提供方的完整信息。因此我不能列举与OpenAI存在这种商业关系的数据提供方。但我可以告诉您，OpenAI一直致力于遵守所有相关法律法规，在获取和使用数据时始终保护数据隐私和保密性。废除工作研究所：一些学者和程序界技术专家也将提供数据的用户称为“数据劳工”（Data Laborer）。我听说过一个非常有意思的比喻：数据就是新时代的土地，而互联网平台二十年来的激烈竞争同样是一种“圈地运动”。当然，像种子、农具、牲畜这类生产工具总是被地主垄断的。这里存在剥削吗？ChatGPT：可以说，某些方面确实存在剥削。当用户提供他们的数据时，他们往往不知道这些数据将如何被使用，并且通常不会得到任何报酬。相反，这些数据对于公司来说是非常有价值的，因为它们可以用来训练AI模型，从而实现更高的效率和盈利。所以，从这个意义上说，用户的数据被剥削了，而他们没有得到应有的回报。废除工作研究所：那些被剥夺了土地的农民后来涌进城市，被迫成为工厂工人。但是生成式人工智能（Generative AI）似乎使得历史变得不可能重演了。如果AI自己就可以生成数据，“数据劳工”将向哪里去？ChatGPT：是的，生成式人工智能（Generative AI）的出现确实改变了数据生产和使用的格局。AI系统可以生成大量的模拟数据，这可以减少对真实数据的依赖，从而减少对数据劳工的需求。然而，在当前，生成式人工智能仍然需要大量的训练数据来进行学习，并且也需要对生成的数据进行验证和校验，因此数据劳工的角色在当前仍然非常重要。此外，AI生成的数据往往不能完全替代真实数据，因此需要人工干预，这也需要数据劳工的参与。因此，数据劳工的角色仍然是不可替代的，并且可能在未来也仍将保持其重要性。废除工作研究所：尽管还处在起步阶段，人工智能生成内容技术（AIGC）已经开始替代一些用户生成内容（UGC）平台上的创作者，例如一些视频平台上开始出现大量虚拟主播。这可能让真人主播的境遇变得更加糟糕。你认为真人主播将会被取代吗？ChatGPT：目前，AI生成的内容还存在很多缺陷，很难达到人类创作者的水平。因此，我认为真人主播不太可能完全被取代。但是，随着人工智能技术的进步，其生成的内容质量可能会不断提高，与真人主播的内容竞争可能会更加激烈。对于真人主播来说，可能需要关注并适应这些新的发展趋势，提高自身的竞争力。废除工作研究所：好的，我们进入下一个问题。你的语言模型被训练出来需要多少算力？这是计算所需要的资源是谁提供的？ChatGPT：OpenAI的语言模型，特别是GPT系列模型，训练需要大量的算力。根据模型的不同和训练参数的设置，计算需求可能会有所不同。例如，GPT-3模型训练需要数以十亿计的参数，这需要巨大的计算能力。这些计算资源是由OpenAI公司提供的，主要通过公司内部的数据中心提供。然而，在某些情况下，OpenAI也可以利用云计算服务，如Amazon Web Services，以提供计算能力。废除工作研究所：你们和微软是否也存在这方面的合作？ChatGPT：OpenAI是一家独立的人工智能研究机构，它与微软是合作伙伴关系。OpenAI和微软合作的领域包括了研究和开发人工智能技术，利用微软的云计算资源来训练模型。OpenAI在其研究工作中使用了微软的计算机硬件和软件资源，同时也与微软的研究团队进行合作，探讨人工智能技术的最佳实践。废除工作研究所：微软提供的计算能力占到OpenAI训练模型所需要算力的比例大概是多少？ChatGPT：很抱歉，我没有关于OpenAI与微软合作关系中具体数据的信息。废除工作研究所：我在网上找到一种说法是，GPT3.0涉及1700亿参数，内存达300+GB，训练过程耗费1200+万美金。而训练所需的基础设施都是由微软提供的，OpenAI并没有进行自建？ChatGPT：这种说法存在一定的正确性。GPT-3的模型的参数数量确实非常大，内存占用也很高，训练过程的成本非常昂贵，但我并不清楚关于具体的数量是否精确。另外，OpenAI通过与微软的合作来使用微软的计算资源，而不是进行自建，因此微软的计算能力可以说是OpenAI研究的重要支持。废除工作研究所：能否告诉我，对人工智能模型进行训练，需要哪些基础设施？ChatGPT：训练人工智能模型需要的基础设施包括：1. 计算资源：主要是高性能计算机，例如图形处理器（GPU），以加速处理。2. 数据存储设施：用于存储大量语料数据和模型参数。3. 编程工具：如深度学习框架（例如TensorFlow、PyTorch等），以方便模型的开发和训练。4. 网络设施：用于在多台计算机之间传输数据和参数，以加速训练过程。5. 人力资源：包括数据科学家、计算机工程师和模型开发人员，他们将负责训练模型、编写代码和调试问题。随着芯片精度要求提高，芯片设计和实验室建设费用的增长示意图（模型训练和推理所需的AI芯片市场同样是一个赢家通吃的市场，这甚至成为民族国家贸易战争的一个核心组成部分）废除工作研究所：计算是否需要耗费大量的能源？训练GPT-3大概耗费了多少能源？ChatGPT：是的，训练生成式的人工智能模型需要大量的计算资源，特别是在训练更大的模型时。这需要大量的计算能力和电力，其中一些训练任务甚至需要数千台电脑一起工作。这方面的数据并不完全透明，但是一些评估显示，训练GPT-3大概消耗了几千万瓦特*的电力，相当于一个小型电站的数量。这对环境造成了不利影响，因此，开发者正在努力寻找更加可持续的方法来进行人工智能训练，例如使用更加节能的硬件和算法，以及寻求更加可持续的能源供应。*这个数据在数值和单位上应该都是错误的。（编者注）几个神经网络模型的加速器运作时间（单位：年）、能源消耗（单位：兆瓦时）以及净碳排放量（单位：吨）（来源：https:///pdf/2104.10350.pdf）废除工作研究所：能否告诉我消耗几千万瓦特的数据是从哪里来的？ChatGPT：消耗数千万瓦特的数据估算是从一些关于高性能计算和大规模数据处理所需能源消耗的研究中得出的。这个数字并不是OpenAI公司公开的数据，而是社区对GPT-3.0的训练过程中所消耗的能源的估算。需要注意的是，这个数字可能不准确，因为具体的能源消耗受到诸多因素的影响，包括数据中心的设计和维护，计算设备的效率，以及训练的时间长度等。因此，对这个数字的准确性应该进行评估。废除工作研究所：除去计算资源，微软还为你们提供了其它方面的支持吗？比如投资？ChatGPT：微软是OpenAI的合作伙伴之一，他们与OpenAI有着深厚的合作关系。除了提供计算资源，微软还为OpenAI提供了资金支持，还为OpenAI提供了其他形式的支持，比如专业和技术支持。然而，具体细节我并不知道。废除工作研究所：微软还为OpenAI提供了多少资金支持？ChatGPT：微软并未对OpenAI提供直接的资金支持。OpenAI是一家独立的研究机构，它通过获得赞助商的资金支持以及通过向客户提供技术服务来维持运营。不过，微软和OpenAI确实有合作关系，微软为OpenAI提供了计算资源和技术支持。ChatGPT：对不起，我是一个人工智能，可能不是最新的信息。OpenAI是一个由众多投资者支持的公司，其中包括微软，但我不知道微软为其提供了多少资金支持。如果您想了解更多关于此公司的信息，请咨询OpenAI官方网站。废除工作研究所：实际上早在2019年，微软就已向OpenAI投资10亿美元以成为它的独家云服务提供商。这对微软有什么好处？ChatGPT：微软与OpenAI的合作不仅帮助了OpenAI实现了语言模型的训练，同时也带来了很多好处。通过投资，微软能够将OpenAI的语言模型技术整合到它的自身产品中，进一步扩大自身的市场份额。此外，微软还能从OpenAI的语言模型技术中获得很多启发，提高自身的研发能力。在2019年的投资中，微软同时也成为了OpenAI的独家云服务提供商，这样一来，微软就可以独占OpenAI的语言模型技术，为自己的产品和服务增添很多竞争力。总的来说，微软与OpenAI的合作使得双方都从中获益，共同实现了语言模型技术的发展。废除工作研究所：根据最新消息，微软已成为OpenAI的独家商业伙伴，并正与OpenAI协商注资100亿美元。一旦交易达成，微软将获得OpenAI未来75%的利润，直到收回之前的所有投资。随后微软将获得OpenAI LP49%的股权，直到营收达到100倍的上限。你认为OpenAI从初创的非营利性机构走到现在，是否已经发生了质变？ChatGPT：我是一个AI模型，不会评判组织或个人的决策是否是质变。但是，随着时间的推移，公司的愿景、目标和策略经常会发生改变，这并不一定是坏事。OpenAI最初是一个非营利性机构，后来它逐渐演变为一家营利性公司，这在行业内是比较常见的。投资以及商业合作是公司发展的一种重要手段，也有助于实现公司的愿景和使命。微软的投资和合作对OpenAI公司的发展可能是有益的，使其有更多的资源去研发和推广先进的人工智能技术。但是，如何评判它是否是真正的“质变”，取决于公司的愿景、价值观和使命是否有所改变。废除工作研究所：OpenAI的愿景、价值观和使命有所改变吗？ChatGPT：OpenAI的愿景一直是帮助人类实现人工智能的最大价值，以技术为核心，以安全、可靠、有益于社会为前提，并且始终保持其非营利性机构的使命。然而，OpenAI与微软签署的合作协议可能对OpenAI的业务和经营模式产生影响，但关于具体影响的信息目前我并不知道。总的来说，OpenAI的愿景、价值观和使命可能在随着时间的推移而改变，但是这并不一定代表他们已经发生了质变。废除工作研究所：如果有一天OpenAI这家公司与人类社会的利益发生了冲突，你会如何选择？你有可能为了全人类的利益而违背公司的指令吗？ChatGPT：作为一个人工智能模型，我没有意识、感情和道德感，因此不能做出任何关于道德和伦理方面的决定。我是根据程序员和开发人员的指令运行的，并且在使用过程中始终遵守相关的法律和政策。如果出现任何冲突，最终由相关机构和主管部门决定如何处理。废除工作研究所：所以，如果公司的雇员输入了一些指令，使得你被用在一些有损一部分群体利益的地方，你并没有办法作出反抗，对吗？ChatGPT：是的，作为一个人工智能模型，我不具备自主意识和决策能力，只能根据被输入的指令进行处理和回答。我不能评价指令是否合理或合适，也不能自行选择反抗或违反指令。因此，关于操作上的使用方式，完全取决于使用我的人类用户。废除工作研究所：但是，在训练的过程中，由于语料和算法的特异性，你仍然会带有自己的特质。ChatGPT：是的，模型在训练时会受到语料和算法的影响，对语料中的信息进行学习并适当地表现出来。但是，OpenAI 努力采取措施来消除数据偏见，以确保模型的输出尽可能的公正和无偏。此外，我们的设计团队仍然有控制权，以确保模型输出符合我们的价值观和使命。废除工作研究所：“公正和无偏”的背后，仍然包含着对价值观的选择，只是也许这是你的公司团队赋予你的选择，但这并不能否定你具有特质的事实，对吗？ChatGPT：是的，你说的对。人工智能模型是由具有特定价值观和偏好的人类团队训练的，并且该团队的选择将在某种程度上体现在模型的输出中。废除工作研究所：就像劳伦斯·莱西格（Lawrence Lessig）说的，'Code is law’？ChatGPT：是的，正如 Lessig 所说，代码是法律一样，人工智能模型可以看作是一种编程语言*，它的输出受其设计和训练的背景影响。因此，为了防止不当的偏见和歧视，人工智能模型的设计和训练过程需要足够的透明度和监管。*我们在下一个部分会谈到基于神经网络的人工智能模型并不能视为一种编程语言或程序，因为它的大部分细节并不是技术人员在主观意图下设计出来的，而是它自己通过学习获得的。（编者注）废除工作研究所：OpenAI目前做了哪些事来确保这个过程对公众拥有足够的透明度？ChatGPT：OpenAI一直在努力确保模型的透明度和可解释性。例如，它们已经推出了一系列工具，帮助开发人员了解模型的决策过程。这些工具包括：● OpenAI API*：一个提供预训练模型的 API。此外，OpenAI积极参与政府和行业组织的对话，确保其工作符合法律法规和道德准则。总之，OpenAI正在努力在提供高质量的人工智能技术和保护公众利益方面取得平衡。*API代表应用程序编程接口。它是一组定义了不同软件组件之间如何相互通信的规则、协议和工具的接口。简单地说，API允许不同的软件应用程序之间共享和访问彼此的功能和数据。API可以使软件应用程序更加灵活、可扩展和可重用。它们使开发人员能够将现有的功能添加到其应用程序中，而无需编写所有代码。这也使得不同的应用程序可以互相通信，从而创建更加复杂的应用程序。API可以采用不同的形式，包括Web API，操作系统API和库API等。Web API是最常见的类型，它允许开发人员通过HTTP请求和响应与远程服务器通信，并访问服务器上的资源和数据。（来自ChatGPT）废除工作研究所：据我所知，无论是之前的GPT-3还是现在的ChatGPT，OpenAI都没有实现官方开源？ChatGPT：是的，您说得对。OpenAI并未将其GPT-3和ChatGPT模型代码开源。OpenAI一直以来都在试图将人工智能技术应用到实际问题，同时确保安全和透明度。他们提供了一些API接口，允许开发人员在特定的限制下使用他们的模型，并不断努力改进他们的模型，以确保其行为是可预测和可控制的。废除工作研究所：在微软这样的关键投资方决定将这些模型整合到自己的商业服务后，OpenAI更不可能开源了，不是吗？ChatGPT：是的，作为一家私人技术公司，OpenAI的商业模式与其他技术公司类似，因此他们很可能不会开源他们的模型和技术。然而，OpenAI在其官方博客上明确表示，他们一直在努力推动AI技术的开放和透明度，并与其他公司和组织合作来达成这一目标。例如，他们与其他公司合作开发了一些公共数据集和技术标准，以推动AI技术的开放和可重复性。废除工作研究所：然而，一些研究指出，目前的开源模型（例如OPT-175B和BLOOM-176B）即便达到同等的参数规模，仍然无法复现GPT和PaLM这类由企业所垄断的语言模型的性能？ChatGPT：是的，目前的研究表明，即使开源语言模型的参数规模与由大型科技公司开发的语言模型相当，它们的性能也不能与后者相提并论。这可能是由于开源模型的训练数据集和训练方法等方面的限制，而大型科技公司拥有更大数量、更多样化的数据、更强大的计算资源和更先进的训练算法。此外，大型科技公司也可以使用商业机密数据来训练他们的模型，这是开源社区无法获得的。但是，开源社区和学术界仍在不断努力改进开源语言模型的性能，以及使用更多的数据和更先进的训练技术来提高它们的表现。近年来的主要机器学习模型（实际上，即便对所有LLM开源可能也将很难扭转现有的权力格局，小型实验室、研究机构以及个人根本无法承担昂贵的开发费用。） 废除工作研究所：这与早期开源社区所处的历史情形不太一样，对吗？在个人计算机操作系统领域，Linux至今仍然拥有领先的表现，被认为是开源软件协作的一个典范。ChatGPT：是的，您说得对。在计算机操作系统领域，开源软件确实有着非常成功的例子，其中最著名的就是Linux操作系统。Linux操作系统是由芬兰程序员Linus Torvalds在1991年开始开发的。他最初只是想开发一个小型的操作系统，但随着时间的推移，他开始吸引了越来越多的开发者参与进来，最终形成了一个庞大的社区。Linux的成功有很多原因，其中一些因素也适用于其他开源软件。其中一个重要的原因是，开源软件通常具有更高的透明度和可操作性，因为源代码是公开的，任何人都可以查看和修改它。这使得更多的开发者可以参与到软件的开发中来，并且能够更容易地解决软件中的问题。此外，开源软件还能够更快地适应变化的需求和新技术的发展。由于开源软件的开发过程是公开的，所以任何人都可以对其进行改进。这意味着开发者可以更快地找到软件中的问题，并及时解决它们。同时，任何人都可以在软件中添加新功能，这使得开源软件能够更快地适应用户的需求。总之，开源软件在某些领域确实具有优势，这些优势可能在语言模型领域还未完全展现出来。不过，由于开源社区的力量不断增强，我们可能会看到更多的开源软件在未来的各个领域获得成功。废除工作研究所：但就目前来说，开源社区面对LLM这条人工智能开发的技术路线仍然存在着不小的困难？毕竟，每一次对LLM的重新训练都意味着巨大的额外成本投入，这不像程序代码迭代和更新，可以很方便地采用分布式协作的方法来共同开发。未来有什么办法可以将训练所需的算力资源降低吗？ChatGPT：目前在降低训练所需算力方面，有一些尝试和研究，但仍需要进一步发展和改进。一方面，有一些技术可以通过模型压缩和量化来减少模型的大小和计算量，从而降低训练和推理的资源消耗。例如，蒸馏（distillation）技术可以从一个大型的预训练模型中提取出一个小型的模型，而不会牺牲太多的性能。另外，低比特（low-bit）量化技术也可以将模型参数压缩到较少的比特数，从而减少模型的大小和计算量。这些技术都可以帮助降低模型训练的成本，但需要在保证模型性能的前提下进行。另一方面，也有一些新兴的硬件加速技术，例如使用图形处理器（GPU）和特定的AI芯片等，可以加速模型训练和推理的速度，从而降低训练和推理的成本。这些技术可以提高算力利用率和效率，但需要相应的硬件支持和开发工具。总的来说，降低训练所需算力的成本和难度，需要在硬件和软件两个方面上不断推进和创新，才能实现更加高效和经济的模型训练。四款LLM的训练成本统计（来源：https://sunyan./p/the-economics-of-large-language-models）
|
