2018年以前, 人工语言处理领域, 不存在具有里程碑意义的产品, 甚至可以讲, 没有什么称得上像样的产品。然而在2018年, BERT（Bidirectional Encoder Representation from Transformers）这个语言模型问世, GPT（Generative Pre-trained Transformer）这个语言模型也问世，二者呈现出一种有竞争较量态势, 语言模型由此开始迈向人类科技的舞台中央。2022年起始之后, 各类大型语言模型愈发如雨后春笋般不断涌现, 平均每4天便会有一个大型语言模型诞生问世。举例来说, 有LaMDA、Gopher、PaLM、MT - NLG、Jurassic - 1等等。自2022年11月OpenAI发布语言模型GPT（也就是GPT - 3.5）以来, GPT持续受到热捧走红, 成为了近期备受关注的热点话题, GPT也成为了现象级产品。各种各样的类GPT产品也开始纷纷出现。本文就此对GPT的形成机理以及问题应对展开一定程度的探索。
GPT是什么
若要明晰GPT的前后情况, 有必要先知晓GPT的身份, GPT是一种语言模型, 它能够借助深度机器学习生成人类可理解的自然语言, 其由OpenAI公司训练与开发, 并且在2020年9月被微软公司获得了独家授权。2018年, GPT诞生之后的初代版本, 也就是GTP - 1, 其约5GB训练文本, 1.17亿参数量那时还平平无奇, 即便发展到第二代GPT - 2, 约40GB训练文本, 15亿参数量, 也没给人们留下太多印象, 因为确实没什么特别过人之处。不过, 从第三代GTP - 3开始, 其约45TB训练文本, 1750亿参数量, GPT - 3就显示出了超强的能力, 开始在自然语言处理领域大放异彩。
从2022年5月起始, GPT - 3凭借几何级数量扩充知识储备, 每日新增词汇量多达450亿词, 于2021年而言, GPT - 3每日新增词汇量整整提升了10倍, 其文本生成能力亦有大幅增长, 人们只要给出简单提示, GPT - 3便能自动生成完整且通顺流畅的长文章, GPT - 3由此在NLP领域崭露头角, 然而, GPT - 3存在不少缺点。GPT-3作为预训练模型, 经由海量数据训练生成了它, 大概是45TB的训练文本, 模型的参数量很大, 达到了1750亿, 以此训练出来该模型, 而样本之中各种观点不一样, 差别明显, 在某些问题上, 带有偏见性的程度很高。
为了优化GPT - 3存在的不足之处, OpenAI针对它作出了改进, 增添了指示学习, 也就是Instruct Learning, 还加入了提示学习, 即Prompt Learning, 另外有微调, 也就是Fine - tune, 以及人工反馈的强化学习, 即Reinforcement Learning from Human Feedback, 从而使得GPT步入了GPT - 3.5时代。具备了上述四项关键技术的助力, GPT相较于GPT - 3而言, 参数量显著锐减, 并且在聊天范畴的文本生成能力大幅提升。GPT针对GPT - 3的优化能够划分成3个步骤。其一, 借助人工标注的数据对GPT - 3进行微调。其二, 训练一个契合人类评价方式的评价模型Reward Model, 针对给定的上文以及自动生成的回复予以打分, 再将分数依据从高到低的顺序进行排列。3.经由训练好的Reward Model给予引导, 让GPT-3再进行微调, 促使模型产出更契合人类习惯的聊天文本。
当你向GPT询问“你有什么功能”之时, 它给出了这样的回应, 其称身为一个AI助手, 能够提供如下这般的一些功能, 其一为问答, 它可以应答各类问题, 像是科学、历史、文化、语言、计算机等范畴的问题, 其二是翻译, 它能够把文本或者语音转译为多种语言, 诸如英语、法语、中文等, 其三是对话, 它能够开展智能对话, 回答各种有关生活、工作、学习等层面的问题, 其四是生成, 它可以生成文本、图片、音频以及视频等多种类别的内容, 例如文章、摘要、图像以及音乐等。5.学习方面, 我能够依据用户反馈以及数据来展开学习与进行优化, 进而提升自身的表现以及性能。娱乐方面, 我能够提供一些娱乐功能, 像是笑话、游戏、音乐之类的。总而言之, 我是一款具备多样功能的并且灵活性较强的 AI 助手, 能够助力用户去解决各类问题以及满足各种需求。其实, GPT 所具备的问答、翻译、对话、生成、学习以及娱乐这六个技能并非处于同一层面。从逻辑关联角度而言, 问答、翻译、对话、学习以及娱乐这五个技能均为“生成”的子类。
GPT的利弊
GPT在推出两个多月之际, 月活用户就已经突破1亿, 这从侧面体现了GPT在对话生成、问答系统、文本生成、文本翻译等方面具备强大能力, GPT有着如下优势, 其一, 知识面广泛, 相较于人类, GPT知识面更广泛, 人类个体的时间、精力以及脑力都极为有限, 而GPT是利用深度机器学习方法对海量数据进行训练, 并且通过人工反馈的强化学习得到的语言模型, 其知识面广度远超人类个体, 其二, 具有较强的自然语言生成能力。具备较强自然语言生成能力的GPT, 意味着它能在一定程度上理解人类语言, 涵盖各种方言以及口音, 还能够针对各种形式的问题作出回答。特别是在文本当中呈现语法、拼写等错误之际, 它能够自行予以纠正, 从而确保用户能够获取准确的答案。它具有一定创造性, 因为GPT能够记住先前的交互内容, 且接受人工反馈的强化学习, 这就意味着它能够较好地学习人类的偏好与习惯, 进而依据这些信息给出更为优质的答案。所以, GPT于创作之时候或者回答问题之际所生成的文本内容, 像诗歌、小说, 还有新闻、对话等, 极为类似人类的风格, 这之中也促使 GPT 在创造性方面比以往的文本生成模型更加优越。4. 应用的领域范围广泛, 未来发展前景极为巨大。GPT 能够应用于多种不同的场景。比如说, 在客户service、自然语言生成这个范畴、语音助手、问答系统这些领域, GPT 都能够胜任, 而且能够相对更为出色地去完成一些基础的任务。GPT 的更多使用场景此时也在持续不断地拓展, 其发展前景相当广阔。
然而, GPT并非毫无瑕疵, 当下还没办法越过下面这些障碍。其一, 欠缺真实情感与思想。鉴于GPT在训练语料中很难得到人与人之间的表情、姿态以及别的语境下的多模态信息, 因而它虽说具备较强的生成能力, 生成的文本符合语法, 中规中矩, 可却很难创作能与人们产生共情的内容。其二, 容易形成带有偏见的观点。因为给GPT的数据全是历史数据, 它学习这些历史数据后极有可能依据所学内容形成偏见。特别是GPT接纳了有人工反馈的强化学习, 这就不免致使好多结论带有主观性, 对于某些问题容易形成偏见, 容易一本正经地胡说八道。因为GPT在生成答案之际, 常常是借助词语和词语之间的关联关系来生成文本, 然而它却无法判别所生成文本内容的真伪, 所以很有可能传播与事实不符的情形。容易被欺骗进而给出违背伦理道德的建议。GPT原本已由开发者设定好道德和伦理标准, 要是用户询问的事情违背道德和伦理标准, GPT是有权拒绝回答的。可是因为GPT的反馈结果极易被prompt所影响, 同样的一个问题, 给出的prompt不一样, 那生成的结果便不一样。用户能够借由伪装、欺骗, 轻易地让GPT舍弃掉开发者为其设定好的道德以及伦理标准。
应对GPT带来的问题
GPT出现会给许多行业带去冲击, 其自身利弊以及产生的科技伦理等诸多问题, 得要我们深入思索并给出解决办法。1.GPT的定位。于人类工作与学习里, GPT仅是从属者, 人始终处于首位；尽管GPT知识面广, 且有一定创造性, 然而此创造性有限；舍掉人的创造性, GPT很难有作为。因为GPT是基于prompt驱动的, 解决同一个问题时, 不同prompt产生的结果差异极大, prompt的提出本身也需要创造性, 这促使大量专门提供prompt的从业者产生, AI文本生成的检测急需解决。GPT的文本生成给人们带来的便利明显, 在避免人类进行重复性工作之同时, 也带来了诸多现实问题。要是大部分人都用人工智能生成的文本, 那将是极为可怕且可悲之事, 这会使人类思维能力弱化。毫无思考、欠缺创新, 这会致使社会向后退步。怎样既能有效又能高效判定某个文本是不是人工智能自动生成的状况, 有着重要意义且十分紧迫。相关法律法规创立完善起来。因训练GPT的原始数据在分布方面不一定合理, 并且OpenAI仅仅雇了40个数据标记员去做人工反馈的强化学习以及修正, GPT自动生成的文本不可避免会存在偏见甚至违法的内容, 在好多领域的运用应该受到限制。科技产品使用, 都要处在法律框架以内合法进行, 与之相关的法律法规, 急需进一步健全完善。
能够讲, GPT一出现不仅就颠覆了人们对于传统聊天机器人的认知, 并且还会给许多行业带来革新。随着GPT流行起来, 不少类似GPT的产品也会不断地出现, 不管是Bard, 还是ERNIE Bot, 又或者是其他类似产品, 都需要进行人工反馈的强化学习, 会生成带有偏见的观点。针对这个情况, 我们应该在监管手段以及方法上做好顶层设计, 提前进行布局。
（作者系华中师范大学语言与语言教育研究中心副教授）
标签： ChatGPT 语言模型 人工智能 自然语言处理 科技伦理
还木有评论哦，快来抢沙发吧~