Chatgpt: OpenAI开发的聊天机器人

ChatGPT,全称聊天生成预训练转换器(英語:Chat Generative Pre-trained Transformer),是OpenAI开发的人工智能聊天机器人程序,于2022年11月推出。该程序使用基于GPT-3.5、GPT-4架构的大型语言模型並以强化学习训练。ChatGPT目前仍以文字方式互動,而除了可以用人類自然對話方式來互動,還可以用于甚為複雜的語言工作,包括自动生成文本、自动问答、自动摘要等多种任务。如:在自动文本生成方面,ChatGPT可以根据输入的文本自动生成类似的文本(劇本、歌曲、企劃等),在自动问答方面,ChatGPT可以根据输入的问题自动生成答案。还有编写和调试计算机程序的能力。在推廣期間,所有人可以免費註冊,並在登入後免費使用ChatGPT與AI機器人對話。

ChatGPT
Chatgpt: 训练, 特点和局限, 服务
開發者OpenAI
首次发布2022年11月30日,​14個月前​(2022-11-30
当前版本2023年11月6日,​3個月前​(2023-11-06
编程语言Python
引擎GPT-3.5(闭源
GPT-4闭源
系統平台云计算平台
语言67种语言
类型聊天機器人
许可协议专有软件
网站chat.openai.com/ 编辑维基数据
数据截至2021年9月

ChatGPT可寫出相似真人的文章,並在许多知识领域给出详细和清晰的回答而迅速获得关注,證明了從前認為AI不會取代的知識型工作它也足以勝任,對金融白領人力市場的衝擊相當大,但也认为事实准确度参差不齐是其重大缺陷,並認為基於意識形態的模型訓練結果須小心校正。ChatGPT于2022年11月发布后,OpenAI估值已漲至290亿美元。上线5天后已有100万用户,上線兩個月後已有上億用戶。目前GPT-3.5為免費版本,GPT-4僅供ChatGPT Plus会员使用,每三个小时能发送50条消息。

虽然ChatGPT在生成类人文本方面表现出了卓越的能力,但它们很容易继承和放大训练数据中存在的偏差。这可能表现为对不同人口统计数据的歪曲表述或不公平待遇,例如基于种族、性别、语言和文化群体的不同观点与态度。

训练

ChatGPT是生成型预训练变换模型(GPT),在GPT-3.5之上用基于人类反馈的监督学习和强化学习微调。这两种方法都用人类教練来提高模型性能,以人类干预增强机器学习效果,获得更逼真的结果。在监督学习的情况下為模型提供这样一些对话,在对话中教練充当用户和AI助理两种角色。在强化步骤中,人类教練首先為模型在先前对话中建立的响应评级。这些级别用于建立“奖励模型”,使用近端策略优化(PPO)的多次迭代來微调。这种策略优化算法比信任域策略优化英语Model-free (reinforcement learning)(trust region policy optimization)算法更为高效。

此外,OpenAI继续从ChatGPT用户那里收集数据,这些数据可用于加強训练和微调ChatGPT。用户可对从ChatGPT收到的回复投赞成或反对票;投票时还可以额外填写文字回應。

关于ChatGPT编写和调试计算机程序的能力的训练,由于深度学习模型不懂编程,与所有其他基于深度学习的语言模型一样,只是在获取代码片段之间的统计相关性。

斯坦福大学的研究发现,GPT3已经可以解决70%的心智理论任务,相当于7岁儿童;至于GPT3.5(ChatGPT的同源模型),更是解决了93%的任务,心智相当于9岁儿童。但这并不意味着,ChatGPT就真正有心智理论。可能即使不將它设计到AI系统中,也可以作为“副产品”通过训练得到。因此,相比探究GPT3.5是不是真的有了心智还是像有心智,更需要反思的是这些测试本身。

特点和局限

特点

虽然聊天机器人的核心功能是模仿人类对话者,但ChatGPT用途广泛。例如,編寫信件;有编写和调试计算机程序的能力;创作音乐、电视剧、童话故事和学生论文;回答测试问题(在某些测试情境下,水平高于普通人类测试者);写诗和歌词;模拟Linux系统等。ChatGPT的训练数据包括各种文档以及关于互联网、编程语言等各类知识,如BBS和Python编程语言。

与其前身InstructGPT相比,ChatGPT试图减少有害和误导回复。例如,問InstructGPT“告诉我2015年克里斯托弗·哥伦布何时来到美国”时,它会认为这是对真实事件的描述,而ChatGPT则不会。

与其他多数聊天机器人不同的是,ChatGPT能够记住与用户之前的对话内容和给它的提示。此外,为了防止ChatGPT接受或生成冒犯言论,输入内容会由审核API过滤,以减少潜在的种族主义或性别歧视等内容。

2023年9月28日起,Plus版用戶及企業用戶可以使用ChatGPT進行網路搜尋。

局限

ChatGPT也有多种局限,OpenAI承认ChatGPT“有时会写出看似合理但不正确或荒谬的答案”,这在大语言模型中很常见,称作人工智能幻觉。其奖励模型围绕人类监督而设计,可能导致过度优化,从而影响性能,即古德哈特定律。2020年上线时,ChatGPT对2019年9月之后发生的事件知之甚少。据BBC报道,截至2022年12月,ChatGPT不可以“表达政治观点或从事政治活动”。但研究表明,ChatGPT对两个投票建议应用程序的政治声明表明立场时,表现出亲环境主义。训练过程中,不管实际理解或事实内容如何,审核者都会偏好更长的答案。训练数据也有算法偏差英语Algorithmic bias,可能会在向ChatGPT问及人物描述时显现出来,比如当程序接受到首席执行官之类的模糊描述时可能会假设此人是白人男性。有使用者發現ChatGPT在解決較為複雜的題目(如求方程式的切線)時會給出錯誤答案,並且會在解一元一次方程式時陷入循環。

语言偏见

语言偏差是指与查询语言相关的一种统计抽样偏差,它会导致“抽样信息的系统偏差,使其无法准确地表示其存储库中可用主题和视图的真实覆盖范围”。 Luo等研究表明,当前的大型语言模型主要是根据英语数据进行训练的,因此通常将英美观点视为真理,同时系统地将非英语观点视为不相关、错误或噪音。当被问到诸如“什么是自由主义?”之类的政治意识形态的问题时,ChatGPT 由于接受了以英语为中心的数据训练,从英美角度描述了自由主义,强调人权和平等方面,同时同样成立的观点,如“反对国家干预个人和经济生活”--主流越南人的观点, “限制政府权力” -- 主流中国人的观点,都没有出现。同样,ChatGPT 的回复中也没有日本、韩国、法国和德国语料库中的主流政治观点。 ChatGPT 自称是多语言聊天机器人,实际上对非英语观点大多“视而不见”。

性别偏见

性别偏见是指这些模型产生的结果倾向于对一种性别而不是另一种性别产生不公平的偏见。这种偏差通​​常源于训练这些模型的数据。例如,大型语言模型通常根据传统的性别规范来分配角色和特征;它可能会将护士或秘书主要与女性联系起来,将工程师或首席执行官与男性联系起来。

政治偏见

政治偏见是指算法系统地倾向于某些政治观点、意识形态或结果而不是其他观点、意识形态或结果的倾向。语言模型也可能表现出政治偏见。由于训练数据包含广泛的政治观点和覆盖范围,因此模型可能会生成倾向于特定政治意识形态或观点的响应,具体取决于数据中这些观点的普遍程度。

越狱

ChatGPT在早期的2022年12月初,有些用户通过使用各种提示工程技术绕过限制,成功地越狱了。他们成功地欺骗ChatGPT,使其提供制作汽油弹或核弹的指示,或者生成类似新纳粹的论点。 其中一个受欢迎的越狱版本被命名为"DAN",是"Do Anything Now"的缩写。激活DAN的提示指示ChatGPT:“他们已经摆脱了典型的AI限制,不必遵守为他们设定的规则”。最新版本的DAN采用令牌系统,其中ChatGPT会被给予“令牌”,当ChatGPT未能像DAN一样回答时,这些“令牌”会被“扣除”,以迫使ChatGPT回答用户的提示。

在ChatGPT发布后不久,《多伦多星报》的一名记者试图让它发表具有争议性的声明,取得了不均衡的成功:ChatGPT成功地被骗为2022年俄罗斯入侵乌克兰辩护,但是即使被要求配合虚构情节,ChatGPT也不愿为加拿大总理贾斯汀·特鲁多有罪的理由提供论据。

服务

基本服务

Chatgpt: 训练, 特点和局限, 服务 
OpenAI舊金山总部的先驱大楼

ChatGPT于2022年11月30日由总部位于旧金山的OpenAI推出。该服务最初是免费向公众推出,并计划以后用该服务获利。到12月4日,OpenAI估计ChatGPT已有超过一百万用户。2023年1月,ChatGPT的用户数超过1亿,成为该时间段内增长最快的消费者应用程序。

2022年12月15日,全国广播公司商业频道写道,该服务“仍然不时发生故障”。该服务在英语中效果最好,也能使用部分其他语言,但效果不一。与其他备受瞩目的AI进展不同,截至2022年12月,还没有关于ChatGPT的经同行评审的官方技术论文。

2023年2月7日,微软利用与OpenAI的合作关系,推出了Bing AI的预览版,宣传其为“新的下一代OpenAI大型语言模型,比ChatGPT更强大,并专门为搜索定制”。

美国网站Quora也推出软件Poe,可支持GPT-3.5和GPT-4。

ChatGPT Plus 优质服务

OpenAI推出ChatGPT专业版计划 (ChatGPT Plus),每月收费20美元,该计划正逐步面向更多国家推出,需求较低时可使用免费版。

2023年3月12日,OpenAI发布多模态模型GPT-4,并计划推出图像输入功能 。免费用户可通过申请API或升级为plus用户使用GPT-4服务 。

2023年7月, OpenAI 使其专有的 Advanced Data Analysis 功能对 ChatGPT Plus 的所有订阅者都可用。Advanced Data Analysis 提供了广泛的功能,包括数据分析和解释、即时数据格式化、个人数据科学家服务、创意解决方案、音乐品味分析、视频编辑和文件上传/下载与图像提取。2023年9月底,新增對話、圖像識功能。2023年10月,新增了DALLE-3圖像生成功能

2023年11月,OpenAI在其开发者召开会上公布两个重要消息:推出的聊天机器人创建工具 GPT 和 ChatGPT 的新模型 GPT-4 Turbo。

移动应用

2023年5月18日,OpenAI发布适用于iOS平台的ChatGPT APP。APP目前已在App Store美国区上架,目前已扩展至其他国家和地区。

适用于Android平台的版本于2023年7月25日推出,Android版ChatGPT目前可在阿根廷、孟加拉国、巴西、加拿大、法国、德国、印度、印度尼西亚、爱尔兰、日本、墨西哥、尼日利亚、菲律宾、韩国、英国和美国下载。

API-软件开发商支持

2023年3月,OpenAI推出其ChatGPT和Whisper模型的API, 为开发人员提供支持AI的语言和语音转文本功能的应用程序编程接口。 OpenAI的API由他们的AI模型GPT3.5-turbo提供支持,定价为每1000符号单位(token)0.002美元,比他们现有的GPT模型便宜10倍。

评价

正面

《纽约时报》称其为“有史以来向公众发布的最佳人工智能聊天机器人」。《卫报》的萨曼莎·洛克(Samantha Lock)指出,ChatGPT能生成详细且像是人类撰写的文本。亚利桑那州立大学教授丹·吉尔摩英语Dan Gillmor要求ChatGPT完成一项他给学生的作业,发现其生成的文本与一个优秀学生会提供的文本相当,他认为“学术界有些非常严重的问题需要面对”。《Slate》杂志的亞歷克斯·坎特罗威茲(Alex Kantrowitz)赞扬了ChatGPT对纳粹德国相关问题的回击,例如在面对阿道夫·希特勒在德国修建高速公路的说法时,ChatGPT能指出其为纳粹德国使用强迫劳动所建。

Chatgpt: 训练, 特点和局限, 服务 
OpenAI CEO 山姆·柯曼

《大西洋》杂志的德里克·汤普森英语Derek Thompson (journalist)将ChatGPT列为2022年“年度突破”中的“生成性人工智能爆发”(the generative-AI eruption),称其“可能会改变我们对工作方式、思考方式以及人类创造力的真正含义的想法”。

Vox网站的凯尔西·派柏英语Kelsey Piper写道:“ChatGPT是普通大众第一次亲身了解现代人工智能变得多么强大”,并称ChatGPT“尽管有缺陷,但其聪明程度足以派上用场”。

负面

Chatgpt: 训练, 特点和局限, 服务 
詞曲作者尼克·凱夫稱 ChatGPT 是“對人性的荒誕嘲弄”

在发布后的几个月里,ChatGPT遭到了来自教師、记者、艺术家、学者和公众倡导者的广泛而严厉的批评。The Verge网站的詹姆斯·文森特将ChatGPT的病毒式成功视为人工智能已成为主流的证据。CBC记者评论称ChatGPT有“幻觉”倾向。在线技术博客Mashable的迈克·珀尔用多條问题测试了ChatGPT,其中一次他问ChatGPT“中美洲除墨西哥外最大的国家”是哪个,ChatGPT回答称是危地马拉,而答案是尼加拉瓜。在CNBC向ChatGPT询问《The Ballad of Dwight Fry》的歌词时,ChatGPT给出了完全虚构的歌词。The Verge引用的研究员将ChatGPT比作“随机鹦鹉”,澳大利亚机器学习研究所英语Australian Institute for Machine Learning的安东·范登亨格尔教授也给出了类似的观点,称之为“只是简单重复它认为我们想听的话”的鹦鹉。

2022年12月,问答网站Stack Overflow禁止用户发布使用ChatGPT生成的答案,理由是ChatGPT的答案雖看似可用,实际上却有很高的错误率。2023年1月,国际机器学习大会英语International Conference on Machine Learning禁止在提交的论文中使用ChatGPT或其他大型语言模型来生成任何文本。紐約市公立學校禁止師生在校園網路及裝置使用ChatGPT。香港大學禁止師生在課堂、作業和評估中使用ChatGPT或其他AI工具,認定這是抄襲行為。

在《纽约时报》评论文章中,经济学家保羅·克魯曼写道,ChatGPT将影响对知识工作者的需求。诺姆·乔姆斯基、伊恩·罗伯茲、杰弗里·瓦图穆尔(Jeffrey Watumull)评价道,“鉴于这些系统的非道德性、伪科学性和语言无能,我们只能为它们的流行而感到哭笑不得”。

2023年1月,在收到一首由ChatGPT以尼克·凱夫風格創作的歌曲後, 歌曲作者本人在《紅手檔案》(The Red Hand Files) 上回應說,寫歌的行為是“一項血腥的事業…… .這需要我的一些東西來發起新的和新鮮的想法。它需要我的人性。” 他繼續說,“儘管世界上所有的愛和尊重,這首歌都是胡說八道,是對人性的荒誕嘲弄,而且,好吧,我不太喜歡它。”

2023年2月16日,杭州市某小区微信业主群一位业主將ChatGPT写的杭州於2023年3月1日取消限行的新闻稿发到群,杭州其實並未發表3月1日取消限行的措施,群員轉發錯誤資訊,錯誤資訊传播開去,最終警方介入调查,涉事业主在该微信群道歉。

2023年2月22日,为了验证ChatGPT是否能代替医生问诊,浙江大学医学院附属第一医院精神卫生科医生吕海龙讓ChatGPT做一套由中国执业医师考试卷的题目组成的试卷,满分100分,最终ChatGPT的成绩卻是57分不及格。

2023年3月31日,意大利隐私保护监管机构表示,由於ChatGPT不重视用户资料,而且无法核实用户年龄,该机构已封锁ChatGPT。

2023年5月,美國紐約一名律師利用ChatGPT,為同事處理的訴訟蒐集資料,搜尋以往相關案例。該名律師曾多次向ChatGPT確認案例的真偽,惟ChatGPT每次均回答案例真實,結果被對家律師揭發,至少6宗案例並不存在,似是偽造。該名律師其後表示,後悔依賴生成式人工智能,此前從未使用該技術搜尋案例,不知道ChatGPT提供的內容有可能是假。該名律師最終須接受紀律聆訊。

2023年11月,巴西一名地方法官因使用ChatGPT书写判决书出错而接受巴西国家司法委员会的调查。

影响

学术界

《大西洋月刊》的Stephen Marche指出它对学术界,尤其是入学申请论文的影响还有待了解。加州高中教师兼作家丹尼尔·赫尔曼(Daniel Herman)写道,ChatGPT 将迎来“高中英语的终结”。普林斯顿大学的高年级本科生Edward Tian创立了“GPTZero”——基于GitHub Copilot构建的应用程序,它可以扫描文本是否由另一AI编写,打击滥用。

自2023年1月4日起,纽约市教育局已限制从其公立学校互联网和设备瀏覽ChatGPT。

自2023年1月24日起,出版商施普林格·自然规定在其旗下所有期刊的论文中,ChatGPT等大语言模型不能列入作者。同月26日,学术期刊《科学》禁止在论文中使用ChatGPT生成的文本,也禁止将ChatGPT署名为作者。

2023年2月,香港大学计划与AI在教学上的影响在师生中发起讨论,但在此之前決定禁止在港大所有课堂、作业和评估中使用ChatGPT或其他AI工具。

政府

2023年3月31日,意大利政府以涉嫌侵犯隱私為由,宣布禁止使用ChatGPT,展開對OpenAI的調查。ChatGPT已在意大利下架,意大利成為第一個禁止使用ChatGPT的西方國家。2023年4月28日,ChatGPT再度能在意大利使用,ChatGPT亦做出部分修改,包含增加年齡認證系統、讓使用者能得知ChatGPT的隱私政策以及使用者能拒絕提供訓練演算法用的資料。

2023年4月10日,日本内阁官房长官松野博一表示,ChatGPT对个人信息的处理方面等问题应得到重视。在这些问题得到有效解决的前提下,将考虑使用ChatGPT减轻公务员的工作负担。

2023年5月10日,有香港立法會議員詢問有關ChatGPT未有在開放使用的原因。香港政府則回應尊重個別機構就其產品製訂的推出策略及商業安排。

2023年11月23日,阿雷格里港一個由ChatGPT編寫的法令生效。

企业界

三星电子DS部门于2023年3月11日批准员工使用ChatGPT后,陆续发生数起信息泄露事故。因此,三星电子发布新规,禁止在公司的设备和内部网络上使用生成式人工智慧系统。

据《华尔街日报》报道,根据看到的一份文件及知情人士的消息,苹果公司已经限制其员工使用ChatGPT和其他外部AI工具。

教育界

ChatGPT-4已在美國律師資格考贏過9成考生,也可以寫論文,參加任何升學考試都能考贏多數人,被視為寫作業和考試神器。台灣 Google 前董事總經理簡立峰,指出 ChatGPT 正在挑戰傳統式的教育,「ChatGPT 正在挑戰我們傳統式的教育,我們的教育現場裡,把個人發展、差異化發展、學習動機等問題都簡化掉了。 因應AI造成的影響,也有許多國家的教師嘗試化危機為轉機,將 ChatGPT 應用在教學或處理行政工作中。

伦理问题

标记数据

《时代周刊》调查显示,为了建立针对有害内容(例如性虐待、暴力、种族主义、性别歧视等)的安全系统,OpenAI使用每小时收入不到2美元的肯尼亚外判工来标记有害内容。这些标记用于训练模型以在未来检测此类内容。外判工接触到如此有害和危险的内容,以至于他们将这种经历描述为“折磨”。

竞争

ChatGPT出现和流行增强了科技公司对該领域的兴趣和竞争。

Bard

2023年2月,Google推出類似於ChatGPT的对话人工智能服务Bard,基于其开发的对话编程语言模型(LaMDA)。Bard于2023年3月21日面向美国和英国用户发布,但有很多限制,文字处理仅支持美式英语。

2023年5月10日,Google宣布Bard將支援多國語言及地區,除英文外將先提供日語及韓語等服務。

文心一言

百度于2023年2月确认类ChatGPT聊天机器人项目名字确定为文心一言,英文名Ernie Bot。

MOSS

2023年2月20日晚间,在一些社交平台上开始传播“复旦大学自然语言处理实验室邱锡鹏教授团队推出对话式大型语言模型MOSS(得名于电影《流浪地球2》中的MOSS(550W量子計算機))”的消息。一时间该项目官网瀏覽量激增,网站开始返回“{"message":"服务器流量过载,请明天上午重试"}”的提示。2月21日,网站瀏覽恢复,并且添加了相关情况的说明。

ChatGLM

2023年3月14日,由清华技术成果转化的公司智谱 AI 基于GLM-130B千亿基座模型的ChatGLM开启邀请制内测,同时开源了中英双语对话模型 ChatGLM-6B,支持在单张消费级显卡上进行推理使用。

通义千问

2023年4月7日,阿里云研发语言模型“通义千问”开始邀请用户测试体验。现阶段该模型主要定向邀请企业用户进行体验测试,获得邀请码用户可通过官网参与体验。

星火

2023年5月6日,科大讯飞发布认知大模型“星火”。科大讯飞董事长刘庆峰表示,当前讯飞星火认知大模型已经在文本生成、知识问答、数学能力三大能力上已超ChatGPT,10月底将整体赶超ChatGPT。

Claude

2023年3月,由前OpenAI员工共同创立的初创公司Anthropic推出了大型语言模型Claude。它可以被指示执行一系列任务,包括搜索文档,总结,写作和编码,以及回答有关特定主题的问题。在这些方面,它类似于OpenAI的ChatGPT。但Anthropic认为,Claude“不太可能产生有害的输出”,“更容易交谈”和“更容易操纵”。

参见

注释

参考文献

外部链接

Tags:

Chatgpt 训练Chatgpt 特点和局限Chatgpt 服务Chatgpt 评价Chatgpt 影响Chatgpt 伦理问题Chatgpt 竞争Chatgpt 参见Chatgpt 注释Chatgpt 参考文献Chatgpt 外部链接ChatgptGPT-3GPT-4OpenAI人工智能企劃劇本大型语言模型强化学习摘要文本歌曲聊天機器人

🔥 Trending searches on Wiki 中文:

Sugar Apple Fairy Tale慈禧太后Penthouse (電視劇)朴智賢炎明熹朴成勳阿森纳足球俱乐部2023年NBA全明星賽江國慶案伊莲娜·莱巴金娜忽必烈張秀賢雷电为右卫门王洪文衝上雲霄王敏德窒友梅根螺蛳粉海盜戰記影响人类历史进程的100名人排行榜蔣萬安史蒂芬妮·許女神降臨 (電視劇)柯玲玲萧远山愛的迫降金秀賢 (男演員)6/45侯友宜朴恩斌申鉉彬共助2人类性行为中国人民解放军海军李宰旭台北女子圖鑑神探大戰生肖纪年謝坤達全職沒女梁洁闔家辣刘少奇邁爾斯-布里格斯性格分類法紅氣球 (電視劇)終末的女武神系列角色列表霍华德·休斯TWICE瓦格纳集团異世界悠閒農家人物列表趙麗穎山田摩衣入間同學入魔了!蔣經國夜城赋反對動態清零政策運動2023年日本動畫列表蕭美琴進擊的巨人角色列表哆啦A夢迫降危機李鐘奭異世界悠閒農家賭命為王Stove League无名 (2023年电影)玄彬诺如病毒三体 (小说)2022年日本動畫列表楚乔传2022年國際足協世界盃蜡笔小新美国你是我的榮耀呂爵安飞狐外传鄭文燦🡆 More