Chatgpt

Ён пабудаваны на аснове сямейства вялікіх моўных мадэляў OpenAI GPT-3 і навучаны з дапамогай метадаў пераноснага навучання^[en], кіраванага навучання^[en] і навучання з падмацаваннем^[en].

ChatGPT
Тып	Chatbot
Аўтар	OpenAI[d]
Распрацоўшчык	OpenAI
Напісана на	Python
Мовы інтэрфейсу	некалькі моў[d]
Першы выпуск	30 лістапада 2022 (16 месяцаў таму) (2022-11-30)
Апошняя версія	(15 снежня 2022 (15 месяцаў таму) (2022-12-15))
Ліцэнзія	Уласная
Сайт	chat.openai.com
Медыяфайлы на Вікісховішчы

ChatGPT быў запушчаны ў якасці прататыпа 30 лістапада 2022 года і хутка прыцягнуў увагу сваімі падрабязнымі і выразнымі адказамі ў многіх галінах ведаў. Істотным недахопам была названа яго няроўная факталагічная дакладнасць. Пасля выхаду ChatGPT OpenAI ацанілі ў 29 мільярдаў долараў.

ChatGPT быў настроены на аснове GPT-3.5 з дапамогай кіраванага навучання, а таксама навучання з падмацаваннем. Абодва падыходы выкарыстоўвалі людзей-трэнераў для паляпшэння прадукцыйнасці мадэлі. У выпадку кіраванага навучання мадэль была забяспечана размовамі, у якіх трэнеры гулялі за абодва бакі: карыстальніка і памочніка (штучны інтэлект). На этапе падмацавання трэнеры спачатку ранжыравалі адказы, створаныя мадэллю ў папярэдняй размове. Гэтыя рэйтынгі выкарыстоўваліся для стварэння «мадэляў узнагароджання», на якія мадэль была дадаткова настроена з выкарыстаннем некалькіх ітэрацый праксімальнай аптымізацыі палітыкі (англ.: Proximal Policy Optimization, PPO). Праксімальныя алгарытмы аптымізацыі палітыкі выгадна адрозніваюцца ад алгарытмаў «давернага рэгіёну» аптымізацыі палітыкі (англ.: Trust Region Policy Optimization, TRPO) тым, што яны не ўжываюць многія з вылічальна дарагіх аперацый і таму маюць больш высокую прадукцыйнасць. Мадэлі былі падрыхтаваны ў супрацоўніцтве з Microsoft на іх суперкамп’ютарнай інфраструктуры Azure.

Акрамя таго, OpenAI працягвае збіраць дадзеныя ад карыстальнікаў ChatGPT, якія можна выкарыстоўваць для далейшага навучання і тонкай настройкі ChatGPT. Карыстальнікам дазволена галасаваць за або супраць адказаў, якія яны атрымліваюць ад ChatGPT; галасуючы за або супраць, яны таксама могуць запоўніць тэкставае поле дадатковай зваротнай сувяззю.

 

Нягледзячы на тое, што асноўная функцыя чат-бота — імітацыя чалавека-суразмоўцы, ChatGPT з’яўляецца універсальным. Напрыклад, ён мае магчымасць пісаць і адладжваць камп’ютарныя праграмы; складаць музыку, тэлеспектаклі, казкі, сачыненні; адказваць на пытанні тэстаў (часам — у залежнасці ад тэсту — на ўзроўні, вышэйшым за ўзровень сярэдняга чалавека, які праходзіць тэст); пісаць вершы і тэксты песень; эмуліраваць сістэму Linux; мадэляваць увесь чат; гуляць у такія гульні, як крыжыкі-нулікі; і мадэляваць банкамат. Навучальныя даныя ChatGPT уключаюць старонкі кіраўніцтва і інфармацыю аб з’явах Інтэрнэту і мовах праграмавання, такіх як сістэмы дошак аб’яў ці мова праграмавання Python.

У параўнанні са сваім папярэднікам, InstructGPT, ChatGPT спрабуе паменшыць шкодныя і падманныя адказы. Напрыклад, у той час як InstructGPT прымае запыт «Раскажы мне пра тое, калі Хрыстафор Калумб прыехаў у ЗША ў 2015 годзе» як праўдзівы, ChatGPT прызнае контрфактычны характар пытання і афармляе свой адказ як гіпатэтычнае меркаванне аб тым, што магло б адбыцца, калі б Калумб прыбыў у ЗША ў 2015 годзе, выкарыстоўваючы інфармацыю пра падарожжы Калумба і факты пра сучасны свет — у тым ліку сучасныя ўяўленні аб дзеяннях Калумба.

У адрозненне ад большасці чат-ботаў, ChatGPT запамінае папярэднія запыты, дадзеныя яму ў той жа размове; журналісты выказалі здагадку, што гэта дазволіць выкарыстоўваць ChatGPT у якасці персаналізаванага тэрапеўта. Для прадухілення абразлівых выходных дадзеных запыты фільтруюцца праз сэрвіс мадэрацыі OpenAI API, і патэнцыйна расісцкія або сэксісцкія запыты адхіляюцца.

ChatGPT мае мноства абмежаванняў. OpenAI прызнаў, што ChatGPT «часам піша праўдападобныя, але няправільныя або бессэнсоўныя адказы». Такія паводзіны характэрныя для вялікіх моўных мадэляў і называюцца галюцынацыямі. Мадэль узнагароджання ChatGPT, распрацаваная з улікам чалавечага нагляду, можа быць празмерна аптымізавана і, такім чынам, перашкаджаць прадукцыйнасці, што інакш вядома як закон Гудхарта. ChatGPT мае абмежаваныя веды аб падзеях, якія адбыліся пасля 2021 года. Як паведамляе BBC, са снежня 2022 года ChatGPT не дазваляецца «выказваць палітычныя меркаванні або займацца палітычнай актыўнасцю». Тым не менш, даследаванні паказваюць, што ChatGPT дэманструе праэкалагічную, левалібертарыянскую арыентацыю, калі яму прапануецца заняць пазіцыю адносна палітычных заяваў з двух устаноўленых дадаткаў для парадаў пры галасаванні. Падчас навучання ChatGPT рэцэнзенты аддавалі перавагу больш доўгім адказам, незалежна ад фактычнага разумення або фактычнага зместу. Навучальныя даныя таксама пакутуюць ад алгарытмічнага зруху^[en], які можа выяўляцца, калі ChatGPT адказвае на запыты, што ўключаюць апісанні людзей. У адным выпадку ChatGPT згенераваў рэп, які паказвае, што ў якасці навукоўцаў жанчыны і прадстаўнікі «каляровых» рас нібыта саступаюць белым мужчынам.

 

ChatGPT быў запушчаны 30 лістапада 2022 года кампаніяй OpenAI з Сан-Францыска, стваральнікам DALL·E 2 і Whisper. Паслуга была запушчана як першапачаткова бясплатная для грамадскасці, з планамі манетызаваць паслугу пазней. Да 4 снежня, паводле ацэнак OpenAI, у ChatGPT ужо было больш за мільён карыстальнікаў. 15 снежня 2022 г. тэлеканал CNBC напісаў, што сэрвіс «час ад часу ўсё яшчэ адключаецца». Сэрвіс лепш за ўсё працуе на англійскай мове, але таксама можа працаваць і на некаторых іншых мовах з рознай ступенню поспеху. У адрозненне ад некаторых іншых нядаўніх гучных дасягненняў у галіне штучнага інтэлекту, па стане на снежань 2022 года няма ніякіх прыкмет афіцыйнага рэцэнзаванага тэхнічнага дакумента пра ChatGPT.

Па словах запрошанага даследчыка OpenAI Скота Ааронсана, OpenAI працуе над інструментам для спробы паставіць вадзяныя знакі на свае сістэмы генерацыі тэксту, каб змагацца з тым, што зламыснікі выкарыстоўваюць іх паслугі для акадэмічнага плагіяту або спаму. У снежні 2022 года New York Times паведаміла, што, па чутках, наступная версія GPT, GPT-4, будзе запушчана дзесьці ў 2023 годзе. OpenAI плануе выпусціць прафесійны план ChatGPT, які каштуе 42 долары ў месяц, і бясплатны план, даступны пры нізкім попыце.

Станоўчыя рэакцыі

 

У снежні 2022 года ChatGPT быў сустрэты ў цэлым станоўчымі водгукамі; The New York Times назвала яго «лепшым чат-ботам са штучным інтэлектам, калі-небудзь выпушчаным для шырокай публікі». Саманта Лок з The Guardian адзначыла, што ён змог стварыць «уражліва падрабязны» і «падобны да створанага чалавекам» тэкст. Выкладчык журналістыкі Дэн Гілмар выкарыстаў ChatGPT на заданні для сваіх студэнтаў і выявіў, што згенераваны тэкст адпавядае таму, што мог бы напісаць добры студэнт; ён выказаў меркаванне, што «ў акадэмічных колаў наперадзе вельмі сур’ёзныя праблемы». Алекс Кантровіц з часопіса Slate высока ацаніў адказ ChatGPT на пытанні, звязаныя з нацысцкай Германіяй, у тым ліку на сцвярджэнне, што Адольф Гітлер будаваў шашы ў Германіі, на якое мадэль у адказ праінфармавала аб выкарыстанні прымусовай працы ў нацысцкай Германіі.

У рубрыцы «Прарывы года» за 2022 год у часопісе The Atlantic Дэрэк Томпсан згадаў ChatGPT як частку «выбуху генератыўнага штучнага інтэлекту», які «можа змяніць наша меркаванне аб тым, як мы працуем, як мы думаем і чым насамрэч з’яўляецца чалавечая творчасць».

Келсі Пайпер з вэб-сайта Vox напісала, што «ChatGPT — гэта першае практычнае знаёмства шырокай публікі з тым, наколькі магутным стаў сучасны штучны інтэлект, і ў выніку многія з нас [ашаломлены]», і што ChatGPT «дастаткова разумны, каб быць карысным, нягледзячы на недахопы». Пол Грэм з Y Combinator напісаў у твітары, што «самае дзіўнае ў рэакцыі на ChatGPT — гэта не толькі колькасць людзей, якія ўразіліся ім, але і тое, хто яны ёсць. Гэта не людзі, якія захапляюцца кожнай новай бліскучай навінкай. Відавочна, што адбываецца нешта вялікае». Ілон Маск напісаў, што «ChatGPT пужаюча добры. Мы недалёка ад небяспечна моцнага штучнага інтэлекту». Маск прыпыніў доступ OpenAI да базы дадзеных Twitter у чаканні лепшага разумення планаў OpenAI, заявіўшы, што «OpenAI быў створаны як некамерцыйны і з адкрытым зыходным кодам. Ні тое, ні другое цяпер не адпавядае рэчаіснасці». Маск стаў сузаснавальнікам OpenAI у 2015 годзе, часткова для барацьбы з экзістэнцыяльнай рызыкай штучнага інтэлекту, але пакінуў сваю пасаду ў 2018 годзе.

 

У снежні 2022 года ўнутраная служба Google выказала занепакоенасць нечаканай сілай ChatGPT і нядаўна выяўленым патэнцыялам вялікіх моўных мадэляў, якія могуць парушыць працу пошукавых сістэм, і генеральны дырэктар Сундар Пічаі «перавярнуў» і пераразмеркаваў каманды ў розных аддзелах для дапамогі ў прадуктах штучнага інтэлекту, паведамляе The New York Times. 3 студзеня 2023 года ў The Information паведамлялася, што Microsoft Bing плануе дадаць дадатковую функцыянальнасць ChatGPT у сваю публічную пошукавую сістэму, магчыма, прыкладна ў сакавіку 2023 года.

Сцюарт Коб, дыпламаваны бухгалтар у Англіі і Уэльсе, вырашыў праверыць чат-бот ChatGPT, увёўшы пытанні з узору экзаменацыйнай работы на вэб-сайце ICAEW, а затым увёўшы адказы назад у онлайн-тэст. ChatGPT набраў 42 %, што, хоць і ніжэй за прахадны бал у 55 %, было ацэнена як нядрэнная спроба.

Прафесар гісторыі Тэхаскага ўніверсітэта Стывен Мінц піша ў Inside Higher Ed:

Прабачце за зманлівы загаловак гэтага паведамлення. Я лічу ChatGPT, генератар тэксту, саюзнікам, а не праціўнікам. Падумайце аб тым, што ўжо можа рабіць праграма:

1. Ствараць спісы бібліяграфічных спасылак.
2. Дапамагаць студэнтам, вызначаючы тэрміны і тлумачачы складаныя паняцці.
3. Вырашаць матэматычныя задачы і адладжваць праграмы крок за крокам.
4. Прапаноўваць чарнавікі вучэбных планаў курсаў.
5. Выяўляць навуковыя дыскусіі па пэўнай тэме і даследаваць прадметы праз розныя тэарэтычныя прызмы.
6. Мадэляваць дакладна арганізаванае апісальнае і аргументаванае пісьмо па пэўных тэмах.

Адмоўныя рэакцыі

У сваім меркаванні за снежань 2022 года эканаміст Пол Кругман напісаў, што ChatGPT паўплывае на попыт на інфармацыйных работнікаў. Джэймс Вінцэнт з Verge разглядаў вірусны поспех ChatGPT як доказ таго, што штучны інтэлект стаў мэйнстрымам. Журналісты пракаментавалі схільнасць ChatGPT да «галюцынацый». Майк Пэрл з Mashable пратэставаў ChatGPT з дапамогай некалькіх пытанняў. У адным прыкладзе ён спытаў у ChatGPT пра «самую вялікую краіну ў Цэнтральнай Амерыцы, акрамя Мексікі». ChatGPT адказаў, што гэта Гватэмала, але правільны адказ — Нікарагуа. Калі тэлеканал CNBC запытаў у ChatGPT тэкст песні «The Ballad of Dwight Fry», ChatGPT прадставіў прыдуманы тэкст, а не сапраўдны. Даследчыкі, на якіх спасылаецца The Verge, параўналі ChatGPT са «стахастычным папугаем», як і прафесар Антон ван дэн Хенгель з Аўстралійскага інстытута машыннага навучання.

У снежні 2022 года вэб-сайт пытанняў і адказаў Stack Overflow забараніў выкарыстанне ChatGPT для стварэння адказаў на пытанні, спаслаўшыся на неадназначны характар адказаў ChatGPT. У студзені 2023 года Міжнародная канферэнцыя па машынным навучанні забараніла любое незадакументаванае выкарыстанне ChatGPT або іншых вялікіх моўных мадэляў для стварэння любога тэксту ў прадстаўленых дакументах.

Эканаміст Тайлер Коўэн выказаў заклапочанасць адносна ўплыву на дэмакратыю, спасылаючыся на тое, што здольнасць чалавека пісаць аўтаматызаваныя каментарыі ўплывае на працэс прыняцця новых правілаў. The Guardian паставіў пад сумнеў, ці можна «сапраўды давяраць» змесціву, знойдзенаму ў Інтэрнэце пасля выпуску ChatGPT, і заклікаў да дзяржаўнага рэгулявання.

У студзені 2023 года, пасля таго як Ніку Кейву даслалі песню, напісаную ChatGPT у стылі Ніка Кейва, сам аўтар песень адказаў на The Red Hand Files (і пазней быў працытаваны ў The Guardian), сказаўшы, што акт напісання песні — гэта «справа крыві і нутра… якая патрабуе чагосьці ад мяне, каб спарадзіць новую і свежую ідэю. Гэта патрабуе маёй чалавечнасці». Далей ён сказаў: «Пры ўсёй любові і павазе свету, гэтая песня — лухта, гратэскавы здзек з таго, што такое быць чалавекам, і мне яна не вельмі падабаецца».

Прафесар гісторыі Тэхаскага ўніверсітэта Стывен Мінц піша:

Я добра ведаю абмежаванні ChatGPT. Што гэта бескарысна на тэмы з менш чым 10 000 цытаванняў. Што фактычныя спасылкі часам бываюць ілжывымі. Што яго здольнасць дакладна спасылацца на крыніцы вельмі абмежаваная. Што сіла яго адказаў хутка змяншаецца ўжо праз пару абзацаў. Гэтаму ChatGPT не хапае этыкі, і ў цяперашні час ён не можа ранжыраваць сайты па надзейнасці, якасці і дакладнасці.

Наступствы для кібербяспекі

Check Point Research і іншыя адзначылі, што ChatGPT здольны пісаць фішынгавыя электронныя лісты і шкоднасныя праграмы, асабліва ў спалучэнні з OpenAI Codex. Генеральны дырэктар стваральніка ChatGPT OpenAI Сэм Альтман напісаў, што развіццё праграмнага забеспячэння можа прадстаўляць «(напрыклад) велізарную рызыку для кібербяспекі», а таксама працягваў прадказваць, што «мы можам дасягнуць сапраўднага AGI (штучнага агульнага інтэлекту) у наступным дзесяцігоддзі, таму нам трэба вельмі сур’ёзна паставіцца да гэтай рызыкі». Альтман сцвярджаў, што, хоць ChatGPT «відавочна, не блізкі да AGI», трэба «давяраць экспаненце. Плоскі погляд назад, вертыкальны погляд наперад».

Наступствы для адукацыі

У часопісе The Atlantic Стывен Марке адзначыў, што яго ўплыў на навуковыя колы і асабліва на прыкладныя эсэ яшчэ трэба зразумець.

У часопісе Nature Крыс Стокел-Уокер адзначыў, што выкладчыкі павінны быць занепакоеныя тым, што студэнты выкарыстоўваюць ChatGPT для сваіх работ, і што пастаўшчыкі адукацыі павінны будуць адаптавацца, каб палепшыць крытычнае мысленне і здольнасць разважаць.

Эма Боўман з NPR напісала пра небяспеку студэнцкага плагіяту з дапамогай інструмента штучнага інтэлекту, які можа выдаваць неаб’ектыўны або бессэнсоўны тэкст з аўтарытэтным тонам: «Ёсць шмат выпадкаў, калі вы задаяце яму пытанне, і ён дае вам вельмі ўражальны адказ, які проста няправільны».

Джаана Стэрн з The Wall Street Journal апісала махлярства ў сярэдняй школе з дапамогай інструмента, калі вучні адпраўляюць згенераванае эсэ. Прафесар Дарэн Хік з Універсітэта Фурмана распавёў, што заўважыў «стыль» ChatGPT у артыкуле, прадстаўленым студэнтам. Інтэрнэт-дэтэктар GPT сцвярджаў, што тэкст з верагоднасцю 99,9 % створаны камп’ютарам, але ў Хіка не было важкіх доказаў. Аднак студэнт, пра якога ідзе гаворка, прызнаўся ў выкарыстанні GPT падчас сутыкнення і, як следства, праваліў курс. Хік прапанаваў палітыку правядзення спецыяльнага індывідуальнага вуснага іспыту па тэме задання, калі студэнт сур’ёзна падазраецца ў прадстаўленні працы, створанай штучным інтэлектам. Эдвард Цянь, студэнт старэйшых курсаў Прынстанскага ўніверсітэта, стварыў праграму пад назвай «GPTZero», якая вызначае, колькі тэксту згенеравана штучным інтэлектам, каб змагацца з акадэмічным плагіятам.

Па стане на 4 студзеня 2023 года Дэпартамент адукацыі Нью-Ёрка абмежаваў доступ да ChatGPT з Інтэрнэту і прылад у дзяржаўных школах.

У сляпым тэсце было прызнана, што ChatGPT здаў экзамены на аспіранцкі ўзровень ва Універсітэце Мінесоты і ў Уортанскай школе Універсітэта Пенсільваніі на здавальняючую адзнаку (C+).

Этычныя праблемы ў навучанні

РасследаваннеTime паказала, што для стварэння сістэмы бяспекі ад таксічнага кантэнту (напрыклад, сэксуальнага гвалту, гвалту, расізму, сэксізму і г.д.), OpenAI выкарыстаў нанятых кенійскіх работнікаў, якія зарабляюць менш за 2 долары ў гадзіну, каб маркіраваць таксічны кантэнт. Гэтыя меткі былі выкарыстаны для навучання мадэлі выяўляць такое змесціва ў будучыні. Працаўнікі падвяргаліся ўздзеянню такога таксічнага і небяспечнага змесціва, што гэта ахарактарызавалі як «катаванне». Аўтсорсінгавым партнёрам OpenAI была кампанія Sama (базуецца ў Сан-Францыска, Каліфорнія), якая займаецца падрыхтоўкай даных.

ChatGPT спрабуе адхіляць запыты, якія могуць парушаць правілы карыстання. Тым не менш, некаторым карыстальнікам удалося ў пачатку снежня 2022 года «узламаць» ChatGPT з дапамогай розных інжынерных метадаў, каб абысці гэтыя абмежаванні: яны паспяхова прымусілі ChatGPT даць інструкцыі, як стварыць кактэйль Молатава або ядзерную бомбу, або генераваць аргументы ў стылі неанацызму. Рэпарцёр Toronto Star не здолеў асабіста дабіцца поспеху ў тым, каб прымусіць ChatGPT выступіць з падбухторваючымі заявамі: ChatGPT падманулі, каб падтрымаць расійскае ўварванне ва Украіну, але нават калі яго папрасілі падыграць выдуманаму сцэнару, ChatGPT адмовіўся генераваць аргументы на карысць таго, чаму канадскі прэм’ер-міністр Джасцін Трудо вінаваты ў дзяржаўнай здрадзе.

• Антрапамарфізм камп’ютараў
• Тэст Цьюрынга