OpenAI ir spēris vēl vienu soli integrācijā mākslīgais intelekts ikdienas datora lietošanā pilnībā pārveidojot Codex, savu darbvirsmas koda aģentu. Rīks, kas iepriekš galvenokārt bija pazīstams ar savu programmēšanas palīdzību, tagad kļūst par palīgu, kas spēj apstrādāt lietojumprogrammas, atcerēties preferences un gandrīz nemanāmi pārvaldīt projektus.
Ar šo atjauninājumu uzņēmums, kuru vada Sems Altmans, tuvojas savam plānam izveidot Darbvirsmas “superlietotne”, kas apvieno ChatGPT, Codex un jūsu Atlas pārlūkprogrammuŠī soļa mērķis ir vienkāršot lietotāja pieredzi, koncentrēt resursus vienā darba vidē un konkurēt ar tādiem konkurentiem kā Anthropic, īpaši programmatūras izstrādes vidē un progresīvā automatizācijā.
Codex iemācās lietot datoru tāpat kā jebkurš cits lietotājs
Viena no pārsteidzošākajām izmaiņām ir tā, ka Codex tagad var kontrolēt datoru fonāAģents spēj redzēt ekrānā redzamo, pārvietot savu kursoru, noklikšķināt, rakstīt tekstu un reaģēt uz instalētajās lietojumprogrammās notiekošo, nepārtraucot lietotāja darbības ar peli vai tastatūru.
Šī iespēja ļauj vairākiem Codex aģentiem strādāt kopā paralēli vienā un tajā pašā komandāTas ietver testu veikšanu, konfigurāciju maiņu vai atkārtotu uzdevumu izpildi, kamēr persona turpina savas ierastās darbības. Tas paver iespējas automatizēt darbplūsmas, kurām iepriekš bija nepieciešama pastāvīga uzraudzība, piemēram, lietojumprogrammas testēšana pēc katras koda izmaiņas vai saskarnes darbību atkārtošana.
OpenAI piedāvā šo funkciju kā veidu, kā asistents var darboties ar rīki, kuriem nav API vai tiešas integrācijas, kas ir izplatīta daudzās darbvirsmas programmās. Codex, "redzot" ekrānu un kontrolējot kursoru, var mijiedarboties ar šīm lietojumprogrammām tāpat kā cilvēks, lai gan pagaidām kontrolētā veidā un īpašu uzmanību pievēršot drošībai.
Saskaņā ar uzņēmuma sniegto informāciju, datoru lietošana sākotnēji būs pieejama macOS, izmantojot Codex darbvirsmas lietojumprogrammu, kas saistīts ar ChatGPT kontu. Windows versija būs pieejama vēlāk, kad būs pārbaudīta veiktspēja un funkcijas būs pielāgotas Microsoft videi.
Eiropas un Apvienotās Karalistes gadījumā OpenAI ir apstiprinājis, ka datora vadība, papildu pielāgošana, kontekstuālie ieteikumi un atmiņa Tās tiks aktivizētas vēlāk. Iemesls ir nepieciešamība pielāgot šīs funkcijas datu aizsardzības noteikumiem, kas ir īpaši stingra prasība Eiropas Savienībā un Lielbritānijas tirgū.
Integrēta pārlūkprogramma un tiešs darbs tīmekļa lapās
Atjauninājums arī stiprina Codex attiecības ar tīmekli, pateicoties pārlūkprogramma, kas integrēta pašā lietojumprogrammāTā vietā, lai vienkārši saņemtu vispārīgus teksta norādījumus, aģents var saņemt komandas tieši uz konkrētiem lapas elementiem.
Piemēram, front-end izstrādē lietotājs var Atlasiet tīmekļa komponentu un aprakstiet izmaiņas. Lietotājs vēlas kaut ko darīt (piemēram, mainīt bloka krāsu, teksta lielumu vai izkārtojumu), un Codex saprot norādījumus šajā konkrētajā vizuālajā kontekstā. Tas ļauj izvairīties no nepieciešamības rakstīt garas uzvednes, kurās paskaidrots, kura vietnes daļa ir jāmaina.
Šī iegultā pārlūkprogramma atbalsta arī Codex Analizējiet saturu, apkopojiet informāciju un izmantojiet to kā kontekstu Citiem uzdevumiem, piemēram, koda dokumentēšanai, produktu specifikāciju pārskatīšanai vai tehniskās dokumentācijas salīdzināšanai, viss tiek veikts vienā vidē, bez nepieciešamības pārslēgties starp vairākiem operētājsistēmas logiem.
Attēlu ģenerēšana un rediģēšana, izmantojot gpt-image-1.5
Vēl viens jaunās Codex versijas pīlārs ir modeļa integrācija gpt-image-1.5 attēlu izveidei un modificēšanai Pašā darbvirsmas lietojumprogrammā aģents var ģenerēt diagrammas, shēmas, maketus vai vizuālas skices no teksta vai apvienojot instrukcijas ar ekrānuzņēmumiem un koda fragmentiem.
Šī iespēja ir tieši paredzēta komandām, kas strādā produktu dizains, lietotāja saskarnes vai videospēļu prototipiPiemēram, izstrādātājs var uzņemt ekrānuzņēmumu ar puspabeigtu saskarni, lūgt Codex ieteikt izvēlnes pārveidošanu vai jaunu krāsu shēmu un iegūt ģenerētus attēlus, kas atbilst šim kontekstam, nemainot rīkus.
Tā kā viss ir centralizēts Codex sistēmā, aģenti var apvienot kodēšanas un dizaina uzdevumus ķēdē: uzrakstiet funkcionalitātes loģiku, atjauniniet atbilstošo front-end un ģenerējiet vizuālu maketu, ko prezentēt komandai, neizejot no darbplūsmas vai neatverot ārējas grafikas rediģēšanas lietojumprogrammas.
Atmiņa, konteksts un ilgtermiņa uzdevumu automatizācija
Papildus datora vadībai un attēlu ģenerēšanai OpenAI galvenais mērķis šajā versijā ir aprīkot Codex ar pastāvīga atmiņa un daudz plašāka konteksta pārvaldībaRīks var atkārtoti izmantot iepriekšējās sarunas, saglabāt svarīgu informāciju un atgūt to, kad tas nepieciešams projekta turpināšanai.
Atmiņas funkcija, kas tiek izlaista priekšskatījuma versijā, ļauj Codex atcerēties personīgās preferences, biežas labojumus vai datus, kurus bija grūti apkopotTas ietver visu, sākot ar komandas tipisko tehnoloģiju steku un beidzot ar mapju organizēšanu, visbiežāk izmantotajiem atskaišu formātiem un tagu, ko parasti izmanto GitHub noteikta veida problēmām.
Ar šo uzkrāto kontekstu aģents var proaktīvi ierosināt uzdevumusTo var izmantot, lai ieteiktu atsākt nepabeigtu projektu, ieteiktu gaidāmo refaktoringu vai paziņotu lietotājiem par ilgstošiem pull request. Daži uzņēmumi to jau izmanto, lai izsekotu sarunas pakalpojumos Slack, Gmail vai Notion un reaģētu, kad notiek noteikti notikumi.
Kodekss var arī plānot darbu nākotnei un patstāvīgi aktivizēties lai veiktu ilgtermiņa uzdevumus. Piemēram, tā var pārvaldīt koda pārskatīšanas rindu vairāku dienu vai nedēļu garumā, atbildot uz komentāriem un atjauninot dokumentāciju, izstrādātājam to nepārtraukti neuzraugot.
Vairāk nekā 90 papildinājumi un uzlabots izstrādātāju atbalsts
Lai pabeigtu izmaiņas, OpenAI ir pievienojis gandrīz 90 jauni Codex spraudņiTas ietver integrācijas ar Microsoft Suite, GitLab Issues, Neon by Databricks, Render un Superpowers, kā arī atbalstu MCP (Model Context Protocol) serveriem. Mērķis ir sniegt aģentam vairāk konteksta avotu un lielākas darbības iespējas.
Pateicoties šiem spraudņiem, Codex var apkopot informāciju no dažādiem pakalpojumiem un rīkoties, pamatojoties uz to No vienas darbvietas varat pārskatīt problēmas pakalpojumā GitLab, veikt datu vaicājumus Databricks vidē, atjaunināt Office dokumentus vai mijiedarboties ar izvietošanas pakalpojumiem, nepiespiežot lietotāju pāriet no vienas platformas uz otru.
Tīri tehniskā līmenī atjauninājums stiprina tipiskas izstrādātāju darbplūsmasTagad Codex palīdz pārskatīt pieprasījumus, pārvaldīt vairākas termināļa cilnes vienlaikus, izveidot savienojumu ar attālām izstrādes vidēm, izmantojot SSH, un atvērt failus ar bagātīgiem priekšskatījumiem neatkarīgi no tā, vai tie ir PDF faili, izklājlapas, prezentācijas vai dokumenti citos formātos.
Tas viss ir koncentrēts vienotā pieredzē, kas, pēc pašas OpenAI teiktā, ļauj ātrāk progresēt. visos programmatūras dzīves cikla posmosNo sākotnējā koda rakstīšanas līdz tā testēšanai, ieviešanai, dokumentēšanai un uzturēšanai, mākslīgā intelekta aģentiem nepārtraukti sadarbojoties vienā darbvirsmas vidē.
Pieejamība, koncentrēšanās uz izstrādātājiem un situācija Eiropā
Jaunā Codex versija jau tiek ieviesta. macOS darbvirsmas lietojumprogramma Tiem, kas piesakās ar ChatGPT kontu. Ne visām funkcijām ir nepieciešams viena veida abonements, un dažas papildu funkcijas var būt atkarīgas no iegādātā plāna, tāpat kā citu OpenAI rīku gadījumā.
Tibo Sotiaux, Codex direktors, paskaidroja, ka šis atjauninājums Tas ir īpaši paredzēts izstrādātājiemLai gan vēlāk ir paredzēts to paplašināt plašākai auditorijai. Ideja ir tāda, ka tehniskās komandas būs pirmās, kas izmantos jaunos aģentus un automatizētās darbplūsmas, un laika gaitā pārnesīs šo modeli uz biroja uzdevumiem, dokumentu pārvaldību vai personīgo produktivitāti.
OpenAI uzsver, ka skaitļošanas jaudas un atmiņas izmantošana tiek ieviesta ar drošības un atbilstības normatīvajiem aktiem pieejaTas ir īpaši svarīgi Eiropas Savienībā un Apvienotajā Karalistē. Šī iemesla dēļ papildu pielāgošanas funkcijas, kontekstuālie ieteikumi, pastāvīgā atmiņa un tieša operētājsistēmas vadība šajos tirgos būs pieejamas nedaudz ilgāk.
Jebkurā gadījumā uzņēmums apgalvo, ka šī Codex attīstība paver durvis uz uz intelektuālu automatizāciju vērsta darbvirsmas superlietotnekur mākslīgā intelekta aģenti ne tikai palīdz rakstīt kodu, bet arī koordinē uzdevumus, pielāgojas lietotāja darba stilam un ilgstoši nodrošina sarežģītu projektu darbību. Programmatūras izstrādātājiem Eiropā vēstījums ir skaidrs: jaunas iespējas tiek ieviestas, taču ar nepieciešamajām korekcijām, lai tās atbilstu esošajam regulējumam.