10 apkaunojoši jautājumi par neironu tīkliem: mašīnmācības speciālista Igora Kotenkova atbildes

Jaunajā sērija Pazīstamu ekspertu raksti atbild uz jautājumiem, kurus parasti ir neērti uzdot: šķiet, ka visi par to jau zina, un jautātājs izskatīsies stulbs.

Šoreiz runājām ar mākslīgā intelekta speciālistu Igoru Kotenkovu. Jūs uzzināsiet, vai varat saglabāt savu digitālo kopiju saviem mazmazbērniem, kāpēc neironiem nevar uzticēties 100% un vai pasaulei draud mašīnu sacelšanās.

1. Kā darbojas neironu tīkli? Tā ir sava veida maģija. Kā ChatGPT vispār varēja izveidot? Un Midjourney vai DALL-E?

Neironu tīkls ir matemātisks modelis, kas izgudrots, lai saprastu, kā darbojas dzīva organisma smadzenes. Tiesa, par pamatu tika ņemtas 20.gadsimta otrās puses sākuma elementārākās idejas, kuras šobrīd var saukt par nebūtiskām vai pārāk vienkāršotām.

Pat nosaukums "neironu tīkls" cēlies no vārda "neirons" - tas ir vienas no galvenajām smadzeņu funkcionālajām vienībām. Paši neironu tīkli sastāv no mezgliem – mākslīgiem neironiem. Tātad mēs varam teikt, ka daudzas mūsdienu arhitektūras idejas tika "lūrētas" no pašas dabas.

Bet vēl svarīgāk ir tas, ka neironu tīkls ir matemātisks modelis. Un tā kā tas ir kaut kas saistīts ar matemātiku, tad mēs varam izmantot visu matemātiskā aparāta jaudu, lai noskaidrotu vai novērtētu šāda modeļa īpašības. Neironu tīklu var uzskatīt par funkciju, un funkcija ir arī matemātisks objekts. Vienkāršākais un saprotamākais piemērs: funkcija, kas, teiksim, ņem jebkuru skaitli kā ievadi un pievieno tam 2: f (4) = 6, f (10) = 12.

Bet šāda funkcija ir ļoti vienkārši programmējama, ar to var tikt galā pat bērns pēc pāris stundu valodu apguves. programmēšana. Un iemesls ir tāds, ka šāda funkcija ir ļoti viegli formalizējama, sīki aprakstīta vienkāršā un saprotamā valodā.

Tomēr ir daži uzdevumi, kuriem mēs pat nezinām, kā tiem piekļūt. Piemēram, es varu jums iedot fotogrāfijas ar sajauktiem kaķiem un suņiem, un jūs varat tos bez problēmām sakārtot divās kaudzēs. Bet pēc kā tieši jūs vadāties, nosakot atbildi? Abi ir pūkaini. Abām sugām ir aste, ausis, divas acis. Varbūt izmērs? Bet ir ļoti mazi suņi, ir lieli kaķi.

Mēs nevaram aprakstīt daudzus reālās pasaules uzdevumus, mēs nezinām sava novērojuma un kādas nosacītas “pareizās” atbildes atkarību.

Mēs vienkārši zinām, kā sniegt šo atbildi – un viss, nedomājot par to, kā tas iznāks.

Šeit palīgā nāk neironu tīkli. Šīs matemātiskās funkcijas tiek apmācītas no datiem. Jums nav jāapraksta attiecības starp ievadi un izvadi. Jūs vienkārši sagatavojat divas fotoattēlu kaudzes, un modelis apmāca sniegt pareizās atbildes. Viņa pati mācās atrast šo saikni, viņa pati to atrod, paļaujoties kļūdasKurš dara. Sajauc Bengālijas kaķi un Rotveileru? Nu nākamreiz būs labāk!

Neironu tīkla apguves process ir tāda “neironu” pielāgošana, lai iemācītos atrisināt problēmu un sniegt pareizo atbildi. Un kas ir visievērojamākais: ir teorētisks pierādījums tam, ka pietiekami liels neironu tīkls ar pietiekami lielu datu kopu var apgūt jebkuru sarežģītu funkciju. Bet vissvarīgākā lieta šeit ir skaitļošanas jauda (jo neirons var būt ļoti liels) un marķēto datu pieejamība. Proti, apzīmēti, tas ir, viņiem ir klase “suns”, kaķis vai kas cits.

Mēs līdz galam nesaprotam, kā darbojas modeļi – patīk vissarežģītākie un lielākie modeļi ChatGPT gandrīz neanalizējams.

Labākie pētnieki šobrīd strādā pie izaicinājuma "izprast" savu procesu iekšējo darbību.

Bet mēs zinām, kādam uzdevumam modeļi tika apmācīti, kādu kļūdu viņi mēģināja samazināt apmācības laikā. ChatGPT uzdevums sastāv no diviem. Pirmais ir nākamā vārda pareģojums atbilstoši tā kontekstam: "mamma mazgāja ..." Kas? Tas ir tas, ko modelim vajadzētu paredzēt.

Otrs uzdevums ir nodrošināt, lai atbildes nebūtu aizskarošas, bet tajā pašā laikā būtu noderīgas un saprotamas. Tāpēc modelis kļuva populārs – tas ir tieši apmācīts ģenerēt tādu tekstu, kas cilvēkiem patīk!

Vairāk par to, kā darbojas ChatGPT, varat lasīt manā rakstu.

2. Vai neironi spēj domāt?

Zinātnieki joprojām nesaprot, ko nozīmē "domāt" vai "sadomāt" un kā vispār darbojas intelekts. Tāpēc ir grūti spriest, vai tādam modelim kā ChatGPT ir šādas īpašības.

Iedomāsimies situāciju: tu tuvojies sava dzīvokļa durvīm. Vai jums ir doma, ka jums ir jāizņem atslēga no mugursomas kreisās kabatas, lai atvērtu durvis? Vai var teikt, ka darbību apraksts un izklāsts ir domāšanas process? Būtībā mēs esam izveidojuši attiecības starp pašreizējo stāvokli un vēlamo mērķi (atvērtas durvis). Ja jūs domājat, ka atbilde uz iepriekš minēto jautājumu ir jā, tad mana atbilde būtu tāda pati. 🙂

Cita lieta, ja runa ir par novatoriskām domām, kas iepriekš nav izteiktas vai nav tik izplatītas. Galu galā, piemēram, jūs varat viegli atrast vainu iepriekš minētajā piemērā: “Jā, es izlasīju šo modeli 100 500 reizes internetā un grāmatas. Protams, viņa to zina! Nekas pārsteidzošs." Starp citu, kā tu zināji? Vai tas ir tāpēc, ka vecāki tev bērnībā rādīja, un tu simtiem dienu pēc kārtas skatīji šo procesu?

Šajā gadījumā nav precīzas atbildes. Un šeit ir runa par to, ka mēs neņemam vērā vienu svarīgu komponentu: varbūtību.

Cik liela ir iespēja, ka modelis radīs domu, kas atbilst jūsu konkrētajai "domas" definīcijai?

Galu galā neirons, piemēram, ChatGPT, var radīt miljonu dažādu atbilžu uz vienu un to pašu pieprasījumu. Piemēram, "nāk klajā ar ideju zinātniskie pētījumi». Ja viena paaudze no miljona ir patiešām interesanta un jauna, vai tas tiek uzskatīts par pierādījumu, ka modele var radīt ideju? Bet ar ko tas atšķirsies no papagaiļa, kas izkliedz nejaušus vārdus, ka nē-nē, un kopā sanāk kaut kas saprotams?

No otras puses, cilvēki arī ne vienmēr izsaka pareizas domas - dažas frāzes noved strupceļā un beidzas ar neko. Kāpēc neironu tīkli to nevar piedot? Nu, viena jauna ideja no miljona ģenerētā ir patiešām slikta... Bet ja nu 100 no miljona? Tūkstoš? Kur ir šī robeža?

Tas ir tas, ko mēs nezinām. Tendence ir tāda, ka sākumā mēs domājam, ka mašīnām būs grūti atrisināt problēmu X. Piemēram, lai nokārtotu Tjūringa testu, kur vajag tikai pusstundu tērzēt ar kādu cilvēku. Tad, attīstoties tehnoloģijām, cilvēki izdomā veidus, kā atrisināt, pareizāk sakot, apmācīt modeļus kāda uzdevuma veikšanai. Un mēs sakām: "Nu, patiesībā tas bija nepareizs tests, lūk, jums ir jauns, neironi to noteikti nevarēs izturēt!" Un situācija atkārtojas.

Tās tehnoloģijas, kas ir tagad, pirms 80 gadiem, būtu uztvertas kā brīnums. Un tagad ar visiem spēkiem cenšamies nobīdīt "saprātīguma" robežu, lai neatzītu sev, ka mašīnas jau prot domāt. Patiesībā ir pat iespējams, ka mēs vispirms kaut ko izgudrojam, pēc tam post factum un retrospektīvi definējam to kā AI.

3. Ja neironi var zīmēt un rakstīt dzeju, tad viņi var būt radoši un gandrīz kā cilvēki?

Atbilde faktiski lielā mērā ir atkarīga no iepriekš minētās informācijas. Kas ir radošums? Cik daudz radošuma ir vidusmēra cilvēkā? Vai esat pārliecināts, ka sētnieks no Sibīrijas prot radīt? Un kāpēc?

Ko darīt, ja modele var radīt dzejoli vai gleznu, kas nosacīti iekļūst pilsētas amatieru rakstnieku vai bērnu mākslinieku konkursa finālā? Un ja tas notiek nevis katru reizi, bet vienā no simts?

Lielākā daļa no šiem jautājumiem ir apspriežami. Ja jums šķiet, ka atbilde ir acīmredzama, mēģiniet intervēt savus draugus un radiniekus. Ar ļoti lielu varbūtību viņu viedoklis nesakritīs ar jūsējo. Un šeit galvenais nav strīdēties.

4. Vai var uzticēties neironu tīklu atbildēm un vairs ne google?

Tas viss ir atkarīgs no tā, kā modeļi tiek izmantoti. Ja uzdodat viņiem jautājumu bez konteksta, bez pavadošās informācijas uzvednē un sagaidāt atbildi par tēmām, kurās svarīga ir faktu precizitāte, un nevis atbildes vispārīgais tonis (piemēram, notikumu secība noteiktā laika posmā, bet bez precīzas vietu un datumu pieminēšanas), tad atbilde ir Nē.

Ar iekšzemes lēsts OpenAI šādās situācijās līdz šim labākais modelis GPT-4 atbild pareizi aptuveni 70-80% gadījumu atkarībā no jautājumu tēmas.

Var šķist, ka šie skaitļi ir ļoti tālu no ideālās 100% faktiskās "precizitātes". Bet patiesībā tas ir liels lēciens salīdzinājumā ar iepriekšējās paaudzes modeļiem (ChatGPT, pamatojoties uz GPT-3.5 arhitektūru) - tiem bija 40-50% precizitāte. Izrādās, šāds lēciens veikts 6-8 mēnešu pētījumu ietvaros.

Skaidrs, ka jo tuvāk 100%, jo grūtāk būs veikt kādus labojumus, lai neko “nesalauztu” modeļa izpratnē un zināšanās.

Tomēr viss iepriekš minētais attiecas uz jautājumiem bez konteksta. Piemēram, varat jautāt: “Kad bija Einšteins? Modelim vajadzētu paļauties tikai uz iekšējām zināšanām, kas tajā tika “iesaistītas” ilgstošas ​​apmācības posmā par datiem no visa interneta. Tātad cilvēks nevarēs atbildēt! Bet ja man iedotu lapu no Vikipēdijas, tad varētu izlasīt un atbildēt atbilstoši informācijas avotam. Tad atbilžu pareizība būtu tuvu 100% (koriģēta pēc avota pareizības).

Attiecīgi, ja modelis tiek nodrošināts ar kontekstu, kurā informācija ir ietverta, tad atbilde būs daudz ticamāka.

Bet kā būtu, ja ļautu modelim googlēt un atrast informācijas avotus internetā? Lai viņa pati atrod avotu un uz tā balstās atbildi? Nu tas jau ir izdarīts! Tātad jūs nevarat meklēt pats Google, bet deleģēt daļu no interneta meklēšanas pašam GPT‑4. Tomēr tam ir nepieciešams maksas abonements.

Runājot par turpmāko progresu faktiskās informācijas uzticamības attīstīšanā modelī, OpenAI izpilddirektors Sems Altmans dod 1,5–2 gadi, lai atrisinātu šo problēmu pētnieku komandai. Mēs to ļoti gaidīsim! Bet pagaidām paturiet prātā, ka jums nav 100% jāuzticas neirona rakstītajam un pārbaudiet un vēlreiz pārbaudiet vismaz avotus.

5. Vai tā ir taisnība, ka neironu tīkli zog īstu mākslinieku zīmējumus?

Jā un nē – abas konfliktējošās puses par to aktīvi strīdas tiesās visā pasaulē. Var droši teikt, ka attēli netiek tieši saglabāti modeļos, parādās tikai “uzmanība”.

Šajā plānā neironiem ļoti līdzīgi cilvēkiem, kuri vispirms studē mākslu, dažādus stilus, aplūko autoru darbus un tad mēģina atdarināt.

Taču modeļi mācās, kā jau noskaidrojām, pēc kļūdu minimizēšanas principa. Un, ja apmācības laikā modele simtiem reižu redz vienu un to pašu (vai ļoti līdzīgu) attēlu, tad, no viņas viedokļa, labākā stratēģija ir atcerēties attēlu.

Ņemsim piemēru: jūsu skolotājs mākslas skolā izvēlējās ļoti dīvainu stratēģiju. Katru dienu jūs zīmējat divus attēlus: pirmais vienmēr ir unikāls, jaunā stilā, bet otrais ir Mona Liza. Pēc gada tu centies novērtēt apgūto. Tā kā jūs esat zīmējis Monu Lizu vairāk nekā 300 reizes, jūs atceraties gandrīz visas detaļas un tagad varat to reproducēt. Tas nebūs precīzs oriģināls, un jūs noteikti pievienosit kaut ko savu. Krāsas būs nedaudz savādāka.

Un tagad jums tiek lūgts uzzīmēt kaut ko, kas bija pirms 100 dienām (un ko redzējāt reiz). Jūs reproducēsit nepieciešamo daudz neprecīzāk. Tikai tāpēc, ka roka nav pildīta.

Tas pats ar neironiem: visās bildēs viņi mācās vienādi, tikai daži ir biežāk sastopami, kas nozīmē, ka arī modele treniņa laikā tiek sodīta biežāk. Tas attiecas ne tikai uz mākslinieku gleznām - uz jebkuru attēlu (pat reklāmu) apmācības paraugā. Tagad ir metodes dublikātu likvidēšanai (jo apmācība uz tiem ir vismaz neefektīva), taču tās nav ideālas. Pētījumi liecina, ka ir attēli, kas treniņa laikā parādās 400-500 reizes.

Mans spriedums: neironu tīkli nezog attēlus, bet vienkārši uzskata zīmējumus kā piemērus. Jo populārāks ir piemērs, jo precīzāk modelis to atveido.

Cilvēki treniņos dara to pašu: skatās uz skaistumu, pēta detaļas, dažādu stilus māksliniekiem. Taču māksliniekiem vai fotogrāfiem, kuri pusi dzīves ir pavadījuši, apgūstot kādu amatu, skatījums bieži vien krasi atšķiras no iepriekš aprakstītā.

6. Vai tā ir taisnība, ka “viss ir zaudēts” un neironu tīkli atņems cilvēkiem darbu? Kuram tas rūp visvairāk?

Ir svarīgi atdalīt tikai “neironu tīklus”, kas veic noteiktus uzdevumus, no vispārējas nozīmes neironu tīkliem, piemēram, ChatGPT. Pēdējie ļoti labi izpilda norādījumus un spēj mācīties no piemēriem kontekstā. Tiesa, tagad viņu "atmiņas" apjoms ir ierobežots līdz 10-50 teksta lappusēm, tāpat kā pārdomu prasmes un plānošana.

Bet, ja kāda darbs ir saistīts ar ikdienas instrukciju izpildi un to ir viegli iemācīties pāris dienu laikā, lasot rakstus (vai ja viss internets ir piepildīts ar šo informāciju), un darbaspēka izmaksas ir virs vidējās - tad drīz šāds darbs automatizēt.

Bet pati par sevi automatizācija nenozīmē pilnīgu cilvēku nomaiņu. Optimizēt var tikai daļu no rutīnas darba.

Cilvēks sāks iegūt interesantākus un radošākus uzdevumus, ar kuriem mašīna (līdz šim) nevar tikt galā.

Ja dodam piemērus, tad maināmo vai aizvietojamo grupu profesijas Es pieskaitītu, teiksim, nodokļu asistentus-konsultantus, kas palīdz sagatavot deklarāciju un pārbauda, ​​vai nav tipiskas kļūdas, konstatē neatbilstības. Izmaiņas iespējamas tādā specialitātē kā klīnisko pētījumu datu pārvaldnieks - darba būtība ir atskaišu aizpildīšanā un saskaņošanā ar standartu tabulu.

Bet pavārs vai autobusa vadītājs būs pieprasīts daudz ilgāk tikai tāpēc, ka viņi var savienot neironu tīklus un reālu fiziskā pasaule ir diezgan sarežģīta, it īpaši likumdošanas un noteikumu ziņā - paldies birokrātiem par aizvākšanos Krīzes AI!

Lielas pārmaiņas gaidāmas nozarēs, kas saistītas ar drukātajiem materiāliem un tekstuālo informāciju: žurnālistikā, izglītība. Ar ļoti lielu varbūtību pirmajam neironi ļoti drīz uzrakstīs melnrakstus ar tēžu kopu, kurā cilvēki jau veiks punktu izmaiņas.

Visvairāk esmu gandarīts par izmaiņām izglītības jomā. Ēst pētījumiem, kas parāda, ka izglītības kvalitāte tieši atkarīga no pieejas "personības" un tā, cik daudz laika skolotājs velta konkrētajam skolēnam. Vienkāršākais piemērs: mācīšana grupās pa 30 cilvēkiem, izmantojot mācību grāmatu, ir daudz sliktāka nekā individuāla pasniedzējs specifiskām vajadzībām (kaut arī pēc tās pašas programmas kā mācību grāmatā). Attīstoties AI, cilvēcei būs iespēja nodrošināt personalizētu palīgu katram skolēnam. Tas ir vienkārši neticami! Skolotāja loma, pēc manām domām, pāries uz stratēģisku un kontrolējošu: vispārējās programmas un mācību secības noteikšanu, zināšanu pārbaudi utt.

7. Vai ir iespējams augšupielādēt savu apziņu datorā, izveidot digitālu dvīni un dzīvot mūžīgi?

Tādā nozīmē, kādā tas ir iedomāts uz zinātniskās fantastikas bāzes, nē. Jūs varat tikai iemācīt modelim atdarināt jūsu komunikācijas stilu, iemācīties savus jokus. Iespējams, GPT-4 līmeņa modeļi pat spēs izdomāt jaunus, kas ierāmēti jūsu unikālajā stilā un pasniegšanas manierē, taču tas nepārprotami nenozīmē pilnīgu apziņas nodošanu.

Mēs kā cilvēce atkal nezinām, kas ir apziņa, kur tā glabājas, ar ko tā atšķiras no citiem, kas padara mani - es, un jūs - jūs. Ja pēkšņi izrādās, ka tas viss ir tikai atmiņu un pieredzes kopums, kas reizināts ar individuālajām īpašībām uztveri, tad, visticamāk, būs iespējams kaut kādā veidā pārnest zināšanas uz neironu tīkliem, lai tie simulētu turpmāko dzīvi to pamats.

8. Vai ir bīstami augšupielādēt savu balsi, izskatu, teksta runas stilu neironu tīklā? Šķiet, ka šādu digitālo identitāti var nozagt.

Tajās burtiski neko nevar lejupielādēt. Varat tos apmācīt (vai atkārtoti apmācīt) tā, lai rezultāti vairāk līdzinātos jūsu izskatam, balsij vai tekstam. Un šādu apmācītu modeli patiešām var nozagt, tas ir, vienkārši nokopēt skriptu un parametru kopu, lai to palaistu citā datorā.

Jūs pat varat izveidot videoklipu ar pieprasījumu pārskaitīt naudu uz kāda cita rēķina, kam jūsu radinieks noticēs: labākie deepfake un balss klonēšanas algoritmi jau ir sasnieguši šo līmeni. Tiesa, ir nepieciešami tūkstošiem dolāru un desmitiem stundu ilga ierakstīšana, bet tomēr.

Kopumā, attīstoties tehnoloģijām, aktuālāks kļūst identitātes identificēšanas un apstiprināšanas jautājums.

Un viņi tā vai citādi cenšas to atrisināt. Piemēram, ir startup WorldCoin (patiesībā tas ražo kriptovalūtu), kurā ieguldīja OpenAI vadītājs Sems Altmans. Startēšanas nozīme ir tāda, ka katra informācija par personu tiks parakstīta ar savu atslēgu turpmākai identifikācijai. Tas pats attieksies uz masu medijiem, lai precīzi zinātu, vai šī ziņa ir patiesa vai viltota.

Bet diemžēl, kamēr tas viss ir prototipu stadijā. Un es neuzskatu, ka padziļināta sistēmu ieviešana visās nozarēs tiks īstenota nākamās desmitgades apvāršnī vienkārši tāpēc, ka tā ir pārāk sarežģīta un liela mēroga.

9. Vai neironi var sākt kaitēt un pārņemt pasauli?

Briesmas ir nevis pašreizējās norises, bet gan tas, kas tām sekos tālākā attīstībā. Pašlaik nav izgudrotas metodes, kā kontrolēt neironu tīklu darbību. Ņemiet, piemēram, ļoti vienkāršu uzdevumu: pārliecināties, ka modele nezvēr. Nekad. Nav metodes, kas ļautu ievērot šādu noteikumu. Līdz šim jūs varat atrast dažādus veidus, kā to visu vienādi “audzēt”.

Tagad iedomājieties, ka mēs nosacīti runājam par GPT-8, kura prasmes būs salīdzināmas ar spējīgāko un gudrāko cilvēku prasmēm. Neironu tīkls var programmēt, izmantot internetu, zina psiholoģija un saprot, kā cilvēki domā. Ja tu tai dosi brīvas rokas un neuzstādīsi konkrētu uzdevumu, ko tas darīs? Ko darīt, ja viņa uzzinās, ka viņu nevar kontrolēt?

Slikta notikumu pavērsiena iespējamība, pēc aplēsēm, nav tik liela. Starp citu, nav vispārpieņemta vērtējuma - lai gan visi strīdas par detaļām, par kaitīgajām sekām utt. Tagad viņi sauc aptuvenus skaitļus no 0,01% līdz 10%.

Manā skatījumā tie ir milzīgi riski, pieņemot, ka visnegatīvākais scenārijs ir cilvēces iznīcināšana.

Interesanti, ka ChatGPT un GPT-4 ir produkti, kurus radīja komandas, kas strādā pie cilvēku un neironu nodomu "saskaņošanas" problēmām (sīkāku informāciju var atrast šeit). Tāpēc modeļi tik labi klausās instrukcijas, cenšas nebūt nepieklājīgi, uzdod precizējošus jautājumus, taču tas joprojām ir ļoti tālu no ideāla. Kontroles problēma nav pat līdz pusei atrisināta. Un, kamēr mēs nezinām, vai tas vispār tiek atrisināts, un, ja jā, tad ar kādām metodēm. Šī ir šodienas karstākā pētniecības tēma.

10. Vai neironu tīkls var iemīlēties cilvēkā?

Ar pašreizējām neironu pieejām un arhitektūrām nē. Tie ģenerē tikai tādu tekstu, kas ir visticamākais kā ievades teksta turpinājums. Ja iemetīsi mīlas stāsta pirmo nodaļu, pārrakstot to zem savas personības, un lūgsi modelei atbildēt uz tavu mīlestības vēstuli, viņa ar to tiks galā. Bet ne tāpēc, ka iemīlējos, bet tāpēc, ka tas visprecīzāk atbilst kontekstam un lūgumam “uzraksti man vēstuli!”. Atcerieties, ka modeļi mācās ģenerēt tekstu, kas atbilst norādījumiem.

Turklāt neironu tīkliem pamata versijā nav atmiņa - starp diviem dažādiem palaišanas gadījumiem viņi aizmirst visu un atgriežas uz "rūpnīcas iestatījumiem". Atmiņu var pievienot mākslīgi, it kā no malas, tā, ka modelī tiek ievadītas, teiksim, 10 lapas no visatbilstošākajām "atmiņām". Bet tad izrādās, ka mēs vienkārši ievadām notikumu kopumu sākotnējā modelī un sakām: "Kā jūs uzvestos šādos apstākļos?" Modelei nav nekādu jūtu.