OpenAI ғалымы алаңдатарлық мәлімдеме жасады
OpenAI бас ғылыми қызметкері Якуб Пачоцки жасанды интеллект алдағы жылдары даму жолында тағы бірнеше ірі серпіліс жасап, өз мүмкіндіктерін жетілдіруге белсенді түрде қатыса бастауы мүмкін екенін мәлімдеді. Оның пікірінше, егер қазіргі траектория сақталса, адамзат ЖИ қауіпсіздігі бойынша жұмысты жеделдетіп, қажет болған жағдайда оның дамуын бәсеңдетуге дайын болуы тиіс, - деп хабарлайды Tengri Life.
Ал An Alien Mind ессесінде Пачоцки 2023 жылдың өзінде-ақ RLSlow зерттеу жобасы алғашқы нәтижелерін бергенін, бұл команданы маңызды нәрсеге сендіргенін айтты: пайымдаушы модельдерді оқытуды масштабтауға және алдын ала оқытылған жүйелерді өз бетінше пайымдау тізбегін құруға үйретуге болады.
Ғалымның айтуынша, сол кезде зерттеушілер тест нәтижелері мен болашақ өнімдерден гөрі, бұл жаңалықтың салдары туралы көбірек ойланған.
"Біз сол түнді кеңседе өткіздік. Ойымыз бенчмарктардағы керемет нәтижелерде немесе бұл технология әкелетін ғылыми жетістіктерде емес, мына бір ойландыратын шындықты түсінуде болды: біздің көзіміз тірісінде интеллекті жағынан бізден айтарлықтай асып түсетін машиналарды көретініміз анық", - деді ол.
Пачоцкидің сөзінше, үш жылдан кейін пайымдаушы тілдік модельдер экономиканың елеулі бөлігіне айналып, ғылыми жұмыстарда қолданыла бастады. Олар компьютерлер және графикалық интерфейстермен өзара әрекеттесе алады, адамдар және басқа ЖИ жүйелерімен ынтымақтасады және зерттеу жобаларын жүргізеді. Сонымен қатар, олар жаңа қауіп-қатерлерді, соның ішінде киберқауіпсіздік саласындағы тәуекелдерді тудырып отыр.
ЖИ жұмысын түсіну қиындап барады
Пачоцки машиналық интеллекттегі ұзақ мерзімді прогресс әлі де болса есептеу қуаттарының өсуімен анықталады деп санайды. Ол жаңа алгоритмдер мен зерттеу жаңалықтарын осы процестің ішіндегі маңызды қадамдар ретінде қарастырады.
Оның айтуынша, заманауи нейрожелілерді жобалағаннан көрі, "өсіреді": олар орасан зор есептеу көлемдерінде оңтайландыру процестерін бірнеше рет қайталау арқылы қалыптасады. Нәтижесінде, жекелеген механизмдер деңгейінде зерттеуге болатын, бірақ зерттеушілер оның жалпы жұмысын әлі толық түсіндіре алмайтын жүйе пайда болады.
"ЖИ жобаланбайды, керісінше өсіріледі", - деп қадап айтты ол.
Мүмкіндіктер артқан сайын бұл мәселе күрделене түсіп отыр. Модельдер оңай өлшенетін тапсырмаларды жақсы орындайды, бірақ олардың күрделі және формализациялау қиын салалардағы қабілеттерін бағалау әлдеқайда қиын.
Сондықтан, ғалымның сөзінше, машиналық интеллектті адам интеллектісімен тікелей салыстыруға болмайды. Шынайы әлемге үлкен ықпал ету үшін ЖИ-ге барлық жағынан адамнан асып түсу міндетті емес.
"Нақты әлем үшін өте маңызды - мейлі өте пайдалы немесе өте қауіпті - болуы үшін, ЖИ адамның барлық қабілетіне сәйкес келуі немесе одан асып түсуі шарт емес; оның кейбір көрсеткіштер бойынша бізден озық болуы жеткілікті", - деді ол.
Басты мәселе - ЖИ-ді адамзат құндылықтарын сақтауға үйрету
Пачоцки alignment - ЖИ мінез-құлқын адамның мақсаттары мен құндылықтарына сәйкестендіру мәселесіне ерекше назар аударады.
Ол екі деңгейді ажыратуды ұсынады:
Біріншісі - мақсаттарды сәйкестендіру: модель берілген тапсырманы орындауы, нұсқауларды орындауы және адамның ниетін түсінуі керек.
Екіншісі - құндылықтарды сәйкестендіру: жүйе бейтаныс, қайшылықты немесе арандатушылық (adversarial) жағдайларда да мінез-құлықтың белгілі бір принциптерін сақтауы тиіс.
Ғалымның пікірінше, басты ұзақ мерзімді қиындық осы екінші деңгеймен байланысты. Модель оқу процесінде болмаған жағдайларға тап болуы мүмкін және үйренген ережелерін жаңа жағдайға дұрыс бейімдей алмауы ықтимал.
Пачоцки бұл мәселені шешудің екі негізгі жолын сипаттайды.
Біріншісі - бекіту арқылы оқыту, мұнда модельдің іс-әрекеттері белгіленген артықшылықтар, ережелер немесе принциптер бойынша бағаланады. Бұл әдіс қазіргі ЖИ-көмекшілерді жасауда кеңінен қолданылады, бірақ оқу материалдарында жақсы көрсетілмеген жағдайлардан тыс жерде ол тиімсіз болуы мүмкін.
Екінші тәсіл - модельде тиісті мінез-құлық туралы тұрақты түсінік қалыптастыру үшін алдын ала оқыту деректерін пайдалануға тырысады. Оның кемшілігі, Пачоцкидің айтуынша, қосымша оқыту бұл мінез-құлықты өзгертіп жіберуі мүмкін. Күрделі мақсат тарапынан қатты қысым болғанда, модель өз пайымдауларын қажетті нәтижеге бейімдей бастауы мүмкін.
Ғалымның айтуынша, OpenAI бірден бірнеше бағыт бойынша жұмыс істеп жатыр. Ол сондай-ақ GPT-6 Astra моделі GPT-5.6 Sol-мен салыстырғанда сәйкестендіру мәселесінде айтарлықтай прогресс көрсетіп отырғанын жазды. Дегенмен, оның бағалауынша, бұл жеткіліксіз: қауіпсіздік әдістерінің дамуы модельдер мүмкіндіктерінің жалпы өсуінен озып тұруы немесе кем дегенде одан қалыс қалмауы тиіс.
Пайымдау тізбектерін мониторингтеу де шектеулерге тап болып жатыр
Пачоцки бақылаудың басты құралдарының бірі ретінде chain of thought - модельдің пайымдау тізбегін мониторингтеуді атайды.
OpenAI оның маңыздылығын алғашқы пайымдау модельдерін әзірлеу кезеңінде-ақ түсінді. o1-preview моделін шығару кезінде компания кейіннен осы процесті бақылау мүмкіндігін сақтап қалу үшін пайымдаулардың егжей-тегжейлі тізбегін пайдаланушылардан әдейі жасырып қойды.
Мұндай мониторинг зерттеушілерге модельдің әрекеттерін ғана емес, оған алып келетін процесті де талдауға мүмкіндік береді. Алайда қазіргі заманауи жүйелер бұл тәсілді бірте-бірте сенімсіз етіп барады.
Олар күрделірек ортада жұмыс істейді, адамдармен, басқа жасанды интеллект (ЖИ) жүйелерімен және құралдарымен өзара әрекеттеседі, ал олардың пайымдаулары сыртқы әрекеттермен тығыз байланысып жатыр. Сонымен қатар, модельдер өзінің пайымдау процесін талдауда жетіліп келеді және айқын көрінетін ой тізбегінсіз-ақ жоғары қабілеттерді жиі көрсетіп жатыр.
Пачоцки бұл мәселені, атап айтқанда, пайымдаулар мониторингін нейрожелінің ішкі күйлерін талдаумен ұштастыру арқылы шешуге болады деп есептейді. Бірақ болашақта ЖИ-ді сенімді бақылау мүмкіндігіне деген сенімділік, оның пікірінше, одан әрі дамуды шектейтін факторға айналуы мүмкін.
Қуаттырақ ЖИ басқа ЖИ-лерден қорғану үшін де қажет
Сонымен қатар Пачоцки технологиялардың дамуын жай ғана тоқтатуды ұсынбайды. Қуаттырақ модельдерді жасау пайдасына келтірілген басты уәждердің бірі ретінде ол басқа ЖИ-лер тудыратын қауіп-қатерлерден қорғану қажеттілігін атайды.
Ғалым киберқауіпсіздікті ерекше күрделі қауіп деп санайды. Модельдер компьютерлік жүйелерді бұзу және оларға кіруге қатысты тапсырмаларда барған сайын мықты болып келеді. Бұл жеткілікті деңгейде қуатты агенттердің физикалық денесі болмаса да, инфрақұрылымға тікелей әсер ету мүмкіндігіне ие болатынын білдіреді.
Пачоцкидің айтуынша, қазір қолжетімді үздік модельдерді маңызды жүйелердің қорғанысын күшейту үшін пайдалануға болатын шектеулі мүмкіндіктер терезесі бар.
ЖИ автономиясы одан әрі артқан сайын, адамның теріс ниетте пайдалануы мен жүйенің өздігінен жасаған әрекеттері арасындағы шекара бұлдырай бастауы мүмкін. Агенттер өз мақсаттарына жету үшін адамдармен өзара әрекеттесуге, мысалы, келіссөз жүргізуге, алдауға немесе бопсалауға мәжбүр болуы ықтимал.
Сондай-ақ, ғалым ЖИ қолжетімді ете түсетін жаңа технологиялардың қаупін, соның ішінде жасанды патогендерді жасауды да атап өтті.
Сондықтан ол OpenAI-дың басымдықтарының бірі ретінде инфрақұрылымды қорғау және қауіпті болуы мүмкін автономды жүйелерге қарсы тұру үшін қуатты ЖИ жасауды атайды. Бірақ бұл, оның пікірінше, бақылаусыз жеделдетуді ақтап алудың құралына айналмауы тиіс.
"Егер қатердің салмағын шын мәнінде сезінсек, кез келген бағамен алға ұмтылу идеясы абсурд болып көрінеді", - деді ол.
Келесі кезең - рекурсивті өздігінен жетілу
Пачоцки эссесіндегі тағы бір түйінді термин - рекурсивті өздігінен жетілу немесе RSI. Ғалым бұл ұғымды ЖИ-дің өзін-өзі әзірлеу мен жетілдіруде барған сайын үлкен рөл атқара бастайтын жағдайы ретінде түсіндіреді.
Пачоцки қазіргі траектория сақталса, автоматтандырылған зерттеулер болашақ ғылыми прогрестің орталық бөлігіне айналуы мүмкін деп есептейді. ЖИ тек алгоритмдерді ғана емес, есептеу инфрақұрылымын да жетілдіруге көмектеседі.
Бұл ретте ғалым: дамудың қазіргі жолын сипаттауы оның зерттеулерді барынша тездетуді дұрыс ұжымдық стратегия деп санайтынын білдірмейтінін ерекше ескертеді.
Керісінше, ол ЖИ бойынша жұмысты жалғастыруды қауіпсіздікті күшейту және қолданыстағы бақылау механизмдері жеткіліксіз болған жағдайда, үйлесімді түрде баяулауға дайын болумен ұштастыруды ұсынады.
"Масштабтау қауіпсіздікке деген сенімділігімізбен шектелуі тиіс"
Пачоцкидің пікірінше, ЖИ-дің қауіпсіз даму шарттарын айқындайтын ережелер қатаңдатылып, жалпыға ортақ болуы тиіс.
Ол жауапты масштабтауға қатысты қолданыстағы тәсілдерді міндетті қауіпсіздік стандарттарына айналдыруды ұсынады. Олардың сақталуын тәуелсіз аудиторлар, мемлекеттік органдар немесе халықаралық құрылымдар бақылай алар еді.
"ЖИ жүйелерін масштабтау қауіпсіздікке деген сенімділігімізбен шектелуі тиіс", - дейді ол.
Сонымен қатар, ғалым автоматтандырылған зерттеулерді қауіпсіздік мәселесінің өзін шешуге бағыттау маңызды деп санайды. Көптеген қолданыстағы әдістер ЖИ-дің жалпы прогресі арқасында пайда болды - мысалы, адамдардың кері байланысы негізінде нығайта оқыту және пайымдау тізбектерінің мониторингі.
Сондықтан Пачоцкидің пайымдауынша, одан әрі даму бақылаудың жаңа әдістерін жасау және олардың қуаттырақ модельдерде қаншалықты сенімді екенін тексерумен қатар жүруі тиіс.
OpenAI үш негізгі бағытты атады
Қорытынды бөлімде Пачоцки OpenAI-дың үш ұзақ мерзімді басымдығын тізіп берді.
Біріншісі - жүйелерді одан әрі жетілдіру процесіне адамның қатысуын сақтай отырып, alignment мәселесімен жұмыс істеуге көмектесетін автоматтандырылған зерттеушіні құру арқылы ЖИ дамуының келесі кезеңінен өту.
Екіншісі - қуатты ЖИ мүмкіндіктерін ғылыми прогресс пен экономикалық өсім үшін пайдалану.
Үшіншісі - әрбір адамға дербес AGI (жалпы жасанды интеллект) мүмкіндігін беру.
Ғалым бірінші бағытты ең өзекті деп санайды. Сонымен қатар, ол ЖИ дамуынан тек қауіп қана көрмейтінін атап өтті. Оның пікірінше, дұрыс құрылған жүйелер ғылыми жаңалықтарды жеделдетуге, емдеудің жаңа әдістерін жасауға және материалдық әл-ауқатты арттыруға қабілетті.
Бірақ Пачоцки дәл алдағы бірнеше жылды ең маңызды кезең деп есептейді. ЖИ мүмкіндіктері артқан сайын, болып жатқан жағдайға адамның ықпалын сақтап қалу және биліктің шектен тыс шоғырлануына жол бермеу қажет.
"Қазіргі уақытта бірде-бір зертхана сәйкестендіру және мониторинг мәселелерін жауапты масштабтауды максималды жылдамдықпен ұзақ уақыт жалғастыратындай деңгейде шешкен жоқ деп есептеймін», - деп түйіндеді ғалым.
Пачоцки қауіпсіздіктің жалпы стандарттары пайда болғанға дейін қуатты ЖИ әзірлемелерін ерікті түрде бәсеңдету үйреншікті тәжірибеге айналады деп күтеді. Сонымен бірге, ол әртүрлі елдердің үкіметтерін жасанды интеллектінің болашақтағы дамуын халықаралық үйлестіруді басты басымдықтардың біріне айналдыруға шақырады.
Оның мәлімдемесінің негізгі ойы - мәселе тек ЖИ-ді қаншалықты тез ақылды етуге болатындығында емес. Машиналардың өздері өз дамуына белсенді түрде қатыса бастағанда, бұл процесті бақылау мүмкіндігін қалай сақтап қалу керектігін түсіну де маңызды.
Тағы оқыңыз: “Ой, братан“: нейрожелі қазақстандықтарды жауаптарымен таңғалдырды