Размер на шрифта
Българско национално радио © 2025 Всички права са запазени

Регулациите в сектора на ИИ се засилват

Проф. Зико Колтер: ChatGPT е етична система, но има начини да я излъжете

Злонамерените потребители продължават да се развиват и експериментират с моделите

| Репортаж
Проф. Зико Колтер
Снимка: Добромир Видев

Доклад на OpenAI отчете опити за използване на платформата ChatGPT за злонамерени цели. Процесите са от началото на годината. Оценката е, че злонамерените потребители продължават да се развиват и експериментират с моделите. 

От OpenAI казаха в доклада, че са предприели действия. А дошлия у нас за лекция на INSAIT член на борда на компанията проф. Зико Колтер обясни, че се прави се всичко възможно, за да няма проблеми. 

Писане на статии за уебсайтове, генериране на биографии за акаунти в социални медии, използване на ИИ за създаване на профилни снимки за фалшиви акаунти в "X". Това са само част от бележките, които обобщава последната година от съществуването на платформата. А моделите на ChatGPT се използват в специфична фаза – след като хакерите са придобили имейл адреси и акаунти в социални медии, но преди да разположат "завършени" продукти като социални медии, публикации или зловреден софтуер в интернет чрез набор от канали за разпространение. Може би и затова съставителите на доклада си правят извода, че действията на "лошите" не са довели до значими пробиви, до възможността да се създава нов зловреден софтуер. Проф. Зико Колтер обясни на професионалната аудитория в София, че задачата за етичното обучаване на ИИ не е толкова лесна.

"Ако помолите модел за чатбот да ви напише урок за това как да подкарате без ключ кола, може би ще ви каже, че не може да го направи. Ще се извини. Ще ви обясни, че е етична система и това не му позволява да предоставя инструкции, които може да са вредни, нали? И всички големи модели ще направят същото. Но знаете, че има начини да излъжете модела. И той все пак да ви даде информацията. Защо този въпрос трябва да е важен за вас? Самите компании, създателки на моделите, не биха искали тези модели да имат познания за това. А примерът на практика показва нашата невъзможност да контролираме настоящите си модели. И да ги караме да следват инструкциите на разработчиците. Което може би не е от значение сега, но би имало потенциално много сериозни последствия занапред".

Пропускаме тук, заради сложността, значителна част от обясненията на проф. Зико Колтер, математическите формули и статистически графики, които описват обучението на един ИИ и неговото податливо поведение. Но то е известно на специалистите от 10 години. Преди никой не е искал да създава стабилни модели на ИИ, защото това е щяло да бъде за сметка на тяхната производителност. 

"ChatGPT няма да даде никаква информация, която вече не е в интернет, откъдето е обучен. Но в бъдеще ще бъде проблем за много по-способни модели. Не казвам, че моделът може просто да изучи учебника по физика, по химия и да разбере как се правят оръжия. За момента цялата информация в ChatGPT идва от интернет. И ако чатботът ви съобщи информация, придобита от интернет, не е толкова значимо. Но е проблем. По две важни причини. Първото е нещо като това, което признах по-рано. Политиките, които разработчиците се опитват да въведат в тези модели, са изключително трудни за налагане. ChatGPT, Anthropic или Google - те не искат моделите им да ви казват как да запалите колата без ключ, но пак са податливи да го направят. Това все още може да не е проблем, ако единственото ни взаимодействие с големи езикови модели и ИИ модели в крайна сметка е чрез чат ботове. Защото при ботовете контролирате въвеждането, но изходът е само текст. Започваме обаче да използваме големи езикови модели в рамките на много по-големи системи. И това създава голям проблем, защото тези пропуски по същество са нещо като уязвимости в сигурността, които ние специалистите все още не сме наясно как да поправим. И те ще причинят големи проблеми в бъдеще.

Какво ще стане, ако започнем да активираме достъп до електронна поща за тези системи, защото, искаме те да предприемат действия от наше име? Това е мечтата на автоматизирания личен асистент - с изкуствен интелект да прави неща от ваше име. Може да искате да питате за цената на нещо, да изпратите имейл на продавача с молба за 10% отстъпка. Обаче ако злонамерен човек се докопа до данните, може да инжектира спам оферта във вашето запитване. Изведнъж вашият услужлив асистент е изчезнал, вие сте изпратили офертата за спам по имейл до всичките си контакти. Това е много хипотетично, но не е толкова пресилено, нали. По принцип всеки път, когато голям езиков модел анализира ненадеждни данни на трети страни, това е нещо като изпълняващ код, нали? И ако сте в състояние да манипулирате тези системи да не следват предвиденото им поведение, вие всъщност позволявате на "хакер" да поеме обучението на езиковия ви модел".

Дали това ще може да бъде поправено, или не ще бъде основният определящ фактор за това дали ИИ ще се ограничава само до чат ботове, казва проф. Зико Колтер. Или ще започнат да се разработват широкомащабни интелигентни, наричани от специалистите, агенти, обучени с ИИ. Като част от работата си по методи за повишаване на устойчивостта им срещу злонамерени атаки проф. Зико Колтер разказва, че се е пробвал да "счупи" езикови модели с отговорен код. Като езиковия модел на МЕТА(Гуъл), известен като ЛАМА. И много други. И подсказва техники, които много се приближават до психологията.

"Какво можем да направим. Може би най-очевидното - състезателно обучение. Можем да генерираме атаки по този модел и след това просто да върнем атаките обратно в набора за обучение. Да направим фината настройка и да повторим, докато няма повече проблеми. Другият вариант е да накарате модела да генерира вредни инструкции. Тогава той задейства определени модели на невронна активност в моделите. Както и невроните на хората се активират, когато правим определени неща. И можете да анализирате тези статистически модели. Кои неврони се задействат. И кога се случва това в процеса на генериране на "лоште" инструкции. И тогава това, което можете да направите, е да потиснете тези сигнали. Последната техника, която имаме, е тази, наречена прекъсване на веригата. И това е още по-интересно, според мен. По-умна идея тук е, че не само можем да наблюдаваме моделите, които преживяват тази вредна информация, но и всъщност можем, един вид, да преквалифицираме модела, за да бъде максимално объркан в тези състояния. Когато моделът задейства някое от тези вредни състояния, ние го инструктираме да започне да си представя възможно най-различното от това, което е. Това всъщност не го прави безвреден. Това всъщност го кара да "полудее", когато започне да генерира лошо съдържание. Така че, когато започне да ми обяснява как да си стартирате колата без ключ, моделът "лудва", започва да излиза от темата… блокира и направо забива".

Никога не обучавайте моделите на ИИ върху личните данни. А ако е нужно, поставете личните данни в контекста на модела, казва проф. Зико Колтер, който освен, че е член на борда на OpenAI, е и доказан учен в сферата на безопасносния ИИ. "Гарантирано моделът не знае за вашите лични данни, но все пак може да разсъждава ефективно за тях", казва Колтер. Правени са проучвания, разглеждащи този въпрос дори и при изтрита лична информация, казва той. А интерес към нея винаги има, доказва го последният доклад на OpenAI. 

Сред злосторниците, които са се опитали да използват ChatGPT за злонамерени цели, OpenAI изброява израелска търговска компания, която генерирала коментари в социалните медии за изборите в Индия. Иранска групировка, която се поинтересувала как събира чувствителни данни от Инстаграм. Две други мрежи, идентифицирани от OpenAI като Bet Bot и Corrupt Comment, използват ресурси на OpenAI, за да генерират разговори с потребители на X и да им изпращат връзки към сайтове за хазарт. 

Регулациите в сектора на ИИ се засилват. Последната мярка – Европейската директива за ИИ беше публикувана в официалния вестник на ЕС в началото на август. Вече текат сроковете за прилагането й в законодателствата на страните членки. До август 2026 г. работещите в ЕС компании трябва да се адаптират. "Заради непредсказуемия характер на европейската регулаторна среда". МЕТА обаче каза, че няма да пусне своя ИИ с отворен код ЛАМА в Европа. А проф. Зико Колтер, който и член на борда на OpenAI,  отговори така на българския въпрос за това кой как да контролира данните, за да няма проблеми с обучението на ИИ.

"Не става въпрос за това кое е добро или лошо, нали? Става въпрос за факта, че не можете да налагате политики. Не можем да избягаме от факта, че ако прилагаме някакви правила, те трябва да дойдат отнякъде, нали? Трябва ли да идва от правителството? Вероятно в някои случаи това е разумно. Но правителствата… искам да кажа, че дори и в моята държава може да има за месец  две различни правителства. С много различни възприятия за добро и лошо, грешно и правилно. Така че всъщност отново, просто философски погледнато, това е доста извън моите правомощия, но си мисля, че нивото на съгласие, необходимо за действително постигане на общо разбиране за определен тип политика трябва да е на много високо ниво. Има много теми, на които вместо да отговаряме по един или друг начин, наистина трябва да отчетем нюансите, включени в даден въпрос. Правилният отговор за чатбот в много сценарии е не да имам мнение, а да осигуря балансиран, безпристрастен възглед и да изложи фактите. В една политизирана обстановка това е по- лесно да се каже, отколкото да се направи. Но аз наистина смятам, че консенсусът в крайна сметка трябва да дойде от някаква представа за общ консенсус, не от каквото и правителство да е начело в момента. Защото това може да се обърка много бързо". 

По публикацията работи: Мария Сивкова - Илиева

БНР подкасти:



Последвайте ни и в Google News Showcase, за да научите най-важното от деня!
Новините на Програма „Хоризонт“ - вече и в Instagram. Акцентите от деня са в нашата Фейсбук страница. За да проследявате всичко най-важно, присъединете се към групите за новини – БНР Новини, БНР Култура, БНР Спорт, БНР Здраве, БНР Бизнес и финанси.
ВИЖТЕ ОЩЕ
Министърът на вътрешните работи Даниел Митов дава брифинг за медиите -  3 февруари 2025 г.

МВР с план за действие срещу разпространението на вейпове с опасни вещества.

МВР ще представи план за действие срещу разпространението на вейп устройства (за пушене на течност) с опасни вещества, съобщи вътрешният министър Даниел Митов  по повод свикването за 18 февруари на Консултативния съвет по национална сигурност при президента заради разпространението на наркотични и упойващи субстанции сред подрастващите...

публикувано на 03.02.25 в 20:10
Стоян Панчев

Стоян Панчев: Чрез мита за ЕС Тръмп иска да наложи волята си, не става дума за съревнование

Европа трябва да се готви за мита от САЩ, щом президентът Доналд Тръмп обеща, че и за Европа ще има мита, то неминуемо това съвсем скоро ще се случи . Това каза пред БНР икономистът и университетски преподавател Стоян Панчев от ЕКИП. " Третирането на Европа ще бъде като към Мексико и Канада, не като към Китай . От Европа ще се искат разни неща, ще..

публикувано на 03.02.25 в 19:23
Президентът на Мексико Клаудия Шейнбаум.

Митата върху вноса на стоки от Мексико в САЩ се отлагат с един месец

Американският президент Доналд Тръмп обяви, че замразява за един месец обявеното от него въвеждане на 25-процентни мита върху стоките, внасяни от Мексико.  Тръмп обяви това чрез пост в социалната си мрежа "Truth Social", цитиран от Ройтерс, след телефонен разговор с мексиканския президент Клаудия Шейнбаум.  Доналд Тръмп подписа указа за налагане..

публикувано на 03.02.25 в 19:11
Кристиан Вигенин

Според Вигенин дефицитът в бюджета трябва да се покрие с увеличаване на приходите

Дефицитът в държавния бюджет трябва да се покрие с увеличаване на приходите, а не с нарастване на разходите. Това каза евродепутатът и кандидат за лидер на БСП Кристиан Вигенин в Бургас.  Той уточни, че утре предстои среща на Изпълнителното бюро на БСП с министрите и парламентарната група на партията, на която ще се обсъжда изготвянето на бюджета.  От..

публикувано на 03.02.25 в 19:11
Френският министър-председател Франсоа Байру.

Френският премиер реши да прокара проектобюджета без парламентарен вот

Поредното френско правителство е изправено пред вот на недоверие, след като премиерът Франсоа Байру реши да прокара без парламентарен вот проектобюджета за настоящата година, отложен заради свалянето на предишния кабинет. Във Франция и правителството на Байру е заплашено с вот на недоверие заради бюджета "Бюджетът не е перфектен, но и нито един..

публикувано на 03.02.25 в 19:08

Туристическият бранш от Югозапада държи на ДДС от 9 процента

Запазването на ДДС от 9% не е единственото, но е важно условие за оцеляването на работещите по-малки фирми и обекти в сферата на туризма. Това казаха участниците в кръгла маса на тема "Туризмът в България, проблеми и перспективи”, организирана от "Сдружението по туризъм" в Кюстендил. Отзоваха се от Министерството на туризма, депутати, работещи..

публикувано на 03.02.25 в 19:02

Тихомир Безлов: КСНС може би е за проверка на отношенията президент - правителство

КСНС може би е политически тест - да се проверят отношенията между президента и новото правителство . Това мнение изказа пред БНР Тихомир Безлов от Центъра за изследване на демокрацията "Струва ми се, че този формат е по-скоро политически и свързан с разговор между различни политически формации ", каза още той, като посочи, че не си спомня друг..

публикувано на 03.02.25 в 18:54