Детекторите вече не могат да различават дали текст е писан от изкуствен интелект или от човек

OpenAI призна, че съществуващите инструменти за откриване на текст, генериран от изкуствен интелект, са неефективни и често дават фалшиви положителни резултати. В актуализиран често задаван въпрос компанията подчертава, че дори самият ChatGPT не може точно да определи дали текстът е човешки или машинно генериран.

Експертите призовават да се откажем от автоматизираните инструменти за откриване на ИИ и да разчитаме на човешкия опит и интуиция. В раздела с често задавани въпроси на своя уебсайт, озаглавен “Как преподавателите могат да реагират на студенти, които предават работа, генерирана от изкуствен интелект, като своя?”, компанията говори за това дали детекторите за изкуствен интелект работят: “Накратко, не работят. Въпреки че някои компании (включително OpenAI) са пуснали инструменти, предназначени за откриване на съдържание, генерирано от изкуствен интелект, нито една от тях не е в състояние да разграничи надеждно съдържание, генерирано от изкуствен интелект, от съдържание, генерирано от човек.”

Детекторите на ИИ, като GPTZero например, често дават фалшиви положителни резултати, тъй като се основават на недоказани методи за откриване. В крайна сметка в текстовете, генерирани от ИИ, няма нищо специално, което винаги да ги отличава от текстовете, генерирани от човек. Освен това детекторите могат да бъдат заобиколени чрез перифразиране на текста. През юли OpenAI прекрати поддръжката на експерименталния си инструмент AI Text Classifier с плачевна точност от 26 процента.

Компанията разрушава и друг мит, че ChatGPT може да определи дали текстът е генериран от машина или не: “Освен това ChatGPT няма “разбиране” за това какъв вид съдържание може да бъде създадено от ИИ. Понякога тя измисля отговори на въпроси като “Вие ли написахте това ?” или “Може ли това да е написано от ИИ?”. Тези отговори са случайни и не се основават на факти.”

OpenAI говори и за склонността на своите модели на ИИ да съобщават невярна информация: “Понякога ChatGPT звучи убедително, но може да даде невярна или подвеждаща информация (често наричана “халюцинация”). Той може дори да си измисля неща като цитати или препратки, така че не го използвайте като единствен източник за проучване.”

През май например нюйоркски адвокат, който използвал ChatGPT и получил в отговор измислени факти, бил заплашен със загуба на лиценза си. Въпреки че детекторите на ИИ не работят, това не означава, че хората никога няма да могат да откриват текстове, генерирани от ИИ. Например, учител, който познава стила на писане на даден ученик, може да забележи, когато стилът или нивото на владеене на езика внезапно се променят. Освен това някои небрежни опити да се представи генериран от ИИ текст за свой може да имат характеристики, като например фразата “като езиков модел на ИИ”, което показва, че лицето просто е копирало и поставило отговор, получен от ChatGPT, без дори да го прочете.

Неотдавна научното списание Nature публикува материал за това как в научна статия читателите са забелязали фразата “Regenerate response”, която е елемент от интерфейса на ChatGPT. В настоящия етап на технологично развитие е най-сигурно да се избягват напълно автоматизирани инструменти за откриване на текст, генериран от изкуствен интелект. Това се потвърждава от Итън Молик, професор в Училището по бизнес “Уортън” към Университета на Пенсилвания и анализатор на ИИ.

Той подчертава, че към момента детекторите с ИИ имат висок процент на фалшиви положителни резултати и не трябва да се използват. По този начин въпросът за разликата между машинен и човешки текст остава отворен и отговорът може да се крие в сферата на интуитивното разбиране и професионалния опит на всеки човек.