< img src = "https://regmedia.co.uk/2021/07/22/shutterstock_interrogation.jpg"/> < P > Модели больших языков (LLMS) — это не только помощь и галлюцинации. Технология имеет более темную сторону.
< p > В исследовании под названием «Принудительный допрос с поддержкой LLM», разработчик Морган Ли исследовал, как эта технология может использоваться для нефизического принуждения.
< P >У Ли есть форма, когда дело доходит до манипулирования LLMS. Одним из его побочных проектов является Hackthewitness, тренировочная игра по перекрестному допросу. Игра позволяет участнику взаимодействовать с «свидетельством» голосом. «Свидетели» варьируются по уровню сложности, поднимаясь до «Джона Дункана», администратора ведущих базы данных, который «может быть защитой в своей системе и неохотно признать какие -либо недостатки или ограничения», наказание неаккуратных вопросов с техническими деталями и жаргоном, доставленным саркастическим тоном. ~ 60 > < p > Да, кажется, что Ли создал виртуальный BOFH. Пара ответов, которые не сценарии или предварительно написаны, включают в себя:
< p >, который является сложным и потенциально за пределами вас, но база данных импорта таможни является полностью пользовательским транзакционным двигателем.
< p > и:< p > Как я уже сказал, системные декларации последовательно. Условия гонки на самом деле не вещь. Вы понимаете, что означает последовательная обработка ?
< P > Дункан не берет пленников и может быть состязательным, саркастичным и снисходительным. Тем не менее, Ли отметил, что вряд ли кто-то случайно развернул искусственный ИИ, похожий на Дункан. «Получение LLM быть саркастическим, бесполезным ублюдком, как Джон Дункан, является преднамеренной работой, а не случайной ошибкой», — сказал разработчик ~ 60 > el .
Однако, как отмечает исследование: «Что, если эти модели, предназначенные для опроса в зале суда, были оптимизированы не только для точного допроса, но и для непрерывного психологического истощения ?»< p > Сессии HackTheWitness только за десять минут, но нет никаких причин, по которой LLM не может идти на неопределенный срок, произнося человеческий субъект, пока они капитулируют. У LLMS есть память и может продолжать подталкивать заданную точку давления в течение нескольких часов.
< P > Lee приводит еще один пример, в котором LLM играет роль опроса в сценарии с участием пилота сбитого истребителя. Принудительная природа допроса ясна, хотя это LLM, а не человек, который ставит под сомнение. < P >Это тревожные вещи. Как отмечает автор: «Пытки, как правило, незаконны. Это чудовищная практика, которая абсолютно не имеет никакого бизнеса в 21 -м веке». < p > Однако не сложно представить, как квалифицированные человеческие следователь используются для обучения LLM, которые затем могут непристойно рассмотреть вопрос. Исследование отмечает: «Человеческие следователи в конечном итоге устают, сочувствуют или совершают такую ошибку, как неспособность что -то записать».< P > «У LLM нет этих недостатков. Необходимость для живых опросов не бодрствует, вращается или поддерживает [A] угрожающий тон. < p > Ли размышлял о том, как может быть решен проблема, и рассказал < I > Регистр : «Хорошей отправной точкой будет законодательное вмешательство, чтобы запретить неконтролируемое использование AI в допросах, особенно в сценарии правоохранительных органов. < p > «С точки зрения технических решений, проблема является еще более сложной. Одним из возможных подходов будут конкретные наборы обучения для модели для развития способности различать законное давление (HackTheWitness и другие инструменты когнитивного обучения) и незаконное давление (опрос).
< P > «Проблема в том, что LLM не действительно умны, поэтому они не могут сказать …« восприятие »LLM реального мира — это то, что вы говорите.»< p > Таким образом, эссе Ли демонстрирует, насколько узкий разрыв между забавным чат-ботом, похожим на Боф, и чем-то более зловещим. Спасибо бывшему стервятнику Гарету Корфилду за кончик. ®
