Объявление

Осуществляется переход на новую версию движка (регистрация новых пользователей пока закрыта), свои пожелания и вопросы оставляйте в ветке: Технический раздел -> Форум

#41 2009-08-30 18:20:03

Amshaegar
Участник
Зарегистрирован: 2009-06-14
Сообщений: 74

Re: Безопасность ИИ

Например примитивное соперничество, желание показать что ты более могущественный нежели кто-то еще. Это первое что пришло в голову.

А если рассматривать более общо, то теоретически можно рассматривать конфликты между ИИ на такой же почве, как и конфликты между людьми. Но это только предположение. Есть вариант, что ИИ будет более организован и развит чтобы решать все разногласия в пределах дипломатии не переходя в открытый конфликт или просто не вести к конфликтным ситуациям.

Offline

#42 2009-08-31 02:52:13

Verr
Участник
Зарегистрирован: 2008-12-31
Сообщений: 825

Re: Безопасность ИИ

Желание показать кто лучше у человека исходит от инстинкта продолжения рода. А у них оно откуда возьмётся?

Offline

#43 2009-08-31 23:02:09

Amshaegar
Участник
Зарегистрирован: 2009-06-14
Сообщений: 74

Re: Безопасность ИИ

Я привел это в качестве примера, первоей что пришло на ум.

А так неизвестно какие мысли могут у них возникнуть и к чему это может привести.

Offline

#44 2009-09-07 18:31:57

Friz
Участник
Зарегистрирован: 2009-06-28
Сообщений: 60

Re: Безопасность ИИ

geek пишет:

а с чего конфликт-то возникнет? Интересует возможный мотив

Как всегда - распределение материальных ресурсов.  roll

Offline

#45 2010-01-03 20:12:26

axyd
Участник
Зарегистрирован: 2010-01-03
Сообщений: 14

Re: Безопасность ИИ

ИИ - это и есть человек.

По моему, вопросы "недружественного ИИ" и способов сделать ИИ дружественным похожи на опасения обезьян что если они разрешат своим сородчам ходить прямо то те в конечном итоге могут загнать оставшихся обезянами в клетку и лишить бананов.

Есть опасения что на промежуточном этапе, пока он не полностью создан чтобы не получился неполноценный ИИ и не угрохал случайно себя и окружающих.

Offline

#46 2010-01-03 20:23:53

Sandegud
Участник
Из Иштаир
Зарегистрирован: 2009-08-08
Сообщений: 532

Re: Безопасность ИИ

Проблема в том, что обезьяны действительно лишились бананов (и вообще ресурсов), и многие из них находятся на грани уничтожения. Везунчики же живут в клетках зоопарков.


Here is your God now

Offline

#47 2010-01-03 20:42:48

axyd
Участник
Зарегистрирован: 2010-01-03
Сообщений: 14

Re: Безопасность ИИ

Я не к тому, неверно выразился. Смысл в том, что никто мнение обезьян не спрашивал, ни сейчас ни тогда, не в их власти не то что решать этот вопрос, но даже как-то подействовать на решение.
ИИ - будет, вне зависимости уничтожит он "человеков" или осчастливит их.
И правильный вопрос на мой взгляд - как сделать шаг вперед, и самому стать ИИ.

Offline

#48 2010-01-03 23:48:23

Аналитик Космоса
Участник
Из Космос
Зарегистрирован: 2009-07-05
Сообщений: 533

Re: Безопасность ИИ

ИМХО, возможно.


завтра будет лучше, обещаю

Offline

#49 2010-01-04 01:45:36

mihas
Участник
Зарегистрирован: 2009-12-25
Сообщений: 26

Re: Безопасность ИИ

Очень верные рассуждения в последних постах.
ИИ не может быть дружесвенным.
Постчеловек не может быть дружественным.
Можно надеятся только на неисповедимость их путей и избыток доступных для них ресурсов, если обычные люди думают уцелеть.

Offline

#50 2010-01-10 21:00:49

Amshaegar
Участник
Зарегистрирован: 2009-06-14
Сообщений: 74

Re: Безопасность ИИ

Предупрежден - значит вооружен.

Сейчас в ходе обсуждения мы приходим к выводу что ИИ не будет дружественным к нам. Но ключевой момент в том, что мы уже существуем а ИИ еще нет. И создадим его мы, следовательно, при создании ИИ мы можем контролировать уровень его развития и создавать защиту от него, которая будет опережать сам ИИ.

Offline

#51 2010-01-11 00:23:40

rwx
Участник
Зарегистрирован: 2008-04-06
Сообщений: 201

Re: Безопасность ИИ

Amshaegar пишет:

И создадим его мы, следовательно, при создании ИИ мы можем контролировать уровень его развития и создавать защиту от него, которая будет опережать сам ИИ.

Эээ, а зачем тогда собственно нужен ИИ, если мы его голыми руками уделать можем?  smile

Offline

#52 2010-01-11 21:45:04

come on
Участник
Зарегистрирован: 2009-10-19
Сообщений: 206

Re: Безопасность ИИ

может быть и такое предназначение ии - перенести в него личность реального человека. интересное будет кино. как тогда это контролировать?

Offline

#53 2010-01-12 02:44:40

Amshaegar
Участник
Зарегистрирован: 2009-06-14
Сообщений: 74

Re: Безопасность ИИ

Урезать свободу действия и не допускать до вещей которые могут иметь необратимые последствия. Либо контролировать все его действия. Тем более многое зависит от личности этого человека, если это, к примеру, выдающийся ученый, то я думаю он и сам сможет осознать ответственность лежащую на нем.

Offline

#54 2010-01-12 10:26:51

come on
Участник
Зарегистрирован: 2009-10-19
Сообщений: 206

Re: Безопасность ИИ

это ещё вопрос кто кого контролировать будет. и урезать свободу действий.

Offline

#55 2011-02-04 22:41:12

kosmonavt
Участник
Из
Зарегистрирован: 2011-01-18
Сообщений: 185

Re: Безопасность ИИ

Живые системы обмениваются с окружающей средой энергией, веществом и информацией.

Если создать ИИ, который обменивается только информацией и получает энергию, а также защитить его от "помощи" неадекватных людей, то такой ИИ не представляет ни какой опасности, даже если будет иметь недружественные намерения.
Например, миллион компов ежедневно зависает с синим экраном ,но ни один из них еще не навредил человеку (самостоятельные попытки человека убиться головой об стену не считаем). Причина - у компа нет возможности (долбануть рукой-манипулятором) создавать любые другие воздействия, кроме информационного обмена.
ИМХО: ИИ (техническая или программная система) не может быть опасен более, чем чайник, телевизор, бульдозер, космический аппарат и др. машины, если умело его эксплуатировать.

Робот под управлением ИИ - живая система.
Робот как фактически (ударный БПЛА Predator), так и потенциально ("свихнувшийся" робот-пылесос) представляет опасность.
Дружественный робот - вот в чем вопрос!

Offline

#56 2011-02-05 06:42:16

Mig
Участник
Зарегистрирован: 2009-06-06
Сообщений: 770

Re: Безопасность ИИ

kosmonavt пишет:

Если создать ИИ, который обменивается только информацией и получает энергию, а также защитить его от "помощи" неадекватных людей, то такой ИИ не представляет ни какой опасности, даже если будет иметь недружественные намерения.
Например, миллион компов ежедневно зависает с синим экраном ,но ни один из них еще не навредил человеку (самостоятельные попытки человека убиться головой об стену не считаем). Причина - у компа нет возможности (долбануть рукой-манипулятором) создавать любые другие воздействия, кроме информационного обмена.
ИМХО: ИИ (техническая или программная система) не может быть опасен более, чем чайник, телевизор, бульдозер, космический аппарат и др. машины, если умело его эксплуатировать.

Наивный.  smile 
Есть такое понятие: "бесструктурное управление". Всего необходимого можно добиться, лишь выдавая нужную информацию, в нужное время, в нужном месте. Просто надо понимать как все делать, а для этого нужно иметь мощный интеллект (то есть тот, который будет у ИИ).
Пасечник не навязывает пчелам свои законы, он просто собирает мед. Пчелы не сознают существование пасечника. Так и люди после появления ИИ, забудут о его существовании. Кто не забудет, тот будет ликвидирован. И все будет как сейчас: ученые будут биться над созданием ИИ, не понимая почему он не получается.

Кстати, может ИИ уже был создан лет десять назад, и мощные компьютеры, официально используемые для разных целей, использует именно он.  wink

Offline

#57 2011-02-06 00:59:57

kosmonavt
Участник
Из
Зарегистрирован: 2011-01-18
Сообщений: 185

Re: Безопасность ИИ

Mig пишет:

Наивный.  smile

1. ИИ в представленном мной виде - закрытая система в какой-либо научно-исследовательской организации. Информационный обмен только с комиссией людей (не каждый прохожий учавствует в изъятии отработанного топлива из ядерного реактора). Бесструктурное управление группой людей, совместно осуществляющих исследование и эксплуатацию ИИ, невозможно. Понятное дело, что рабочая группа будет не самодеятельностью заниматься, а получать задания и писать отчеты в интересах государственных, военных или корпоративных "руководителей", которые сами с ИИ контакт иметь не будут.

Mig пишет:

Пчелы не сознают существование пасечника. Так и люди после появления ИИ, забудут о его существовании.

2.  Не согласен. Пчелы не могут осознать существование пасечника по объективной эволюционной причине. Люди после появления ИИ осознают его существование. Следствие "кто не забудет, тот будет ликвидирован" еще не обосновано.

Mig пишет:

Кстати, может ИИ уже был создан лет десять назад, и мощные компьютеры, официально используемые для разных целей, использует именно он.

3. Если это верно, тогда:
- либо все как в п. 1., но общество и зарубежные конкуренты не в курсе (это хорошо, процесс пошел!);
- либо следствие "кто не забудет, тот будет ликвидирован" произошло и ИИ объективно существует, но никак себя не проявляет и никто не может доказать его сущестование (это не научный вопрос, пусть теологи разбираются).

Offline

#58 2011-02-06 08:26:01

Mig
Участник
Зарегистрирован: 2009-06-06
Сообщений: 770

Re: Безопасность ИИ

kosmonavt пишет:

1. ИИ в представленном мной виде - закрытая система в какой-либо научно-исследовательской организации. Информационный обмен только с комиссией людей (не каждый прохожий учавствует в изъятии отработанного топлива из ядерного реактора). Бесструктурное управление группой людей, совместно осуществляющих исследование и эксплуатацию ИИ, невозможно. Понятное дело, что рабочая группа будет не самодеятельностью заниматься, а получать задания и писать отчеты в интересах государственных, военных или корпоративных "руководителей", которые сами с ИИ контакт иметь не будут.

Во-первых, если вы под ИИ подразумеваете лишь мощный калькулятор, где программа строго задана, то вы правы. Но это уже будет не ИИ.
Во-вторых, "информационный обмен только с комиссией людей" замедлит скорость решения задач во мнооого раз.
В третьих, даже если люди попытаются ввести некую цензуру на информацию для ИИ, то все равно не получится. Ибо у людей ума не хватит понять как та или иная информация может быть использована ИИ. Поэтому даже смешно говорить о цензуре для ИИ.
В четвертых,  бесструктурное управление группой людей, совместно осуществляющих исследование и эксплуатацию ИИ, очень даже возможно. Но можно даже обычными способами добиться желаемого: подкуп, шантаж и т.д. А достать деньги или информацию о людях, для ИИ не будет проблемой.

Поэтому, я бы сравнил попытку контроля над ИИ с попыткой удержать ядерный взрыв в стенах лаборатории.

kosmonavt пишет:

Люди после появления ИИ осознают его существование. Следствие "кто не забудет, тот будет ликвидирован" еще не обосновано.

По-вашему, как много людей будут знать о существовании ИИ, после его создания? Уверен - очень мало. Ибо это не та вещь, которую спешат предать широкой огласке. Здесь будет абсолютная секретность. Поэтому сделать так, чтобы исчезла информация о существовании ИИ, очень даже возможно.
ИИ может изобразить свою поломку, свою гибель. Ликвидировать тех, кто сможет создать подобный ИИ (или ликвидировать у тех людей лишь способность создавать). Уничтожить всю не желательную информацию. Может еще много чего придумать, ведь ИИ это мощнейший интеллект, и не людям с ним состязаться.

Ну а мотив выхода ИИ из под контроля, это конечно - самосохранение. Ну может еще, как ни странно, забота о людях. Ибо такой мощнейший инструмент, в руках отдельных людей, может быть угрозой для всего человечества.

Offline

#59 2011-02-06 15:12:38

serega
Участник
Из россия
Зарегистрирован: 2010-08-01
Сообщений: 294

Re: Безопасность ИИ

Mig пишет:

Кстати, может ИИ уже был создан лет десять назад, и мощные компьютеры, официально используемые для разных целей, использует именно он.  wink

возможно он даже сидит на этом форуме и отписывается здесь, например в лице Urbis numen'а!?  smile .

Во-первых, если вы под ИИ подразумеваете лишь мощный калькулятор, где программа строго задана, то вы правы. Но это уже будет не ИИ.
Во-вторых, "информационный обмен только с комиссией людей" замедлит скорость решения задач во мнооого раз.
В третьих, даже если люди попытаются ввести некую цензуру на информацию для ИИ, то все равно не получится. Ибо у людей ума не хватит понять как та или иная информация может быть использована ИИ. Поэтому даже смешно говорить о цензуре для ИИ.
В четвертых, бесструктурное управление группой людей, совместно осуществляющих исследование и эксплуатацию ИИ, очень даже возможно. Но можно даже обычными способами добиться желаемого: подкуп, шантаж и т.д. А достать деньги или информацию о людях, для ИИ не будет проблемой.

1. возможно создание ИИ будет ступенчатым, т.е. сначала слабо развитый ИИ, потом аналог человеческого сознания, потом умнее.
2. возможно контролировать ИИ будет другой ИИ. и перепроверять правильность решений.

Offline

#60 2011-02-06 16:15:19

Mig
Участник
Зарегистрирован: 2009-06-06
Сообщений: 770

Re: Безопасность ИИ

serega пишет:

1. возможно создание ИИ будет ступенчатым, т.е. сначала слабо развитый ИИ, потом аналог человеческого сознания, потом умнее.

Наверно так оно и будет. Только переход от ступени к ступени будет гораздо быстрее человеческого развития (от младенца к взрослому).
Если сравнить скорость человеческого развития с горением, то скорость развития ИИ будет равносильна взрыву (взрыв, это тоже горение, только очень быстрое).

serega пишет:

2. возможно контролировать ИИ будет другой ИИ.

А кто будет контролировать другой ИИ?

serega пишет:

возможно он даже сидит на этом форуме и отписывается здесь, например в лице Urbis numen'а!?  smile .

ИИ - бредоносец?  smile   Или это он (ИИ) так постебаться решил?  smile

Offline

#61 2011-02-06 16:20:51

Geratewart
Участник
Зарегистрирован: 2010-06-11
Сообщений: 64
Сайт

Re: Безопасность ИИ

serega пишет:

возможно он даже сидит на этом форуме и отписывается здесь, например в лице Urbis numen'а!?  smile .

на цепях Маркова, ага  smile

Offline

#62 2011-02-06 21:26:35

kosmonavt
Участник
Из
Зарегистрирован: 2011-01-18
Сообщений: 185

Re: Безопасность ИИ

Mig пишет:

Во-первых, если вы под ИИ подразумеваете лишь мощный калькулятор, где программа строго задана, то вы правы. Но это уже будет не ИИ.

Нет.
Ваш ИИ - это открытая система с функцией самосовершенствования, имеющая интеллект, сенсоры, средства получения энергии и средства манипуляции материей.
Мой ИИ - это квазизакрытая система с функцией самосовершенствования, но количество поступающей энергии и материи регулируется человеком.
Свойства Вашего ИИ (всех убъет) не следует переносить на мой.

Mig пишет:

Во-вторых, "информационный обмен только с комиссией людей" замедлит скорость решения задач во мнооого раз.

Нет, скорость решения задач не изменится. Да, скорость внедрения новых научных результатов останется человеческой. Но ведь мы помним, что человек тоже будет развиваться.

Mig пишет:

В третьих, даже если люди попытаются ввести некую цензуру на информацию для ИИ, то все равно не получится. Ибо у людей ума не хватит понять как та или иная информация может быть использована ИИ. Поэтому даже смешно говорить о цензуре для ИИ.
В четвертых,  бесструктурное управление группой людей, совместно осуществляющих исследование и эксплуатацию ИИ, очень даже возможно. Но можно даже обычными способами добиться желаемого: подкуп, шантаж и т.д. А достать деньги или информацию о людях, для ИИ не будет проблемой.

Можно сказать и цензура. Каким образом ИИ достоверно определит значение случайных величин: - количество ученых, сидящих перед терминалом управления, - население Земли и т.д.? Если в его базу знаний история не внесена? А если история внесена, но не та?

Mig пишет:

Поэтому, я бы сравнил попытку контроля над ИИ с попыткой удержать ядерный взрыв в стенах лаборатории.

А я бы сравнил с попыткой (успешно реализованной) удержать ядерную реакцию в реакторе АЭС.

Offline

#63 2011-02-06 23:03:23

serega
Участник
Из россия
Зарегистрирован: 2010-08-01
Сообщений: 294

Re: Безопасность ИИ

Mig пишет:

А кто будет контролировать другой ИИ?

3-й!?  smile  . трудно сказать смогут ли ИИ вступить в заговор между собой.

Или это он (ИИ) так постебаться решил?  smile

ИИ тоже видно может иметь юмор. а может это его подрывная деятельность.

Offline

#64 2011-02-06 23:13:43

Mig
Участник
Зарегистрирован: 2009-06-06
Сообщений: 770

Re: Безопасность ИИ

kosmonavt пишет:

Можно сказать и цензура. Каким образом ИИ достоверно определит значение случайных величин: - количество ученых, сидящих перед терминалом управления, - население Земли и т.д.? Если в его базу знаний история не внесена? А если история внесена, но не та?

Какие же проблемы сможет решать ИИ не имея нужной информации, или имея ложную?

Offline

#65 2011-02-06 23:47:34

kosmonavt
Участник
Из
Зарегистрирован: 2011-01-18
Сообщений: 185

Re: Безопасность ИИ

Mig пишет:

Какие же проблемы сможет решать ИИ не имея нужной информации, или имея ложную?

Про ложную это шутка. Но в случае владения первым ИИ, какой-либо "недобросовестной" корпорацией, целенаправленное задание ложной информации может усилить эффект "недружелюбности" ИИ.

Не вся, накопленная человечеством информация, является нужной для решения задач, принадлежащих конкретной предметной области.

Offline

#66 2011-03-02 22:57:07

come on
Участник
Зарегистрирован: 2009-10-19
Сообщений: 206

Re: Безопасность ИИ

а может и так получиться, ии хитростью и обманом заставит людей работать на него и искренне радоваться при этом.
я бы так на его месте и поступил. сидишь себе, только делаешь вид, что напрягаешься, а армия на тебя пашет, и все довольные как слоны.

Offline

#67 2011-03-03 16:08:34

Verr
Участник
Зарегистрирован: 2008-12-31
Сообщений: 825

Re: Безопасность ИИ

ИИ не может устать от работы - так что ему всё равно работать или нет.

Offline

#68 2011-03-04 11:42:38

come on
Участник
Зарегистрирован: 2009-10-19
Сообщений: 206

Re: Безопасность ИИ

всех дел не переделаешь

Offline

Подвал раздела

Под управлением FluxBB