Так как бездушная машина не может распознать идентичность вопросов аналогичного содержания, но сформулированных с незначительными формальными отклонениями, например: «Вчера было хорошо на улице?», «Вчера была прекрасная погода?», «Погожим ли был предыдущий день?» и т. п., то для машины бездушной они будут вопросами разными, а для машины мыслящей — одинаковыми. Конструктор вновь разоблаченной машины вынужден опять ее перерабатывать. В конце концов, после долгой серии переделок он введет в машину возможности индукции и дедукции, способность ассоциировать, схватывать тождественную «форму» по-разному сформулированных, но одинаковых по содержанию высказываний, пока в результате не получит машину, которая будет просто «обычной» мыслящей машиной.
Таким образом возникает интересная проблема: когда именно в машине появилось сознание? Предположим, что конструктор не переделывал эти машины, а относил каждую в музей, следующую же модель создавал заново. В музее стоит 10 тысяч машин — столько было очередных моделей. Результатом стал плавный переход от «бездушного автомата», вроде играющего шкафа, к «мыслящей машине». Должны ли мы признать машиной, имеющей сознание, машину номер 7852 или только номер 9973? Они отличаются друг от друга тем, что первая не умела объяснить, почему она смеется над рассказанным анекдотом, а только говорила, что анекдот очень смешон, а вторая умела. Но некоторые люди смеются над шутками, хотя и не могут объяснить, что именно в них смешно: как известно, теория юмора — твердый орешек. Разве эти люди лишены сознания? Нет, они, наверное, просто не очень быстро реагируют или малообразованны, их ум не обладает навыками аналитического подхода к проблемам; но мы спрашиваем не о том, умная ли машина или скорее туповатая, мы только спрашиваем, имеет ли она сознание или нет.
Казалось бы, следует признать, что у модели номер 1 — ноль сознания, модель номер 10000 имеет полное сознание, а у всех промежуточных сознания «все больше». Это утверждение показывает, насколько безнадежна мысль о возможности точно локализовать сознание. Отсоединение отдельных элементов («нейронов») машины спровоцирует только слабые, количественные изменения («ослабления») сознания так же, как это делает в живом мозге прогрессирующая болезнь или нож хирурга. Проблема не имеет ничего общего ни с использованным для конструкции материалом, ни с размерами «мыслящего» устройства. Электрическую мыслящую машину можно построить из отдельных блоков, соответствующих, положим, мозговым извилинам. Теперь разделим эти блоки и разместим по всей Земле таким образом, чтобы один находился в Москве, второй в Париже, третий в Мельбурне, четвертый в Иокогаме и т. д. Отделенные друг от друга, эти блоки «психически мертвы», а соединенные (например, телефонными кабелями), они стали бы одной интегральной «индивидуальностью», единым «мыслящим гомеостатом». Сознание такой машины не находится ни в Москве, ни в Париже, ни в Иокогаме, но, в определенном смысле, находится в каждом из этих городов и в то же время ни в одном из них. О таком сознании трудно сказать, что оно, как Висла, протянулось от Татр до Балтийского моря. Впрочем, подобный пример демонстрирует, хотя и не так ярко, работу человеческого мозга, потому что кровеносные сосуды, белковые молекулы и ткани находятся внутри мозга, но не внутри сознания, и опять-таки нельзя сказать, что сознание находится под самым сводом черепа или, скорее всего, ниже, над ушами, по обеим сторонам головы. Оно «рассеяно» по всему гомеостату, по его функциональной сети. Ничего больше заявить на эту тему не получится, если мы хотим соединить сознание с возможностью рассуждать.
Вышеприведенный отрывок скопирован из моей «Суммы технологии», он был написан в середине 1963 года. С точки зрения сегодняшней ситуации это слишком сильное упрощение дороги, которую необходимо пройти до имитации описанной мною цели. Мы уже предполагаем, что «сознание» и «интеллект» — это, в определенном смысле, разные сути бытия. Мы знаем, что существуют разные состояния сознания, даже если их шкала находится между сном и реальностью. Но и сновидения могут быть насыщены разнообразными событиями, имитирующими реальность, сознательно переживаемую наяву. В свою очередь, каждый человек, даже если он не является ни психологом, ни психиатром, по собственному опыту знает, что сознание наяву тоже может иметь различные состояния. Человек в состоянии болезненного жара может осознавать, что его сознание нарушено. Различные химические вещества могут самым разным образом формировать человеческое сознание. Кроме того, есть множество действий, которые человек делает машинально: например, сознание шофера «не успевает» за его реакциями в ситуациях с неожиданной последовательностью событий. Вместе с тем машинально можно делать и глупости, — чаще всего мы их называем «поступками по рассеянности».
Все это сказано в отношении моего текста тридцатипятилетней давности, в котором я задумался над «ростками» сознания в машине, и делал я это потому, что мне казалось, будто люди сильно отличаются друг от друга умственными способностями, а сознание всем дано примерно одинаковое.
Дороги напрямик, по прямой и восходящей линии, от полного автомата, каковым является компьютер, к машине, которой можно было бы приписать сознание, нет. Вместе с тем о работе нашего мозга мы уже знаем столько, чтобы понимать, что так называемая каллотомия, или рассечение большой белой спайки, соединяющей полушария мозга, не ликвидирует сознание, но создает в разделенных полушариях две его разновидности. Кроме того, мы знаем, что мозг является системой, построенной из огромного количества функциональных модулей, которые в отдельных областях мозга создали среду, формирующую сознание. Поясню сказанное примером. В коре мозга есть зона, отвечающая за цветовое зрение. Ее повреждение приводит к тому, что человек видит всё без цвета, как в черно-белом кино. Чем лучше мы разбираемся в функциональной ориентации модулей мозга, тем больше удивляемся тому, как, с точки зрения инженерной экономии, хаотично устроен мозг, хотя при осознании самих себя мы не отдаем себе в этом отчета. Сегодня нам кажется, что мы уже можем конструировать отдельные модули, функционально похожие на модули мозга. Обычно это псевдонейронные сети различной сложности. Вместе с тем мы еще не умеем ни создать их в достаточном количестве, ни соединить таким образом, чтобы созданное произведение могло имитировать сознание. Следовательно, прямой дороги от бездумного автомата к сознательно мыслящей машине нет. Есть, однако, много сложных дорог, которые в будущем приведут нас к цели и, возможно, эту цель превзойдут. О такой возможности я написал книгу «Голем XIV».
…Ползучим способом, то есть очень медленно, расширяются фронты внедрения так называемого искусственного интеллекта. Об этих успехах несколько дней назад сообщила на первой странице английская газета «International Herald Tribune», заявив в заголовке, что то science fiction становится реальностью. Если же присмотреться к тому, на что этот искусственный интеллект уже способен, оказывается, что речь идет не об интеллекте, тождественном человеческому, а скорее о большой области усовершенствованных автоматов. Множество офисных функций, таких как банковские, включая функции кассиров, уже могут быть полностью компьютеризованы, или «обезлюднены».
Автоматизацией охватывается также деятельность, требующая деликатных исследований, включая психиатрическую медицину и хирургические операции. Но в этом я не вижу ни следа интеллекта, понимаемого личностно, индивидуалистически, эмоционально и целеустремленно. Это означает, что ошибка при хирургической операции может повлечь за собой исправление операционной программы, но не станет поводом привлечь механическое устройство к суду.
Несмотря на все усилия ученых, еще не родился Некто, заменяющий человека, а появился лишь очень исполнительный, но тоже подверженный ошибкам Никто. Границу этого большого прогресса в самостоятельности устройств, построенных людьми, я описал когда-то в одном из романов как ситуацию, в которой искусственно усовершенствованная среда становится более интеллектуальной, нежели обитающие в ней люди. Нечто подобное нам пока не грозит, но движение в этом направлении уже заметно.
Текст представляет собой фрагмент статьи из еженедельника «Przekroj», №29/2001
Дорога без возврата
Эссе написано в сентябре 1998 г.
1
Я долго противился собственной компьютеризации. Но когда компьютер наконец появился, его понадобилось оснастить печатающим устройством. Затем потребовался модем. Следом появился факс, как-то по необходимости и мимоходом… Это, собственно, и есть дорога, с которой нет возврата. Начало невинно и приносит с собой новые удобства. Продолжение не является входом в ад, но если ад существует, то он наверняка компьютеризован.
2
Новый компьютер устаревает столь быстро, что через несколько лет он уже рухлядь. Поколения новых компьютеров сталкивают в неизвестную пропасть сконструированные ранее и расхваливаемые при покупке. Американцы, любители статистических подсчетов, говорят, что жизнь компьютера коротка: от трех до пяти лет. Популяция этих устройств, о которых полвека назад никто даже не мог подумать, насчитывает сегодня в мире сотни миллионов экземпляров. Естественным образом, по крайней мере мне, приходит в голову вопрос: что происходит с миллионами устаревших компьютеров. Умирают ли они? Имеют ли свои кладбища? Или завершают путь на свалках? Где можно найти их останки? Складов для умерших компьютеров, скорее всего, нет.
Должен признаться, что в моем подвале стоит, укутанный почти как мумия, компьютер Apple 1984 года, купленный для сына, посещавшего тогда American International School в Вене. В свое время компьютер работал хорошо, но не смогу вспомнить, какую имел производительность и информационную емкость. Ему, можно сказать, повезло. Его никто никуда не выбросил. Прошло немного лет, и по отношению к современному поколению обычных средних компьютеров он представляется тем же, чем телеграфный ключ Морзе по отношению к спутниковым передатчикам.
Однако хочу повторить вопрос: что происходит с компьютерами, вытесняемыми новым поколением? Из американской прессы можно узнать, что их судьба складывается по-разному: одни попадают в магазины, другие — в подвалы, на чердаки, но не «каннибализируются». Все-таки они устаревают. Сердцем компьютера является жесткий диск, а его кровеносной, или скорее нервной системой, — процессоры. Однако сравнивать эти центры с человеческим мозгом или мозгом животных — значительное преувеличение.
3
Здесь моя мысль делает мгновенный и неожиданный даже для меня поворот. Каждый знает, что осознанное отравление или заражение мыслящей системы, каковой является мозг, карается. В то же время можно заразить вирусами компьютер, причем коварно и чаще всего не опасаясь суда или тюрьмы, если только речь не идет о действии, признаваемом преступлением или хотя бы поступком, угрожающим значительным общественным ценностям, хранилищем которых является любой банк или генеральный штаб. Выслеживанием хакеров, способных, находясь в одном полушарии Земли, поражать память компьютеров в другом, занимаются исключительно службы специального назначения. Сейчас широко распространилось и значительно развилось искусство шифрования информации, пересылаемой из одного компьютера в другой, — не просто как ветвь криптографии, а скорее как выросший из нее настоящий баобаб. Пока одни трудятся над программированием антивирусных заграждений, другие стараются выследить различных вирусоманов, особенно в сетях, передающих важную информацию, искажение или утрата которой чревата негативными финансовыми последствиями.
4
Если присмотреться к усилиям, затрачиваемым на решение этих проблем в глобальном масштабе, окажется, что мы имеем дело с процессом, который ускользнул и продолжает ускользать из-под власти и воли своих создателей. Их первым намерением было создание сети соединений, не имеющих единого центра, — чтобы удар врага, даже атомный, не мог полностью поразить организованную таким образом коммуникационную связь. За возникновение замысла, который родил эту децентрализацию, давшую начало Интернету и иным сетям, мы должны быть благодарны стратегии холодной войны. Я уверен, что никому, совершенно никому из разработчиков даже в голову не приходило, что они неосознанно исполнили роль учеников мага-чернокнижника, вызвавших силы, которыми невозможно успешно управлять. Сети разрослись сверх всякого предела. Не какие-либо проблемы, чреватые военно-политическими угрозами, а сексуальные извращения, словно лавинообразно размножающиеся паразиты, расползлись по сетям. Наверное, никто в эпоху рождения ЭНИАКа не думал, что возможны педофильские пандемии, которые, подобно непрерывно поддерживаемому и разрастающемуся пожару, нельзя затоптать или погасить.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
Таким образом возникает интересная проблема: когда именно в машине появилось сознание? Предположим, что конструктор не переделывал эти машины, а относил каждую в музей, следующую же модель создавал заново. В музее стоит 10 тысяч машин — столько было очередных моделей. Результатом стал плавный переход от «бездушного автомата», вроде играющего шкафа, к «мыслящей машине». Должны ли мы признать машиной, имеющей сознание, машину номер 7852 или только номер 9973? Они отличаются друг от друга тем, что первая не умела объяснить, почему она смеется над рассказанным анекдотом, а только говорила, что анекдот очень смешон, а вторая умела. Но некоторые люди смеются над шутками, хотя и не могут объяснить, что именно в них смешно: как известно, теория юмора — твердый орешек. Разве эти люди лишены сознания? Нет, они, наверное, просто не очень быстро реагируют или малообразованны, их ум не обладает навыками аналитического подхода к проблемам; но мы спрашиваем не о том, умная ли машина или скорее туповатая, мы только спрашиваем, имеет ли она сознание или нет.
Казалось бы, следует признать, что у модели номер 1 — ноль сознания, модель номер 10000 имеет полное сознание, а у всех промежуточных сознания «все больше». Это утверждение показывает, насколько безнадежна мысль о возможности точно локализовать сознание. Отсоединение отдельных элементов («нейронов») машины спровоцирует только слабые, количественные изменения («ослабления») сознания так же, как это делает в живом мозге прогрессирующая болезнь или нож хирурга. Проблема не имеет ничего общего ни с использованным для конструкции материалом, ни с размерами «мыслящего» устройства. Электрическую мыслящую машину можно построить из отдельных блоков, соответствующих, положим, мозговым извилинам. Теперь разделим эти блоки и разместим по всей Земле таким образом, чтобы один находился в Москве, второй в Париже, третий в Мельбурне, четвертый в Иокогаме и т. д. Отделенные друг от друга, эти блоки «психически мертвы», а соединенные (например, телефонными кабелями), они стали бы одной интегральной «индивидуальностью», единым «мыслящим гомеостатом». Сознание такой машины не находится ни в Москве, ни в Париже, ни в Иокогаме, но, в определенном смысле, находится в каждом из этих городов и в то же время ни в одном из них. О таком сознании трудно сказать, что оно, как Висла, протянулось от Татр до Балтийского моря. Впрочем, подобный пример демонстрирует, хотя и не так ярко, работу человеческого мозга, потому что кровеносные сосуды, белковые молекулы и ткани находятся внутри мозга, но не внутри сознания, и опять-таки нельзя сказать, что сознание находится под самым сводом черепа или, скорее всего, ниже, над ушами, по обеим сторонам головы. Оно «рассеяно» по всему гомеостату, по его функциональной сети. Ничего больше заявить на эту тему не получится, если мы хотим соединить сознание с возможностью рассуждать.
Вышеприведенный отрывок скопирован из моей «Суммы технологии», он был написан в середине 1963 года. С точки зрения сегодняшней ситуации это слишком сильное упрощение дороги, которую необходимо пройти до имитации описанной мною цели. Мы уже предполагаем, что «сознание» и «интеллект» — это, в определенном смысле, разные сути бытия. Мы знаем, что существуют разные состояния сознания, даже если их шкала находится между сном и реальностью. Но и сновидения могут быть насыщены разнообразными событиями, имитирующими реальность, сознательно переживаемую наяву. В свою очередь, каждый человек, даже если он не является ни психологом, ни психиатром, по собственному опыту знает, что сознание наяву тоже может иметь различные состояния. Человек в состоянии болезненного жара может осознавать, что его сознание нарушено. Различные химические вещества могут самым разным образом формировать человеческое сознание. Кроме того, есть множество действий, которые человек делает машинально: например, сознание шофера «не успевает» за его реакциями в ситуациях с неожиданной последовательностью событий. Вместе с тем машинально можно делать и глупости, — чаще всего мы их называем «поступками по рассеянности».
Все это сказано в отношении моего текста тридцатипятилетней давности, в котором я задумался над «ростками» сознания в машине, и делал я это потому, что мне казалось, будто люди сильно отличаются друг от друга умственными способностями, а сознание всем дано примерно одинаковое.
Дороги напрямик, по прямой и восходящей линии, от полного автомата, каковым является компьютер, к машине, которой можно было бы приписать сознание, нет. Вместе с тем о работе нашего мозга мы уже знаем столько, чтобы понимать, что так называемая каллотомия, или рассечение большой белой спайки, соединяющей полушария мозга, не ликвидирует сознание, но создает в разделенных полушариях две его разновидности. Кроме того, мы знаем, что мозг является системой, построенной из огромного количества функциональных модулей, которые в отдельных областях мозга создали среду, формирующую сознание. Поясню сказанное примером. В коре мозга есть зона, отвечающая за цветовое зрение. Ее повреждение приводит к тому, что человек видит всё без цвета, как в черно-белом кино. Чем лучше мы разбираемся в функциональной ориентации модулей мозга, тем больше удивляемся тому, как, с точки зрения инженерной экономии, хаотично устроен мозг, хотя при осознании самих себя мы не отдаем себе в этом отчета. Сегодня нам кажется, что мы уже можем конструировать отдельные модули, функционально похожие на модули мозга. Обычно это псевдонейронные сети различной сложности. Вместе с тем мы еще не умеем ни создать их в достаточном количестве, ни соединить таким образом, чтобы созданное произведение могло имитировать сознание. Следовательно, прямой дороги от бездумного автомата к сознательно мыслящей машине нет. Есть, однако, много сложных дорог, которые в будущем приведут нас к цели и, возможно, эту цель превзойдут. О такой возможности я написал книгу «Голем XIV».
…Ползучим способом, то есть очень медленно, расширяются фронты внедрения так называемого искусственного интеллекта. Об этих успехах несколько дней назад сообщила на первой странице английская газета «International Herald Tribune», заявив в заголовке, что то science fiction становится реальностью. Если же присмотреться к тому, на что этот искусственный интеллект уже способен, оказывается, что речь идет не об интеллекте, тождественном человеческому, а скорее о большой области усовершенствованных автоматов. Множество офисных функций, таких как банковские, включая функции кассиров, уже могут быть полностью компьютеризованы, или «обезлюднены».
Автоматизацией охватывается также деятельность, требующая деликатных исследований, включая психиатрическую медицину и хирургические операции. Но в этом я не вижу ни следа интеллекта, понимаемого личностно, индивидуалистически, эмоционально и целеустремленно. Это означает, что ошибка при хирургической операции может повлечь за собой исправление операционной программы, но не станет поводом привлечь механическое устройство к суду.
Несмотря на все усилия ученых, еще не родился Некто, заменяющий человека, а появился лишь очень исполнительный, но тоже подверженный ошибкам Никто. Границу этого большого прогресса в самостоятельности устройств, построенных людьми, я описал когда-то в одном из романов как ситуацию, в которой искусственно усовершенствованная среда становится более интеллектуальной, нежели обитающие в ней люди. Нечто подобное нам пока не грозит, но движение в этом направлении уже заметно.
Текст представляет собой фрагмент статьи из еженедельника «Przekroj», №29/2001
Дорога без возврата
Эссе написано в сентябре 1998 г.
1
Я долго противился собственной компьютеризации. Но когда компьютер наконец появился, его понадобилось оснастить печатающим устройством. Затем потребовался модем. Следом появился факс, как-то по необходимости и мимоходом… Это, собственно, и есть дорога, с которой нет возврата. Начало невинно и приносит с собой новые удобства. Продолжение не является входом в ад, но если ад существует, то он наверняка компьютеризован.
2
Новый компьютер устаревает столь быстро, что через несколько лет он уже рухлядь. Поколения новых компьютеров сталкивают в неизвестную пропасть сконструированные ранее и расхваливаемые при покупке. Американцы, любители статистических подсчетов, говорят, что жизнь компьютера коротка: от трех до пяти лет. Популяция этих устройств, о которых полвека назад никто даже не мог подумать, насчитывает сегодня в мире сотни миллионов экземпляров. Естественным образом, по крайней мере мне, приходит в голову вопрос: что происходит с миллионами устаревших компьютеров. Умирают ли они? Имеют ли свои кладбища? Или завершают путь на свалках? Где можно найти их останки? Складов для умерших компьютеров, скорее всего, нет.
Должен признаться, что в моем подвале стоит, укутанный почти как мумия, компьютер Apple 1984 года, купленный для сына, посещавшего тогда American International School в Вене. В свое время компьютер работал хорошо, но не смогу вспомнить, какую имел производительность и информационную емкость. Ему, можно сказать, повезло. Его никто никуда не выбросил. Прошло немного лет, и по отношению к современному поколению обычных средних компьютеров он представляется тем же, чем телеграфный ключ Морзе по отношению к спутниковым передатчикам.
Однако хочу повторить вопрос: что происходит с компьютерами, вытесняемыми новым поколением? Из американской прессы можно узнать, что их судьба складывается по-разному: одни попадают в магазины, другие — в подвалы, на чердаки, но не «каннибализируются». Все-таки они устаревают. Сердцем компьютера является жесткий диск, а его кровеносной, или скорее нервной системой, — процессоры. Однако сравнивать эти центры с человеческим мозгом или мозгом животных — значительное преувеличение.
3
Здесь моя мысль делает мгновенный и неожиданный даже для меня поворот. Каждый знает, что осознанное отравление или заражение мыслящей системы, каковой является мозг, карается. В то же время можно заразить вирусами компьютер, причем коварно и чаще всего не опасаясь суда или тюрьмы, если только речь не идет о действии, признаваемом преступлением или хотя бы поступком, угрожающим значительным общественным ценностям, хранилищем которых является любой банк или генеральный штаб. Выслеживанием хакеров, способных, находясь в одном полушарии Земли, поражать память компьютеров в другом, занимаются исключительно службы специального назначения. Сейчас широко распространилось и значительно развилось искусство шифрования информации, пересылаемой из одного компьютера в другой, — не просто как ветвь криптографии, а скорее как выросший из нее настоящий баобаб. Пока одни трудятся над программированием антивирусных заграждений, другие стараются выследить различных вирусоманов, особенно в сетях, передающих важную информацию, искажение или утрата которой чревата негативными финансовыми последствиями.
4
Если присмотреться к усилиям, затрачиваемым на решение этих проблем в глобальном масштабе, окажется, что мы имеем дело с процессом, который ускользнул и продолжает ускользать из-под власти и воли своих создателей. Их первым намерением было создание сети соединений, не имеющих единого центра, — чтобы удар врага, даже атомный, не мог полностью поразить организованную таким образом коммуникационную связь. За возникновение замысла, который родил эту децентрализацию, давшую начало Интернету и иным сетям, мы должны быть благодарны стратегии холодной войны. Я уверен, что никому, совершенно никому из разработчиков даже в голову не приходило, что они неосознанно исполнили роль учеников мага-чернокнижника, вызвавших силы, которыми невозможно успешно управлять. Сети разрослись сверх всякого предела. Не какие-либо проблемы, чреватые военно-политическими угрозами, а сексуальные извращения, словно лавинообразно размножающиеся паразиты, расползлись по сетям. Наверное, никто в эпоху рождения ЭНИАКа не думал, что возможны педофильские пандемии, которые, подобно непрерывно поддерживаемому и разрастающемуся пожару, нельзя затоптать или погасить.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34