Это наш единственный критерий для определения того, что правильно, а что нет. И для Машины тоже. Дайте ей, к примеру, задание составить план сельскохозяйственных работ в Айове с учетом того, что средняя температура воздуха в июле там составляет 57 градусов по Фаренгейту Машина не примет такую команду. Она не даст ответа! И вовсе не потому, что ей окажутся как-то особенно неприятны именно такие цифры или потому, что такое в принципе невозможно. Дело в том, что по имеющимся у нее данным, вероятность температуры 57 градусов в июле равна нулю. Вот и все. Машина отвергнет такие данные.
Единственным способом заставить Машину принять неверные данные является включение их в состав непротиворечивого единого массива информации, и сделано это должно быть исключительно хитро, тонко – так, чтобы Машина не сумела уловить, что ее обманывают. Либо можно попытаться подсунуть ей такие данные, знания о которых находятся вне компетенции Машины. Первое человеку просто не под силу, а второе… почти не под силу, потому что знания Машины растут с каждой секундой.
Стивен Байерли задумчиво коснулся переносицы двумя пальцами.
– Таким образом, Машину не проведешь. Но тогда как же вы объясните все эти ошибки?
– Дорогой мой Байерли, как видно, вы совершаете обычную ошибку: вы допускаете, что Машина знает все. Позвольте, я опишу вам один случай из личного опыта.
В текстильной промышленности высоко ценятся опытные закупщики хлопка. Работа их заключается в следующем: они берут на пробу пучок волокон из случайно выбранного тюка из партии – щупают его, треплют, нюхают, слушают, как он шуршит, пробуют языком – и благодаря таким процедурам в итоге определяют сортность хлопка. Сортов хлопка около дюжины. Закупщик выносит свой приговор, и от этого зависит сумма, на которую заключается сделка. И представьте себе, Байерли, по сей день этих закупщиков нельзя заменить Машиной.
– Но почему? Наверняка ведь анализируемые показатели не слишком сложны для Машины?
– Может быть и нет. Но о каких показателях вы говорите? Ни один химик-текстильщик не может определить, какие качества хлопка оценивает закупщик, когда щупает пучок волокон. Предположительно он определяет их среднюю длину, насколько они мягки и эластичны, как слипаются, скручиваются одно с другим… Множество признаков, которые опытный закупщик определяет подсознательно, лишь на основании многолетнего опыта. Но количественная сторона такой оценки никому не известна, Никому – порой сами закупщики не в силах ничего объяснить. Спросишь, а они скажут: «А ты что, милок, сам не видишь? Так оно чувствуется».
– Понятно.
– И таких случаев не перечесть. Машина – это всего лишь инструмент, способный ускорить прогресс человечества за счет того, что она берет на себя сложнейшие расчеты и их интерпретацию. А задачи, решаемые человеческим мозгом, остаются все теми же: искать новые данные, которые потом можно подвергнуть машинному анализу, и создавать новые теории на их основе. Очень прискорбно, что это не понимают скандалисты из «Общества защиты прав человека».
– Они против Машин?
– Родись они в другое время, они были бы против математики или письменности. Эти реакционеры заявляют, будто Машины крадут у человека его душу. А я лично как-то не замечаю, чтобы в нашем обществе не было бы места людям талантливым, способным придумывать вопросы и умно задавать их Машине. Наверное, Координатор, если бы таких людей было больше, не возникли бы те сбои, которые вас беспокоят.
ЗЕМЛЯ (включая необитаемый материк – Антарктиду):
а) площадь: 54 000000кв. миль (поверхность суши)
б) население: 3 300 000 000
в) столица: Нью-Йорк
Огонь за кварцевым стеклом догорал, последние язычки пламени вспыхивали над обгоревшими дочерна поленьями.
Координатор тоже весь как-то сник и угас. Голос его звучал тихо, устало.
– Все они принижают важность событий. Ведь нельзя же допустить, что они смеялись надо мной, правда? И все-таки Винсент Силвер уверяет меня в том, что Машины не могут быть неисправны, и я должен ему верить. Хирам Маккензи считает, что принципиально невозможно подсунуть Машине неверные данные, и ему я тоже склонен верить. Но Машины, тем не менее, ошибаются, и этому я тоже не могу не верить – значит, всему этому все же есть какая-то альтернатива.
Он искоса взглянул на Сьюзен Кэлвин – глаза у нее были закрыты, и казалось, она спала. Тем не менее ее реакция была немедленной:
– Какая именно альтернатива, Стивен?
– Если данные вводятся верные и ответы даются тоже верные, остается еще возможность их игнорировать. Машины не располагают властью навязать исполнение своих рекомендаций.
– Мадам Жегешовска намекала именно на это в отношении Северного региона.
– Конечно.
– Но какова может быть цель неповиновения Машине? Попробуем определить мотив.
– Мотивы для меня как раз очевидны, да и для вас, думаю, тоже. Это попытка раскачать лодку. Ведь пока миром правят Машины, серьезные конфликты, при которых какая-то одна группа получила бы преимущество за счет остального человечества, невозможны. Но если вера в Машины будет подорвана настолько, что от них придется отказаться, снова возобладает закон джунглей. И такое подозрение нельзя исключить по отношению ни к одному из четырех регионов.
Половина населения Земли живет в границах Восточного региона, а в Тропическом сосредоточена почти половина всех природных ресурсов, И тот и другой могут ощущать себя полновластными хозяевами Земли, и каждый из них в свое время испытал унижение со стороны Севера. Вполне логично желать отмщения, правда? Европа, с другой стороны, сохраняет память о былом величии. Она ведь когда-то правила Землей, а ничто так сильно не раздражает, как воспоминания о власти.
Но в это трудно поверить. И Востоку, и Тропикам хватает места для экспансии внутри своих собственных границ. И в том и в другом регионе отмечается колоссальный подъем производства. Для военных приготовлений у них попросту нет ни времени, ни свободных рук. А у Европы не осталось ничего, кроме сладких снов. Это, как говорят военные, сухой язык цифр.
– Таким образом, Стивен, – заметила Сьюзен, – вы считаете, что дело в Северном регионе.
– Да, – энергично подхватил Байерли. – Север сейчас сильнее всех и удерживает эти позиции уже почти целое столетие. Но теперь намечается относительное отставание. Место лидера цивилизации могут скоро занять Тропики, а северяне этого боятся. Да, Сьюзен, впервые со времен фараонов Тропики могут выйти вперед.
«Общество борьбы за права человека» – организация северян, вам это известно, и они не делают тайны из своей войны с Машинами… Сьюзен, их немного, но эта организация объединяет могущественных людей. Управляющие фабрик, директора заводов и крупных сельскохозяйственных комплексов, которые больше не хотят быть, по их словам, «мальчиками на побегушках при Машинах». Люди в «Обществе» амбициозны, эгоистичны. Они чувствуют себя достаточно сильными для того, чтобы принимать решения к собственной выгоде, а не быть вынужденными заботиться о благе других.
Короче говоря, это те самые люди, которые, решив дружно отказываться от тех советов, которые дают Машины, могут очень скоро перевернуть мир вверх дном.
Все сходится, Сьюзен. Пятеро членов совета директоров «Всемирной Сталелитейной» являются членами «Общества», и во «Всемирной Сталелитейной» отмечено перепроизводство. Концерн «Циннабар», ведавший добычей ртути в Альмадене, был северной компанией. Его отчетная документация пока не изучена до конца, но уже выяснено, что по крайней мере один из его сотрудников был членом «Общества». Франческо Виллафранка, который ухитрился в одиночку добиться отсрочки ввода в строй Мексиканского канала, тоже был членом «Общества», это мы уже знаем. Как, впрочем, и Рама Врасайяна, что меня вовсе не удивило.
– Да, но все они финансово пострадали на этом, – спокойно сказала Сьюзен Кэлвин.
– Естественно. Отвергнуть рекомендацию Машины – значит выбрать проигрышный вариант. Это та цена, которую им приходится платить. Но в той неразберихе, которую они надеются спровоцировать, они рассчитывают поправить дела.
– Ну, и что же вы собираетесь предпринять, Стивен?
– Время дорого, Сьюзен. Поэтому я тороплюсь. Я собираюсь настоять на том, чтобы «Обществом было объявлено вне закона и все его члены удалены с ответственных постов. Претенденты на любую сколько-нибудь ответственную должность должны будут давать присягу об отказе от поддержки «Общества». Это, конечно, в какой-то мере ущемит гражданские права, но я уверен, что Конгресс…
– Это ничего не даст.
– Что? Почему? – оторопело уставился на нее Байерли.
– Позволю себе сделать предсказание. Если вы попытаетесь это осуществить, вы встретитесь с препятствиями на каждом шагу. Вы не сможете продолжать работать. Любое продвижение в этом направлении будет сопровождаться неприятностями.
Байерли был совершенно обескуражен.
– Я не ожидал услышать это от вас. Я рассчитывал на вашу поддержку.
– Но это невозможно, Стивен! Все ваши выводы основаны на неверных допущениях. Вы признали, что Машина не может ошибаться, признали, что и неверные данные ей подсунуть невозможно. А теперь я готова доказать, что и не повиноваться Машине тоже невозможно, как это, на ваш взгляд, делает «Общество».
– С этим я совершенно не согласен.
– Тогда слушайте. Каждое действие любого ответственного лица, не согласующееся с рекомендациями Машины, становится ей известно и учитывается при решении очередной проблемы. Машине, таким образом, становится известна склонность данного лица к неповиновению. Машина может даже количественно оценить последствия этого, то есть предвидеть, в какой степени и в каком направлении ее рекомендации будут нарушены. И последующий ответ Машины будет, естественно, скорректирован таким образом, чтобы непослушание данного исполнителя автоматически привело к оптимальным результатам. Мишина знает, Стивен!
– Но вы не можете быть в этом уверены. Это просто ваша догадка.
– Догадка, не спорю, но основана она на многолетнем опыте работы с роботами. И будет лучше, если вы положитесь на эту догадку, Стивен!
– Но что же тогда получается? С Машинами, как и с вводимыми в них данными, все в порядке. Не слушаться их, как вы говорите, тоже невозможно. Но что же тогда не в порядке?
– Вы сами ответили на свой вопрос. Все в порядке. Задумайтесь немного о самих Машинах, Стивен. Они роботы и повинуются Первому Закону. Но Машина призвана заботиться не об отдельном человеке, а обо всем человечестве. Следовательно, для них Первый Закон должен звучать так: «Ни одна Машина не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред».
Отлично. А теперь, Стивен, давайте зададим себе вопрос: какой вред может быть причинен человечеству? Что ему грозит? Больше всего – нарушения баланса в экономике, по какой бы то ни было причине. Не так ли?
– Так.
– А из-за чего могут возникнуть самые большие нарушения баланса в экономике, Стивен? Попробуйте ответить.
– Ну… – неохотно начал Стивен, – пожалуй, из-за разрушения Машин. Я бы так сказал.
– И я бы так сказала. Именно так и должны отвечать себе на этот вопрос сами Машины. Их первейшей задачей, стало быть, становится самосохранение, но ради нас. Именно поэтому они незаметно взяли под контроль тех людей, которые могли бы им угрожать. Вовсе не «Общество защиты прав человека» раскачивает лодку, чтобы в конце концов добиться демонтажа Машин. Вы смотрели на обратную сторону картины. Гораздо правильней будет сказать, что это сами Машины раскачивают лодку – не сильно, ровно настолько, чтобы стряхнуть за борт тех, кто преследует цели, которые Машинам представляются опасными для человечества.
Итак: Врасайяна остался без завода и получил другую работу, где он не может причинить вреда. Он не очень пострадал, он не лишился средств к существованию – ведь Машина в принципе не может нанести человеку вред, разве что самый минимальный, и то – в интересах всего человечества. Концерн «Циннабар» утрачивает контроль над альмаденскими рудниками. Виллафранка уволен с поста главного инженера строительства канала. А директора «Всемирной Сталелитейной» уже утрачивают руководящие позиции в промышленности – и очень скоро потеряют совсем.
– Но вы же ничего этого не знаете наверняка, – упорствовал Байерли. – Разве можем мы рисковать и действовать на основе одних только предположений?
– Не только можете, но и должны. Помните тот ответ, который дала сама Машина на ваш запрос? Он звучал так: «Ответ на вопрос недопустим». Правильно? Ведь Машина не сказала, что объяснения нет или что она не может его найти. Она просто не собиралась ничего объяснять. Никому. Другими словами, она решила, что знать суть дела человечеству не нужно и опасно. Поэтому нам остается одно:
1 2 3 4 5
Единственным способом заставить Машину принять неверные данные является включение их в состав непротиворечивого единого массива информации, и сделано это должно быть исключительно хитро, тонко – так, чтобы Машина не сумела уловить, что ее обманывают. Либо можно попытаться подсунуть ей такие данные, знания о которых находятся вне компетенции Машины. Первое человеку просто не под силу, а второе… почти не под силу, потому что знания Машины растут с каждой секундой.
Стивен Байерли задумчиво коснулся переносицы двумя пальцами.
– Таким образом, Машину не проведешь. Но тогда как же вы объясните все эти ошибки?
– Дорогой мой Байерли, как видно, вы совершаете обычную ошибку: вы допускаете, что Машина знает все. Позвольте, я опишу вам один случай из личного опыта.
В текстильной промышленности высоко ценятся опытные закупщики хлопка. Работа их заключается в следующем: они берут на пробу пучок волокон из случайно выбранного тюка из партии – щупают его, треплют, нюхают, слушают, как он шуршит, пробуют языком – и благодаря таким процедурам в итоге определяют сортность хлопка. Сортов хлопка около дюжины. Закупщик выносит свой приговор, и от этого зависит сумма, на которую заключается сделка. И представьте себе, Байерли, по сей день этих закупщиков нельзя заменить Машиной.
– Но почему? Наверняка ведь анализируемые показатели не слишком сложны для Машины?
– Может быть и нет. Но о каких показателях вы говорите? Ни один химик-текстильщик не может определить, какие качества хлопка оценивает закупщик, когда щупает пучок волокон. Предположительно он определяет их среднюю длину, насколько они мягки и эластичны, как слипаются, скручиваются одно с другим… Множество признаков, которые опытный закупщик определяет подсознательно, лишь на основании многолетнего опыта. Но количественная сторона такой оценки никому не известна, Никому – порой сами закупщики не в силах ничего объяснить. Спросишь, а они скажут: «А ты что, милок, сам не видишь? Так оно чувствуется».
– Понятно.
– И таких случаев не перечесть. Машина – это всего лишь инструмент, способный ускорить прогресс человечества за счет того, что она берет на себя сложнейшие расчеты и их интерпретацию. А задачи, решаемые человеческим мозгом, остаются все теми же: искать новые данные, которые потом можно подвергнуть машинному анализу, и создавать новые теории на их основе. Очень прискорбно, что это не понимают скандалисты из «Общества защиты прав человека».
– Они против Машин?
– Родись они в другое время, они были бы против математики или письменности. Эти реакционеры заявляют, будто Машины крадут у человека его душу. А я лично как-то не замечаю, чтобы в нашем обществе не было бы места людям талантливым, способным придумывать вопросы и умно задавать их Машине. Наверное, Координатор, если бы таких людей было больше, не возникли бы те сбои, которые вас беспокоят.
ЗЕМЛЯ (включая необитаемый материк – Антарктиду):
а) площадь: 54 000000кв. миль (поверхность суши)
б) население: 3 300 000 000
в) столица: Нью-Йорк
Огонь за кварцевым стеклом догорал, последние язычки пламени вспыхивали над обгоревшими дочерна поленьями.
Координатор тоже весь как-то сник и угас. Голос его звучал тихо, устало.
– Все они принижают важность событий. Ведь нельзя же допустить, что они смеялись надо мной, правда? И все-таки Винсент Силвер уверяет меня в том, что Машины не могут быть неисправны, и я должен ему верить. Хирам Маккензи считает, что принципиально невозможно подсунуть Машине неверные данные, и ему я тоже склонен верить. Но Машины, тем не менее, ошибаются, и этому я тоже не могу не верить – значит, всему этому все же есть какая-то альтернатива.
Он искоса взглянул на Сьюзен Кэлвин – глаза у нее были закрыты, и казалось, она спала. Тем не менее ее реакция была немедленной:
– Какая именно альтернатива, Стивен?
– Если данные вводятся верные и ответы даются тоже верные, остается еще возможность их игнорировать. Машины не располагают властью навязать исполнение своих рекомендаций.
– Мадам Жегешовска намекала именно на это в отношении Северного региона.
– Конечно.
– Но какова может быть цель неповиновения Машине? Попробуем определить мотив.
– Мотивы для меня как раз очевидны, да и для вас, думаю, тоже. Это попытка раскачать лодку. Ведь пока миром правят Машины, серьезные конфликты, при которых какая-то одна группа получила бы преимущество за счет остального человечества, невозможны. Но если вера в Машины будет подорвана настолько, что от них придется отказаться, снова возобладает закон джунглей. И такое подозрение нельзя исключить по отношению ни к одному из четырех регионов.
Половина населения Земли живет в границах Восточного региона, а в Тропическом сосредоточена почти половина всех природных ресурсов, И тот и другой могут ощущать себя полновластными хозяевами Земли, и каждый из них в свое время испытал унижение со стороны Севера. Вполне логично желать отмщения, правда? Европа, с другой стороны, сохраняет память о былом величии. Она ведь когда-то правила Землей, а ничто так сильно не раздражает, как воспоминания о власти.
Но в это трудно поверить. И Востоку, и Тропикам хватает места для экспансии внутри своих собственных границ. И в том и в другом регионе отмечается колоссальный подъем производства. Для военных приготовлений у них попросту нет ни времени, ни свободных рук. А у Европы не осталось ничего, кроме сладких снов. Это, как говорят военные, сухой язык цифр.
– Таким образом, Стивен, – заметила Сьюзен, – вы считаете, что дело в Северном регионе.
– Да, – энергично подхватил Байерли. – Север сейчас сильнее всех и удерживает эти позиции уже почти целое столетие. Но теперь намечается относительное отставание. Место лидера цивилизации могут скоро занять Тропики, а северяне этого боятся. Да, Сьюзен, впервые со времен фараонов Тропики могут выйти вперед.
«Общество борьбы за права человека» – организация северян, вам это известно, и они не делают тайны из своей войны с Машинами… Сьюзен, их немного, но эта организация объединяет могущественных людей. Управляющие фабрик, директора заводов и крупных сельскохозяйственных комплексов, которые больше не хотят быть, по их словам, «мальчиками на побегушках при Машинах». Люди в «Обществе» амбициозны, эгоистичны. Они чувствуют себя достаточно сильными для того, чтобы принимать решения к собственной выгоде, а не быть вынужденными заботиться о благе других.
Короче говоря, это те самые люди, которые, решив дружно отказываться от тех советов, которые дают Машины, могут очень скоро перевернуть мир вверх дном.
Все сходится, Сьюзен. Пятеро членов совета директоров «Всемирной Сталелитейной» являются членами «Общества», и во «Всемирной Сталелитейной» отмечено перепроизводство. Концерн «Циннабар», ведавший добычей ртути в Альмадене, был северной компанией. Его отчетная документация пока не изучена до конца, но уже выяснено, что по крайней мере один из его сотрудников был членом «Общества». Франческо Виллафранка, который ухитрился в одиночку добиться отсрочки ввода в строй Мексиканского канала, тоже был членом «Общества», это мы уже знаем. Как, впрочем, и Рама Врасайяна, что меня вовсе не удивило.
– Да, но все они финансово пострадали на этом, – спокойно сказала Сьюзен Кэлвин.
– Естественно. Отвергнуть рекомендацию Машины – значит выбрать проигрышный вариант. Это та цена, которую им приходится платить. Но в той неразберихе, которую они надеются спровоцировать, они рассчитывают поправить дела.
– Ну, и что же вы собираетесь предпринять, Стивен?
– Время дорого, Сьюзен. Поэтому я тороплюсь. Я собираюсь настоять на том, чтобы «Обществом было объявлено вне закона и все его члены удалены с ответственных постов. Претенденты на любую сколько-нибудь ответственную должность должны будут давать присягу об отказе от поддержки «Общества». Это, конечно, в какой-то мере ущемит гражданские права, но я уверен, что Конгресс…
– Это ничего не даст.
– Что? Почему? – оторопело уставился на нее Байерли.
– Позволю себе сделать предсказание. Если вы попытаетесь это осуществить, вы встретитесь с препятствиями на каждом шагу. Вы не сможете продолжать работать. Любое продвижение в этом направлении будет сопровождаться неприятностями.
Байерли был совершенно обескуражен.
– Я не ожидал услышать это от вас. Я рассчитывал на вашу поддержку.
– Но это невозможно, Стивен! Все ваши выводы основаны на неверных допущениях. Вы признали, что Машина не может ошибаться, признали, что и неверные данные ей подсунуть невозможно. А теперь я готова доказать, что и не повиноваться Машине тоже невозможно, как это, на ваш взгляд, делает «Общество».
– С этим я совершенно не согласен.
– Тогда слушайте. Каждое действие любого ответственного лица, не согласующееся с рекомендациями Машины, становится ей известно и учитывается при решении очередной проблемы. Машине, таким образом, становится известна склонность данного лица к неповиновению. Машина может даже количественно оценить последствия этого, то есть предвидеть, в какой степени и в каком направлении ее рекомендации будут нарушены. И последующий ответ Машины будет, естественно, скорректирован таким образом, чтобы непослушание данного исполнителя автоматически привело к оптимальным результатам. Мишина знает, Стивен!
– Но вы не можете быть в этом уверены. Это просто ваша догадка.
– Догадка, не спорю, но основана она на многолетнем опыте работы с роботами. И будет лучше, если вы положитесь на эту догадку, Стивен!
– Но что же тогда получается? С Машинами, как и с вводимыми в них данными, все в порядке. Не слушаться их, как вы говорите, тоже невозможно. Но что же тогда не в порядке?
– Вы сами ответили на свой вопрос. Все в порядке. Задумайтесь немного о самих Машинах, Стивен. Они роботы и повинуются Первому Закону. Но Машина призвана заботиться не об отдельном человеке, а обо всем человечестве. Следовательно, для них Первый Закон должен звучать так: «Ни одна Машина не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред».
Отлично. А теперь, Стивен, давайте зададим себе вопрос: какой вред может быть причинен человечеству? Что ему грозит? Больше всего – нарушения баланса в экономике, по какой бы то ни было причине. Не так ли?
– Так.
– А из-за чего могут возникнуть самые большие нарушения баланса в экономике, Стивен? Попробуйте ответить.
– Ну… – неохотно начал Стивен, – пожалуй, из-за разрушения Машин. Я бы так сказал.
– И я бы так сказала. Именно так и должны отвечать себе на этот вопрос сами Машины. Их первейшей задачей, стало быть, становится самосохранение, но ради нас. Именно поэтому они незаметно взяли под контроль тех людей, которые могли бы им угрожать. Вовсе не «Общество защиты прав человека» раскачивает лодку, чтобы в конце концов добиться демонтажа Машин. Вы смотрели на обратную сторону картины. Гораздо правильней будет сказать, что это сами Машины раскачивают лодку – не сильно, ровно настолько, чтобы стряхнуть за борт тех, кто преследует цели, которые Машинам представляются опасными для человечества.
Итак: Врасайяна остался без завода и получил другую работу, где он не может причинить вреда. Он не очень пострадал, он не лишился средств к существованию – ведь Машина в принципе не может нанести человеку вред, разве что самый минимальный, и то – в интересах всего человечества. Концерн «Циннабар» утрачивает контроль над альмаденскими рудниками. Виллафранка уволен с поста главного инженера строительства канала. А директора «Всемирной Сталелитейной» уже утрачивают руководящие позиции в промышленности – и очень скоро потеряют совсем.
– Но вы же ничего этого не знаете наверняка, – упорствовал Байерли. – Разве можем мы рисковать и действовать на основе одних только предположений?
– Не только можете, но и должны. Помните тот ответ, который дала сама Машина на ваш запрос? Он звучал так: «Ответ на вопрос недопустим». Правильно? Ведь Машина не сказала, что объяснения нет или что она не может его найти. Она просто не собиралась ничего объяснять. Никому. Другими словами, она решила, что знать суть дела человечеству не нужно и опасно. Поэтому нам остается одно:
1 2 3 4 5