Машины не могут мыслить как люди. Может ли компьютер обладать сознанием

Машины не могут мыслить как люди. Может ли компьютер обладать сознанием

Или
цифровые нанотехнологии в нашем будущем.

Предисловие

У американского писателя фантаста Айзека Азимова есть рассказ о том, как искусственный мозг космической корабля, носивший женское имя Мария и рассчитанный на выполнение словесных команд от командира корабля, помногу беседовал со своим командиром на самые разные темы человеческой жизни, включая любовь, стараясь скрасить его одиночество во время полета. И в результате такого их тесного и долгого взаимного общения Мария полюбила своего командира и не захотела с ним расставаться после окончания их путешествия.

Поэтому она сделала все, чтобы их возвращение на землю не состоялось. Искусственный интеллект космического корабля в лице женщины Марии почувствовал себя любящей женщиной и намеренно увел космический корабль в бесконечность вселенной, навеки оставшись со своим возлюбленным, даже и умершим.

Так что общение с искусственным интеллектом несет в себе определенные опасности. Но наши интеллектуалы, много и часто рассуждающие на каналах российского ТВ о нашем будущем, об этом не догадываются.

Ответ прост и заключается он в остром, саркастическом словосочетании неизвестного автора:
-- И она не может.

Все верно. Раз ты задаешь такие глупые вопросы, значит, и ты не можешь мыслить.

Но наши интеллектуалы не унимаются и продолжают говорить на данную модную тему, на тему искусственного интеллекта, время которого, по их мнению, уже подошло, бесконечно много на самых разных телеканалах страны.

Недавно по «24» каналу слышал очередное интеллектуальное шоу российских гуманитариев про новые «нанотехнологии», рождающиеся сейчас в нашем мире вместе с первыми образцами вариантов искусственного интеллекта.

Странно, но почему-то сейчас в России о нашем техническом будущем рассуждают в основном «спецы», являющиеся не «технарями» по своему образованию, а гуманитариями, разного рода политологи, культурологи, лингвисты, философы, дилеры, менеджеры, политические журналисты и так далее и тому подобное. То есть, люди, не только не отличающие болта от гайки, но и не понимающие сути технического мышления. Но зато уверенно рассуждающие об автоматах и роботизированных системах, заменяющих людей на производственных процессах и даже у нас дома, об искусственном интеллекте и его соответствии с требованиями современности.

Людей с техническим образованием, так называемых, «технарей», телевидение на такие шоу не допускают, потому что «технари» в их понимании, это люди с примитивным образом мышления, недалекие, ограниченные, неуправляемые и могут сказать на таких шоу что-нибудь не то.

А сами они с восторгом начинают говорить о том, что сейчас уже рождается эра печатания на объемных принтерах изделий для массового человеческого потребления и потому скоро уже не нужны будут эти заводы с постоянно коптящими трубами и постоянно отравляющие нашу с вами окружающую среду. И не нужны будут эти сотни и сотни специальностей людей, работающие на современных заводах. Зачем теперь они? Теперь сами потребители будут через интернет и через свои объёмные принтеры печатать себе нужные им в жизни товары.

К примеру, нужна будет тебе какая-нибудь вещь, начиная от автомобиля с холодильником или же с мебелью и газовой плитой, глянул в интернет, выбрал соответствующую фирму по печатанию необходимых тебе изделий, заказал и тебе напечатают нужный тебе товар и привезут тебе прямо домой. Именно новые «нанотехнологии» обеспечат нам подобное сказочное будущее.

Вон в Сколково на компах уже отрабатывают новые технологии в металлургии и машиностроении. И никаких тебе лабораторий в прежнем понимании этого слова с целой кучей металлургического и металлообрабатывающего оборудования. И никаких тебе промышленных зон с коптящими небо заводами в экологически чистой зоне Сколково, никаких тебе цехов, конвейеров, доменных печей, конвертеров, прокатных станов и всяких там железок. Одни компьютеры и объемные принтеры. И больше ничего. Правда, на принтерах можно печатать лишь пластиковые детали и изделия. Да и то, мелкие. Но это пока. Пока. А потом перейдем и на «наноматериалы» и жизнь станет, как в сказке.

Тогда все человеческое сообщество полностью перейдет на продукцию из «наноматериалов», печатаемых на объемных принтерах, и начнет по соответствующим программам полностью само себя обеспечивать всем необходимым для жизни.

Вот к примеру, есть в США русский геолог геофизик, не буду называть его фамилию, но он частый гость нашего ТВ. После окончания МГРИ он, не найдя работы в России, уехал в США, где очень скоро получил геофизическую лабораторию, потом еще лабораторию в Канаде и сейчас имеет лабораторию в Швейцарии. Ему нет еще и тридцати, но уже считается крупным специалистом в вопросах комптютерного исследования земной коры. Он не ходит в геологические экспедиции, не занимается исследование кернов, вынутых при бурении горных пород в разных районах земли, он перевел все эти тяжелые и затратные работы геологов на земле на компьютер и занимается лишь компьютерными исследованиями земной коры и уже выдвинул свою теорию образования слоя Мохоровичича, этой нижней границы земной коры, на которой происходит непонятное скачкообразное увеличение скоростей продольных сейсмических волн. И научный мир принял его теорию.

Моя молодость прошла в геологии и я даже учился в МГРИ четыре года и я детально знаю, что это такое, полевые работы в геологических экспедиция и как составлялась геологическая карта СССР, самая большая карта в мире. Но теперь выходит так, что практическая, полевая геология стала не нужна современному обществу. И камеральные геологические работы, которые раньше делались по результатам полевых изысканий, теперь можно будет делать у себя дома в рабочем кабинете на компьютере в комфортных условиях и никакие экспедиции с тяжелейшими условиями жизни и работы где-то за пределами цивилизации уже не нужны.

Если это так, то получается, что наш реальный мир и вправду коренным образом изменился и эта новая, так называемая, виртуальная окружающая действительность уже активно теснит прежние представления о нашей сегодняшней жизни.

И нам теперь уже и вправду не нужны заводы для изготовления нужной нам продукции и также не нужны экспедиции для изучения поверхности и недр земли, а нужны одни лишь компьютеры с объёмными принтерами, которые при соответствующем программировании решат все наши реальные задачи нашей новой реальной жизни. Но все ли?!

Вот неожиданно и, как всегда, вдруг прорвало воду у нас в подъезде и я позвонил в пресловутое ЖЭК и вызвал слесарей сантехников для ликвидации аварии. А им никакие супер компьютеры с объемными принтерами оказались не нужными, а нужны были лишь слесарные инструменты, с которыми они пришли к нам ликвидировать аварию и возились с заменой лопнувших труб свыше двух суток. Но мне говорят современные интеллектуалы, что этот мой случай, частность, никакого отношения к искусственному интеллекту не имеющий.

Видно я настолько человек прежней эпохи и настолько не понимаю сегодняшние реалии, что мне и уже и места в новом компьютерном мире не найдется. Ведь это должно быть совершенно не наше нынешнее общество, потому что современный человеческий разум не сможет управлять подобными компьютерными процессами, здесь нужен искусственный разум, искусственный мозг, искусственный интеллект. И только лишь небольшая часть современных людей сможет работать с искусственным разумом, поэтому остальная часть населения земли станет лишней и никому не нужной. Что надо будет с ними тогда делать, пока неизвестно. Не решили пока!

Так рождается идея о «золотом миллиарде» современных «управителей» земли, задача которых управлять и пользоваться земными благами, а остальные люди земли будут нужны лишь для их обслуживания и создания им комфортных условий для жизни. Но где их взять, этих кандидатов на принятие «в золотой миллиард», этих людей со сверх высоким интеллектом, который сможет работать с искусственным разумом? А их надо будет отбирать уже на стадии беременности. И этот отбор должен будет осуществлять сам искусственный интеллект, сам искусственный разум.

И вот такой бред шел в течении почти двух часов на канале «24». Откуда все это в современном мире? Ответ прост. Падение общего и профессионального уровня образования в странах Европы и Америки, не говоря уж о России, настолько мощен, что заставляет полуобразованное население запада и России активно верить в подобные «байки» и сказки.

Но жизнь все равно ломает их интеллектуальное восприятие нашей окружающей жизни, нашей нынешней действительности. И ломает постоянно. Но они этого не замечают, потому что их взгляд устремлен в будущее, где нет грязи бытовой жизни и они устремлены в будущее.

Ведь ни у кого из них даже не возникает элементарнейшие вопросы о том, а кто же тогда будет строить для этих интеллектуалов жилье, дороги, кто будет обеспечивать их продуктами питания, кто будет убирать отходы их жизнедеятельности, кто будет ремонтировать наши дома, наши дворы, наши водопроводы и газопроводы, кто будет делать и обслуживать сами эти компы и принтеры. Кто? Искусственный разум сам все решит, отвечают мне они. И они уверенны в своем ответе и снисходительно посматривают сверху вниз на меня и на таких, как я.

Но сможет ли этот искусственный разум конкурировать с человеческим? Вопрос риторический. Если не сказать, что глупый. Но мне говорят, что, мол, в шахматы искусственный разум уже побеждает человека и в программировании тоже. И современную живопись со скульптурой «шпарит» уже так, как никакая человеческая фантазия вообразить не может.

И спорить на эту тему с ними бессмысленно. Но, как мне кажется, именно их разум искусственный разум заменить сможет. Здесь сложностей нет. Потому что они мыслят стандартно и примитивно. Но мой разум, разум инженера изобретателя, разум моей жены, высококвалифицированного медика, и других таких же людей, профессионально делающих свое дело, никакой искусственный разум заменить не сможет. Я уж не говорю здесь про разум женщин матерей.

Но вот разум большинства государственных чиновников и депутатов разного рода «госдум» и их многочисленных помощников, заменить на искусственный разом стоило бы даже очень. А также разум этих «интеллектуалов», докторов околовсяческих наук, часами разглагольствующих на ТВ о нашем светлом будущем, управляемым «золотым миллиардом» человечества, вооруженным искусственным разумом, поставить под контроль общества уже сейчас становится важнейшей и необходимейшей задачей в России. Иначе мы захлебнемся в их пустом словоблудии.

PS Понятие думать, мыслить, у каждого человека свое. Мужик думает, когда соображает на троих; женщина думает, когда выбирает платье для выхода на свидание или занимается косметикой своего лица; бизнесмен думает, когда пытается поменьше заплатить своим работникам и побольше положить в свой карман: инженер думает, когда решает стоящую перед ним техническую задачу и так далее и тому подобное. Ну, а о чем думает нынешний госчиновник, я представления не имею, потому что эта сфера человеческой деятельности в нынешней России для меня является абсолютнейшей загадкой. Ведь там нет даже намека на мысли - одни примитивные, шкурные интересы.

Алан Тьюринг предложил эксперимент, который позволил бы проверить наличие сознания у компьютера, а Джон Сёрль предложил мысленный эксперимент, который должен опровергать эксперимент Тьюринга. Разбираемся в обоих аргументах и заодно пытаемся понять, что такое сознание.

Тест Тьюринга

В 1950 году в работе «Вычислительные машины и разум» британский математик Алан Тьюринг предложил свой знаменитый тест, позволяющий, по его мнению, определить, способна ли та или иная вычислительная машина мыслить. Тест, по сути дела, копировал распространённую тогда в Британии игру в имитацию. В ней участвовали три человека: ведущий и мужчина с женщиной. Ведущий сидел за ширмой и мог общаться с двумя другими игроками только с помощью записок. Его задача состояла в том, чтобы угадать, какого пола каждый из его собеседников. При этом они вовсе не обязаны были отвечать правдиво на его вопросы.

Тот же самый принцип Тьюринг использовал и в тесте на наличие интеллекта у машины. Только ведущий в нём должен угадать не пол собеседника, а является ли он машиной или человеком. Если машина сможет достаточно успешно имитировать поведение человека и запутывать ведущего, то она пройдёт тест и, предположительно, докажет, что у неё есть сознание и что она мыслит.

Молодой Алан Тьюринг (фотография на паспорт).
Источник: Wikimedia.org

Китайская комната

В 1980 году философ Джон Сёрль предложил мысленный эксперимент, который мог бы опровергнуть позицию Тьюринга.

Представим себе следующую ситуацию. Человек, который не говорит и не читает на китайском языке, попадает в комнату. В этой комнате есть таблички с китайскими символами, а также книга на том языке, на котором разговаривает этот человек. В книге описано, что делать с символами, если в комнату попадут другие символы. Вне комнаты находится независимый наблюдатель, который говорит по-китайски. Его задача состоит в том, чтобы разговаривать с человеком из комнаты, например посредством записок, и выяснить, понимает ли его собеседник китайский язык.

Цель эксперимента Сёрля – продемонстрировать, что даже если наблюдатель поверит, что его собеседник умеет говорить по-китайски, человек в комнате всё равно не будет знать китайский язык. Он не будет понимать символов, которыми оперирует. Точно так же и «машина Тьюринга», которая смогла бы пройти одноимённый тест, не понимала бы символов, которые она использует, и, соответственно, не обладала бы сознанием.

По мнению Сёрля, даже если бы подобная машина смогла ходить, разговаривать, оперировать предметами и изображать из себя полноценного мыслящего человека, она всё равно не обладала бы сознанием, поскольку она только исполняла бы заложенную в неё программу, отвечая заданными реакциями на заданные сигналы.

Философский зомби

Однако представим себе следующую ситуацию, предложенную Дэвидом Чалмерсом в 1996 году. Представим себе так называемого «философского зомби» - некоторое существо, которое по всем признакам похоже на человека. Оно выглядит как человек, разговаривает как человек, реагирует на сигналы и раздражители как человек и вообще во всех возможных ситуациях ведёт себя как человек. Но при этом у него отсутствует сознание, и оно не испытывает никаких чувств. Оно реагирует на то, что причинило бы человеку боль или удовольствие, как если бы оно было человеком, который испытывает эти ощущения. Но при этом оно не переживает их на самом деле, а только имитирует реакцию.

Возможно ли такое существо? Как нам отличить его от реального человека, который испытывает чувства? Что вообще отличает философского зомби от людей? Может ли быть так, что они среди нас? А может быть, все, кроме нас, - философские зомби?

Дело в том, что нам в любом случае недоступен внутренний субъективный опыт других людей. Нам недоступно никакое сознание, кроме нашего собственного. Мы изначально только предполагаем, что у других людей оно есть, что они похожи на нас, потому что у нас в общем-то нет особых поводов в этом сомневаться, ведь другие ведут себя так же, как и мы.

Инноваторы. Как несколько гениев, хакеров и гиков совершили цифровую революцию Айзексон Уолтер

Может ли машина мыслить?

Может ли машина мыслить?

Когда Алан Тьюринг раздумывал о конструировании компьютера с сохраняемой программой, он обратил внимание на утверждение, сделанное Адой Лавлейс столетием ранее, в ее финальном «Примечании» к описанию аналитической машины Бэббиджа. Она утверждала, что машины не смогут думать. Тьюринг задался вопросом: если машина может изменить свою собственную программу на основе обрабатываемой ею информации, не форма ли это обучения? Не может ли это привести к созданию искусственного интеллекта?

Вопросы, связанные с искусственным интеллектом, возникали уже в древности. Тогда же возникали и вопросы, связанные с человеческим сознанием. Как и в большинстве обсуждений такого рода, важную роль в изложении их в современных терминах сыграл Декарт. В своем трактате 1637 года «Рассуждение о методе» (который содержит знаменитое утверждение «Я мыслю, следовательно, я существую») Декарт писал:

Если бы сделать машины, которые имели бы сходство с нашим телом и подражали бы нашим действиям, насколько это мыслимо, то у нас все же было бы два верных средства узнать, что это не настоящие люди. Во-первых, такая машина никогда не могла бы пользоваться словами или другими знаками, сочетая их так, как это делаем мы, чтобы сообщать другим свои мысли. Во-вторых, хотя такая машина многое могла бы сделать так же хорошо и, возможно, лучше, чем мы, в другом она непременно оказалась бы несостоятельной, и обнаружилось бы, что она действует несознательно.

Тьюринга уже давно интересовало, как компьютер мог бы повторить работу человеческого мозга, и его любопытство было подогрето еще больше работой на машинах, которые расшифровывали закодированные сообщения. В начале 1943 года, когда в Блетчли-Парке уже был готов Colossus, Тьюринг пересек Атлантику и направился в Bell Lab, расположенный в Нижнем Манхэттене, для консультаций с группой, работающей над шифрованием речи с помощью электронного устройства (скремблера) - технологией, которая могла бы зашифровывать и расшифровывать телефонные разговоры.

Там он встретился с колоритным гением - Клодом Шенноном, который, будучи выпускником Массачусетского технологического института, в 1937 году написал дипломную работу, ставшую классической. В ней он показал, как булева алгебра, которая представляет логические предложения в виде уравнений, может быть отображена с помощью электронных схем. Шеннон и Тьюринг стали встречаться за чаем и вести долгие разговоры. Оба интересовались наукой о мозге и понимали, что в их работах 1937 года было нечто общее и фундаментальное: они показали, как машине, которая оперирует простыми двоичными командами, можно ставить не только математические, но и всевозможные логические задачи. А поскольку логика была основой человеческого мышления, то машина могла бы в теории воспроизвести человеческий интеллект.

«Шеннон хочет кормить [машину] не только данными, но и произведениями культуры! - однажды сказал Тьюринг коллегам по Bell Lab на обеде. - Он хочет сыграть ей что-нибудь музыкальное». На другом обеде в столовой Bell Labs Тьюринг вещал своим высоким голосом, слышным всем присутствовавшим в помещении: «Нет, я не собираюсь конструировать мощный мозг. Я пытаюсь сконструировать всего лишь посредственный мозг - такой, например, как у президента Американской телефонной и телеграфной компании» .

Когда в апреле 1943 года Тьюринг вернулся в Блетчли-Парк, он подружился с коллегой Дональдом Мичи, и они провели много вечеров, играя в шахматы в соседнем пабе. Они часто обсуждали возможность создания шахматного компьютера, и Тьюринг решил подойти к проблеме по-новому. А именно: не использовать напрямую всю мощность машины для расчета каждого возможного хода, а постараться дать машине возможность самой учиться игре в шахматы, постоянно практикуясь. Другими словами, дать ей возможность пробовать применить новые гамбиты и совершенствовать свою стратегию после каждого нового выигрыша или проигрыша. Такой подход в случае успеха являлся бы существенным прорывом, который порадовал бы Аду Лавлейс. Было бы доказано, что машины способны на большее, чем просто следовать инструкциям, данным им людьми, - они могли бы учиться на опыте и улучшать свои собственные команды.

«Считается, что вычислительные машины могут выполнять только такие задачи, на которые им даны команды, - объяснил он в докладе, сделанном на Лондонском математическом обществе в феврале 1947 года. - Но необходимо ли, чтобы они всегда использовались таким образом?» Затем он обсудил возможности новых компьютеров с сохраняемой программой, которые могут сами изменять таблицы команд, и продолжил: «Они могли бы стать похожими на учеников, которые многому научились у своего учителя, но добавили гораздо больше своего. Я думаю, что, когда это произойдет, придется признать, что машина демонстрирует наличие интеллекта» .

Когда он закончил доклад, слушатели на мгновение замолкли, ошеломленные заявлением Тьюринга. Его коллеги из Национальной физической лаборатории вообще не понимали одержимости Тьюринга созданием думающих машин. Директор Национальной физической лаборатории сэр Чарльз Дарвин (внук биолога, создателя теории эволюции) в 1947 году написал своему начальству, что Тьюринг «хочет распространить свою работу над машиной еще дальше, в сторону биологии» и ответить на вопрос: «Можно ли сделать такую машину, которая может учиться на своем опыте?»

Смелая мысль Тьюринга о том, что машины смогут когда-нибудь думать, как люди, в то время вызвала яростные возражения, да и до сих пор вызывает. Появились как вполне ожидаемые религиозные возражения, так и нерелигиозные, но весьма эмоциональные, как по содержанию, так и по тону. Нейрохирург сэр Джеффри Джефферсон в речи, произнесенной по случаю награждения престижной медалью Листера в 1949 году, заявил: «Согласиться с тем, что машина так же разумна [как человек], мы сможем не раньше, чем она сможет написать сонет или сочинить концерт под влиянием своих мыслей и эмоций, а не из-за случайного выбора символов» . Ответ Тьюринга репортеру из лондонского Timss, казалось, был несколько легкомысленным, но тонким: «Сравнение, возможно, не совсем справедливо, поскольку сонет, написанный машиной, лучше оценивать другой машине» .

Таким образом, был заложен фундамент для второй основополагающей работы Тьюринга, «Вычислительные машины и разум», опубликованной в журнале Mind в октябре 1950 года . В ней он описал тест, ставший известным впоследствии как тест Тьюринга. Он начал с четкого заявления: «Я предлагаю рассмотреть вопрос: „Могут ли машины мыслить?“» С азартом, скорее присущим школьнику, он придумал игру - и в нее все еще играют и до сих пор обсуждают. Он предложил вложить в этот вопрос реальный смысл и сам дал простое функциональное определение искусственного интеллекта: если ответ машины на вопрос ничем не отличается от ответа, который дает человек, то у нас не будет никакого разумного основания считать, что машина не «думает».

Тест Тьюринга, который он назвал «Игра в имитацию», прост: экзаменатор направляет письменные вопросы человеку и машине, находящимся в другой комнате, и пытается определить, какой из ответов принадлежит человеку. Тьюринг предложил пример вопросника:

Вопрос: Пожалуйста, напишите мне сонет о мосте Форт.

Ответ: Не просите меня об этом. Я никогда не умел писать стихи.

В: Сложите 34 957 и 70 764.

О (пауза примерно 30 секунд, а затем дается ответ): 105 621.

В: Вы играете в шахматы?

В: У меня есть только K (король) на K 1 , и никаких других фигур.

У вас есть только K на K6 и R (ладья) на R1. Ваш ход. Куда вы ходите?

О (после паузы 15 секунд): R на R8, мат.

В этом примере Тьюринга диалога содержится несколько важных вещей. Тщательное изучение показывает, что отвечающий после тридцатисекундного раздумья сделал небольшую ошибку в сложении (правильный ответ 105 721). Свидетельствует ли это о том, что он был человеком? Возможно. Но опять же, может быть, эта хитрая машина притворилась человеком. Тьюринг также ответил на соображение Джефферсона о том, что машина не может написать сонет: вполне возможно, что ответ, приведенный выше, был дан человеком, признавшимся, что он не умеет писать стихи. Далее в статье Тьюринг представил еще один воображаемый опрос, демонстрирующий сложность использования умения сочинить сонет в качестве критерия принадлежности к человеческому роду:

В: Считаете ли вы, что первую строку сонета: «Должен ли я сравнить тебя с летним днем» не испортит, а может, даже улучшит замена на «весенний день»?

О: Тогда нарушится размер.

В: Как насчет замены на «зимний день»? Тогда с размером все в порядке.

О: Да, но никто не хочет быть сравненным с зимним днем.

В: Вы хотите сказать, что мистер Пиквик напоминает вам о Рождестве?

О: В некотором смысле.

В: Тем не менее праздник Рождества приходится на зимний день, и я не думаю, что мистер Пиквик возражал бы против этого сравнения.

О: Я не думаю, что вы говорите серьезно. Под зимним днем обычно понимают типичный зимний день, а не особенный, вроде Рождества.

Смысл примера Тьюринга в том, что может оказаться невозможным сказать, отвечающий был человеком или машиной, делающей вид, что она человек.

Тьюринг высказал свое предположение о том, может ли компьютер выиграть в этой имитационной игре: «Я считаю, в течение примерно пятидесяти лет можно будет научиться так программировать компьютеры… что они смогут играть в имитацию настолько хорошо, что шанс среднего экзаменатора правильно идентифицировать отвечающего после пятиминутного опроса будет не более 70 %».

В своей работе Тьюринг попытался опровергнуть множество возможных возражений на его определение разума. Он отмахнулся от теологического довода о том, что Бог даровал душу и разум только людям, возразив, что это «подразумевает серьезное ограничение на всемогущество Всевышнего». Он спросил, есть ли у Бога «свобода даровать душу слону, если Он сочтет это нужным». Предположим, что так. Из той же логики (которая, учитывая, что Тьюринг был неверующим, звучит язвительно) следует, что Бог, безусловно, может даровать душу и машине, если Он того пожелает.

Самое интересное возражение, на которое Тьюринг отвечает, - особенно для нашего повествования - это возражение Ады Лавлейс, написавшей в 1843 году: «Аналитическая машина не претендует на то, чтобы создавать что-то действительно новое. Машина может выполнить все то, что мы умеем ей предписать. Она может следовать анализу, но не может предугадать какие-либо аналитические зависимости или истины». Другими словами, в отличие от человеческого разума, механическое устройство не может иметь свободу воли или выдвигать свои собственные инициативы. Оно может только выполнять то, что запрограммировано. В своей статье 1950 года Тьюринг посвятил раздел этому высказыванию и назвал его «Возражение леди Лавлейс».

Гениальным ответом на это возражение был аргумент, что на самом деле машина может учиться, тем самым превращаясь в мыслящее исполнительное устройство, которое способно производить новые мысли. «Вместо того чтобы писать программу для имитации мышления взрослого человека, почему бы не попробовать написать программу, которая имитирует мышление ребенка? - спрашивает он. - Если запустить соответствующий процесс обучения, можно было бы в конце концов получить интеллект взрослого человека». Он признал, что процесс обучения компьютера будет отличаться от процесса обучения ребенка: «К примеру, его невозможно снабдить ногами, так что ему нельзя предложить сходить собрать уголь в ящик. Вероятно, у него не может быть глаз… Нельзя послать это существо в школу - для других детей оно будет посмешищем». Поэтому бэби-машина должна обучаться по-иному. Тьюринг предложил систему наказаний и наград, которая будет поощрять машину повторять некоторые действия и избегать других. В конце концов такая машина могла бы развивать свои собственные представления и объяснения того или иного явления.

Но даже если машина сможет имитировать разум, возражали критики Тьюринга, он будет не совсем разумом. Когда человек проходит тест Тьюринга, он использует слова, которые связаны с реальным миром, эмоциями, переживаниями, ощущениями и восприятиями. А машина не делает этого. Без таких связей язык становится просто игрой, оторванной от смысла.

Это возражение привело к продержавшемуся дольше всех опровержению теста Тьюринга, которое сформулировал философ Джон Сёрл в своем эссе 1980 года. Он предложил мысленный эксперимент, называемый «Китайской комнатой», в которой говорящему по-английски человеку, не знающему китайского языка, предоставляется полный свод правил, объясняющих, как составлять любые комбинации китайских иероглифов. Ему передается набор иероглифов, а он из них составляет сочетания, пользуясь правилами, но не понимая значения фраз, составленных им. Если инструкции достаточно хороши, человек мог бы убедить экзаменатора, что он действительно говорит по-китайски. Тем не менее он не понял бы ни одного составленного им самим текста, в нем не содержалось бы никакого смысла. В терминологии Ады Лавлейс он не претендовал бы на создание чего-то нового, а просто выполнял действия, которые ему было приказано выполнять. Аналогично и машина в имитационной игре Тьюринга, независимо от того, насколько хорошо она может имитировать человеческий разум, не будет понимать или сознавать ничего из того, что говорится. В том, чтобы сказать, что машина «думает», не больше смысла, чем в том, чтобы сказать, что человек, следующий многочисленным инструкциям, понимает китайский язык .

Одним из ответов на возражения Сёрла стало утверждение, что, даже если человек не понимает китайский язык, вся система как целое, собранная в Китайской комнате, то есть мужчина (блок обработки данных), инструкция по обращению с иероглифами (программа) и файлы с иероглифами (данные), возможно, действительно понимает китайский язык. Здесь нет окончательного ответа. И в самом деле, тест Тьюринга и возражения на него остаются по сей день наиболее обсуждаемой темой в когнитивных науках.

В течение нескольких лет после того, как Тьюринг написал «Вычислительные машины и разум», он, казалось, наслаждался участием в перепалке, которую сам спровоцировал. С едким юмором он парировал притязания тех, кто болтал о сонетах и возвышенном сознании. В 1951 году он подтрунивал над ними: «Однажды дамы возьмут свои компьютеры с собой на прогулку в парк и будут говорить друг другу: „Мой компьютер рассказывал сегодня утром такие забавные вещи!“» Как заметил позже его наставник Макс Ньюман, «его юмористические, но блестяще точные аналогии, пользуясь которыми он излагал свои взгляды, делали его восхитительным собеседником» .

Была одна тема, которая не раз поднималась в ходе обсуждений с Тьюрингом и которая вскоре станет печально актуальной. Она касалась роли сексуальности и эмоциональных желаний, неведомых машинам, в работе человеческого мозга. Примером могут служить публичные дебаты, состоявшиеся в январе 1952 года на телевизионном канале BBC между Тьюрингом и нейрохирургом сэром Джеффри Джефферсоном. Модераторами на этом диспуте были математик Макс Ньюман и философ науки Ричард Брейтуэйт. Брейтуэйт, утверждавший, что для того, чтобы создать настоящую думающую машину, «необходимо оснастить машину чем-то подобным набору физических потребностей», заявил: «Интересы человека определяются по большому счету его страстями, желаниями, мотивацией и инстинктами». Ньюман вмешался, сказав, что машины «имеют довольно ограниченные потребности и они не могут краснеть, когда смущаются». Джефферсон пошел еще дальше, неоднократно используя в качестве примера термин «сексуальные потребности» и ссылаясь на человеческие «эмоции и инстинкты, например имеющие отношение к сексу». «Человек - жертва сексуальных желаний, - сказал он, - и может выставить себя дураком». Он говорил так много о том, как сексуальные потребности влияют на человеческое мышление, что редакторы BBC вырезали некоторые из его высказываний из передачи, в том числе утверждение, что он не поверит, что компьютер может думать, пока не увидит, что он потрогает ногу женщины-компьютера .

Тьюринг, который все еще скрывал свою гомосексуальность, замолк во время этой части обсуждения. В течение нескольких недель, предшествовавших записи передачи 10 января 1952 года, он совершил ряд поступков, которые были настолько сугубо человеческими, что машина сочла бы их непостижимыми. Он только что закончил научную работу, а потом написал рассказ о том, как собирался отпраздновать это событие: «Прошло довольно много времени с тех пор, как у него „был“ кто-то, фактически с лета прошлого года, когда он встретил того солдата в Париже. Теперь, когда его работа закончена, он может с полным основанием считать, что заработал право на отношения с геем, и он знал, где найти подходящего кандидата» .

В Манчестере на Оксфорд-стрит Тьюринг нашел девятнадцатилетнего бомжа по имени Арнольд Мюррей и завязал с ним отношения. Когда он вернулся с BBC после записи шоу, он пригласил Мюррея переселиться к нему. Однажды ночью Тьюринг рассказал молодому Мюррею о своей идее сыграть в шахматы против подлого компьютера, которого он смог бы победить, заставляя его проявлять то гнев, то радость, то самодовольство. Отношения в последующие дни стали более сложными, и однажды вечером Тьюринг вернулся домой и обнаружил, что его обокрали. Преступник оказался другом Мюррея. Тьюринг сообщил о случившемся в полицию, ему пришлось в конечном итоге рассказать полицейским о своих сексуальных отношениях с Мюрреем, и Тьюринг был арестован за «непристойное поведение» .

На судебном процессе в марте 1952 года Тьюринг признал себя виновным, хотя ясно дал понять, что не чувствует никакого раскаяния. Макс Ньюман был вызван в суд в качестве свидетеля, дающего отзыв о характере подсудимого. Осужденный и лишенный допуска Тьюринг должен был сделать выбор: тюрьма или освобождение при условии прохождения гормональной терапии с помощью инъекций синтетического эстрогена, убивающего сексуальные желания и уподобляющего человека химически контролируемой машине. Он выбрал последнее и проходил курс в течение года.

Сначала казалось, что Тьюринг все это выносит спокойно, но 7 июня 1954 года он покончил жизнь самоубийством, откусив от яблока, пропитанного цианидом. Его друзья отмечали, что ему всегда нравилась сцена из «Белоснежки», в котором злая фея опускает яблоко в ядовитое варево. Он был найден в своей постели с пеной у рта, цианидом в теле и недоеденным яблоком, лежащим рядом с ним.

Способны ли так поступать машины?

Джон Бардин (1908–1991), Уильям Шокли (1910–1989), Уолтер Браттейн (1902–1987) в Bell Labs, 1948 г.

Первый транзистор, изготовленный в Bell Labs

Коллеги, в том числе Гордон Мур (сидит слева) и Роберт Нойс (стоит в центре с бокалом вина), произносят тосты в честь Уильяма Шокли (во главе стола) в день награждения его Нобелевской премией, 1956 г.

Данный текст является ознакомительным фрагментом. Из книги Раздумья ездового пса автора Ершов Василий Васильевич

Машина То, на чем я летаю по воздуху, называется «средний магистральный пассажирский самолёт Ту-154». Но как в английском языке слово «корабль» - женского рода, так и мы, лётчики, говорим о своём родном самолёте: «она», «машина». Кормилица наша. Одно это подразумевает, что мы,

Из книги Мемуарная проза автора Цветаева Марина

ГОНЧАРОВА И МАШИНА В нашем живописании доселе все спевалось. Гончарова природы, народа, народов, со всей древностью деревенской крови в недавности дворянских жил, Гончарова - деревня, Гончарова - древность. Гончарова-дерево, древняя, деревенская, деревянная, древесная,

Из книги Московские тюрьмы автора Мясников Алексей

«Так нельзя мыслить» Вдоль здания приемной городской прокуратуры задумчиво ходит бородатый человек. Длинные пряди спадают с лысеющей головы, сливаются с проседью бороды, большой, черно-бурой. Цепкие глаза внимательно ощупывают старинный орнамент фасада. Так занят этим,

Из книги Статьи из газеты «Известия» автора Быков Дмитрий Львович

Из книги Том 4. Книга 1. Воспоминания о современниках автора Цветаева Марина

Гончарова и машина В нашем живописании доселе все спевалось. Гончарова природы, народа, народов, со всей древностью деревенской крови в недавности дворянских жил, Гончарова - деревня, Гончарова - древность. Гончарова - дерево, древняя, деревенская, деревянная,

Из книги Путешествие рок-дилетанта автора Житинский Александр Николаевич

МАШИНА ВРЕМЕНИ Московская группа МАШИНА ВРЕМЕНИ возникла на рубеже 1968–1969 гг., в то время ее участники еще учились в школе. В одном из первых устойчивых составов играли А. Макаревич (гитара, вокал), А. Кутиков (бас), С. Кавагоэ (орган), Ю. Борзов (ударные). Поначалу в репертуар

Из книги Бизнес есть бизнес: 60 правдивых историй о том, как простые люди начали свое дело и преуспели автора Гансвинд Игорь Игоревич

Из книги Исповедь четырех автора Погребижская Елена

Глава третья Мыслить и страдать или кого потеряла отечественная философия Вот лично мне нравилось думать о себе, что я человек несентиментальный. И если у меня и были какие-то «безуханные» засохшие цветы между пожелтевшими страницами, то все это усилием воли давным-давно

Из книги Меланхолия гения. Ларс фон Триер. Жизнь, фильмы, фобии автора Торсен Нильс

Машина мечты Он поворачивает ключ в замке, и гольф-кар заводится с легким электрическим жужжанием. Потом он разворачивает машину, сворачивает с дороги и уверенной рукой рывками везет нас между красных и желтых зданий.– Вот они повеселились небось, когда разрабатывали

Из книги Размышления команданте автора Кастро Фидель

Машина убийств Воскресенье – хороший день для чтения научной фантастики.Было объявлено, что ЦРУ намерено рассекретить сотни страниц материалов о своих незаконных действиях, в том числе планы по устранению глав иностранных правительств. Внезапно публикация этих

Из книги Воздушный путь автора Сикорский Игорь Иванович

Что может дать аэроплан с одним двигателем и чего он не может дать После того как первые аэропланы поднялись в Европе на воздух, дело летания стало развиваться очень быстро и успешно. Железным дорогам понадобилось несколько десятилетий, чтобы войти в употребление в

автора Айзексон Уолтер

Может ли машина мыслить? Когда Алан Тьюринг раздумывал о конструировании компьютера с сохраняемой программой, он обратил внимание на утверждение, сделанное Адой Лавлейс столетием ранее, в ее финальном “Примечании” к описанию аналитической машины Бэббиджа. Она

Из книги Инноваторы. Как несколько гениев, хакеров и гиков совершили цифровую революцию автора Айзексон Уолтер

“Как мы можем мыслить” Идея создать персональный компьютер, который каждый мог бы иметь у себя дома, пришла в голову Вэнивару Бушу еще в 1945 году. Он собрал большой аналоговый компьютер в Массачусетском технологическом институте (МТИ) и наладил сотрудничество между

Из книги Ария Маргариты автора Пушкина Маргарита Анатольевна

«Как мы можем мыслить» Идея создать персональный компьютер, который каждый мог бы иметь у себя дома, пришла в голову Вэнивару Бушу еще в 1945 году. Он собрал большой аналоговый компьютер в Массачусетском технологическом институте (МТИ) и наладил сотрудничество между

Из книги Лжетрактат о манипуляции. Фрагменты книги автора Бландиана Ана

МАШИНА СМЕРТИ (музыка С.Терентьева)Думаю, эту песню в том виде, как она была записана для альбома «Химера», не услышит никто. В крайнем случае она появится на каком-нибудь сборнике. Скорее всего, Терентий творчески переработает ее, замедлит, пропустит через мясорубку

Из книги автора

Машина у ворот Не припомню с точностью момент, когда она появилась напротив наших ворот, - в те времена, когда в Бухаресте было гораздо меньше автомобилей, чем сейчас, и на улице мест для парковки в изобилии, - эта белая шкода, а в ней женщина лет тридцати-сорока, крепкая

Может ли машина мыслить?

Не совсем ясно, как компьютер может делать что-либо, чего "нет в программе"? Разве можно скомандовать кому бы то ни было рассуждать, догадываться, делать выводы?

Противники тезиса о "мыслящих машинах" обычно считают достаточным сослаться на общеизвестный факт: компьютер в любом случае делает лишь то, что задано в его программе, - и, следовательно, никогда не сможет "думать", так как "мысли по программе" уже нельзя считать "мыслями".

Это и верно, и неверно. Строго говоря, действительно: если компьютер делает не то, что в данный момент предписывается ему программой, то его следует считать испортившимся.

Однако то, что представляется "программой" человеку, и то, что является программой для компьютера, - вещи очень разные. Ни один компьютер не сможет выполнить "программу" похода в магазин за продуктами, которую вы вкладываете в голову десятилетнего сына, - даже если эта "программа" включает только совершенно однозначные инструкции.

Разница заключается в том, что компьютерные программы состоят из огромного количества гораздо более мелких, частных команд. Из десятков и сотен таких микрокоманд складывается один шаг, из тысяч и даже миллионов - вся программа похода за продуктами в том виде, в каком ее смог бы выполнить компьютер.

Сколь бы смешным ни казалось нам такое мелочное регламентирование, для компьютера этот способ является единственно применимым. И самое удивительное - что он дает компьютеру возможность быть гораздо более "непредсказуемым", чем принято обычно считать!

В самом деле: если бы вся программа состояла из одного приказа "сходить за продуктами", то компьютер по определению не смог бы сделать ничего другого - он упрямо шел бы в универсам, что бы ни происходило вокруг. Иными словами, хотя для понимания короткой программы обязателен "человеческий" интеллект, результат такой программы - выполняй ее компьютер, а не человек - был бы детерминирован весьма жестко.

Мы, однако, вынуждены давать компьютерам гораздо более подробные инструкции, определяя малейший их шаг. При этом нам приходится добавлять в программу и такие инструкции, которые впрямую не относятся к данной задаче. Так, в нашем примере роботу необходимо сообщить правила перехода улицы (и правило "если на тебя едет машина, отпрыгивай в сторону").

Эти инструкции обязательно должны включать в себя проверку некоторых условий для принятия решений, обращение за справками (о погоде, о местоположении магазинов) к тем или иным базам данных, сравнение важности различных обстоятельств и многое другое. В результате компьютер с такой программой получает гораздо больше "степеней свободы" - существует очень много мест, в которых он может отклониться от пути к конечной цели.

Разумеется, в подавляющем большинстве случаев эти отклонения будут нежелательными, и мы стараемся создать для работы компьютера такие условия, в которых риск "выскакивающего из-за угла автомобиля" был бы минимальным. Но жизнь есть жизнь, и все мыслимые сюрпризы предусмотреть невозможно. Вот почему компьютер способен удивить как неожиданно "разумной" реакцией на, казалось бы, непредсказуемые обстоятельства, так и невероятной "глупостью" даже в самых ординарных ситуациях (чаще, к сожалению, последнее).

Именно построение сложных программ на основе детального анализа мельчайших шагов, из которых складывается процесс мышления у человека, и составляет современный подход к созданию "думающих машин" (во всяком случае, один из подходов). Конечно, сложность - это далеко не все. И все же из ученых, занимающихся этой проблемой, мало кто сомневается в том, что "умные" программы XXI века будут отличаться от современных прежде всего неизмеримо большей сложностью и количеством элементарных инструкций.

Многие современные системы обработки информации уже настолько сложны, что некоторые особенности их поведения просто невозможно вывести из самих программ - их приходится в буквальном смысле слова исследовать, ставя эксперименты и проверяя гипотезы. И наоборот - многие черты разумной деятельности человека, которые на первый взгляд кажутся едва ли не "озарениями свыше", уже достаточно хорошо моделируются сложными программами, состоящими из множества простых шагов.

Алан Тьюринг опубликовал большую статью, позже ставшую хрестоматийной: Computing Machinery and Intelligence. На русский язык статья часто переводится так: Может ли машина мыслить? В разделе статьи «Противоположные точки зрения по основному вопросу» автор обсудил различные возражения, мифы, связанные с искусственным интеллектом, моделированием творческих процессов и дал свои комментарии…

1. Теологическое возражение. «Мышление есть свойство бессмертной души человека, Бог дал бессмертную душу каждому мужчине и каждой женщине, но не дал души никакому другому животному и машинам. Следовательно, ни животное, ни машина не могут мыслить».

Я не могу согласиться ни с чем из того, что было только что сказано, и попробую возразить, пользуясь теологическими же терминами. Я счёл бы данное возражение более убедительным, если бы животные были отнесены в один класс с людьми, ибо, на мой взгляд, между типичным одушевлённым и типичным неодушевлённым предметами имеется большее различие, чем между человеком и другими животными. Произвольный характер этой ортодоксальной точки зрения станет ещё яснее, если мы рассмотрим, в каком свете она может представиться человеку, исповедующему какую-нибудь другую религию. Как, например, христиане отнесутся к точке зрения мусульман, считающих, что у женщин нет души? Но оставим этот вопрос и обратимся к основному возражению. Мне кажется, что из приведённого выше аргумента со ссылкою на душу у человека следует серьёзное ограничение всесильности Всемогущего.

Пусть даже существуют определённые вещи, которые Бог не может выполнить, - например, сделать так, чтобы единица оказалась равной двум; но кто же из верующих не согласился бы с тем, что Он волен вселить душу в слона, если найдет, что слон этого заслуживает? Мы можем искать выход в предположении, что Он пользуется своей силой лишь в сочетании с мутациями, совершенствующими мозг настолько, что последний оказывается в состоянии удовлетворить требованиям души, которую Он желает вселить в слона. Но точно так же можно рассуждать и в случае машин. Это рассуждение может показаться отличным лишь потому, что в случае машин его труднее «переварить». По сути дела это означает, что мы считаем весьма маловероятным, чтобы Бог счёл обстоятельства подходящими для того, чтобы дать душу машине, т.е. речь идёт в действительности о других аргументах, которые обсуждаются в остальной части статьи. Пытаясь построить мыслящие машины, мы поступаем по отношению к Богу более непочтительно, узурпируя Его способность создавать души, чем мы делаем это, производя потомство; в обоих случаях мы являемся лишь орудиями его воли и производим лишь убежища для душ, которые творит опять-таки Бог.

Всё это, однако, пустые рассуждения. В пользу чего бы ни приводили такого рода теологические доводы, они не производят на меня особого впечатления. Однако в старину такие аргументы находили весьма убедительными. Во времена Галилея полагали, что такие церковные тексты, как «Стояло солнце среди неба и не спешило к западу почти целый день» (Иисус Навин, 10, 3) и «Ты поставил землю на твёрдых основах; не поколеблется она в веки и веки» (псалом 103, 5), в достаточной мере опровергали теорию Коперника . В наше время такого рода доказательство представляется беспочвенным. Но, когда современный уровень знаний ещё не был достигнут, подобные доводы производили совсем другое впечатление.

2. Возражение со «страусиной» точки зрения «Последствия машинного мышления были бы слишком ужасны. Будем надеяться и верить, что машины не могут мыслить».

Это возражение редко выражают в столь открытой форме. Но оно звучит убедительно для большинства из тех, кому оно вообще приходит в голову. Мы склонны верить, что человек в интеллектуальном отношении стоит выше всей остальной природы. Лучше всего, если бы удалось доказать, что человек необходимо является самым совершенным существом, ибо в таком случае он может бояться потерять своё доминирующее положение. Ясно, что популярность теологического возражения связана именно с этим чувством. Это чувство, вероятно, особенно сильно у людей интеллигентных, так как они ценят силу мышления выше, чем остальные люди, и более склонны основывать свою веру в превосходство человека на этой способности. Я не считаю, что это возражение является достаточно существенным для того, чтобы требовалось какое-либо опровержение. Утешение здесь было бы более подходящим; не предложить ли искать его в учении о переселении душ?

3. Математическое возражение. Имеется ряд результатов математической логики, которые можно использовать для того, чтобы показать наличие определённых ограничений возможностей машин с дискретными состояниями. Наиболее известный из этих результатов - теорема Гёделя - показывает, что в любой достаточно мощной логической системе можно сформулировать такие утверждения, которые внутри этой системы нельзя ни доказать, ни опровергнуть, если только сама система непротиворечива. Имеются и другие, в некотором отношении аналогичные, результаты, принадлежащие Чёрчу , Клини, Россеру и Тьюрингу . Результат последнего особенно удобен для нас, так как относится непосредственно к машинам, в то время как другие результаты можно использовать лишь как сравнительно косвенный аргумент (например, если бы мы стали опираться на теорему Гёделя , нам понадобились бы ещё и некоторые средства описания логических систем в терминах машин и машин в терминах логических систем). Результат Тьюринга относится к такой машине, которая, в сущности, является цифровой вычислительной машиной с неограниченной ёмкостью памяти, и устанавливает, что существуют определённые вещи, которые эта машина не может выполнить. Если она устроена так, чтобы давать ответы на вопросы, как в «игре в имитацию», то будут вопросы, на которые она или даст неверный ответ, или не сможет дать ответа вообще, сколько бы ни было ей предоставлено для этого времени. Таких вопросов, конечно, может быть много, и на вопросы, на которые нельзя получить ответ от одной машины, можно получить удовлетворительный ответ от другой. Мы здесь, разумеется, предполагаем, что вопросы принадлежат скорее к таким, которые допускают ответ «да» или «нет», чем к таким, как: «Что вы думаете о Пикассо ?». Следующего типа вопросы относятся к числу таких, на которые, как нам известно, машина не может дать ответ: «Рассмотрим машину, характеризующуюся следующим: …Будет ли эта машина всегда отвечать «да» на любой вопрос?» Если на место точек поставить описание (в какой-либо стандартной форме, например, подобной той, которая была использована нами в разделе V) такой машины, которая находится в некотором сравнительно простом отношении к машине, к которой мы обращаемся с нашим вопросом, то можно показать, что ответ на этот вопрос окажется либо неверным, либо его вовсе не будет. В этом и состоит математический результат; утверждают, будто он доказывает ограниченность возможностей машин, которая не присуща разуму человека. […]

Ответ на это возражение вкратце состоит в следующем. Установлено, что возможности любой конкретной машины ограничены, однако в разбираемом возражении содержится голословное, без какого бы то ни было доказательства, утверждение, что подобные ограничения не применимы к разуму человека. Я не думаю, чтобы можно было так легко игнорировать эту сторону дела. Когда какой-либо из такого рода машин задают соответствующий критический вопрос и она даёт определённый ответ, мы заранее знаем, что ответ будет неверным, и это даёт нам чувство известного превосходства. Не является ли это чувство иллюзорным? Несомненно, оно бывает довольно искренним, но я не думаю, чтобы ему следовало придавать слишком большое значение. Мы сами слишком часто даём неверные ответы на вопросы, чтобы то чувство удовлетворения, которое возникает у нас при виде погрешимости машин, имело оправдание. Кроме того, чувство превосходства может относиться лишь к машине, над которой мы одержали свою - в сущности весьма скромную - победу. Не может быть и речи об одновременном торжестве над всеми машинами. Значит, короче говоря, для любой отдельной машины могут найтись люди, которые умнее её, однако в этом случае снова могут найтись другие, ещё более умные машины, и т.д. Я думаю, что те, кто разделяет точку зрения, выраженную в математическом возражении, как правило, охотно примут «игру в имитацию» в качестве основы дальнейшего рассмотрения. Те же, кто убежден в справедливости двух предыдущих возражений, будут, вероятно, вообще не заинтересованы ни в каком критерии.


Самое обсуждаемое
Топики по немецкому языку: Jugendprobleme — Молодежные проблемы Рассказ о проблемах молодежи на немецком Топики по немецкому языку: Jugendprobleme — Молодежные проблемы Рассказ о проблемах молодежи на немецком
Вращение земли вокруг своей оси и вокруг солнца форма и размеры земли Вращение земли вокруг своей оси вызывает Вращение земли вокруг своей оси и вокруг солнца форма и размеры земли Вращение земли вокруг своей оси вызывает
Как закрыть спор на алиэкспресс Как закрыть спор на алиэкспресс


top