Восхождение интернета, ч.1: экспоненциальный рост

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.


<< До этого: Эра фрагментации, часть 4: анархисты

В 1990-м Джон Куотерман, консультант по сетевым технологиям и эксперт в области UNIX, опубликовал всеобъемлющий обзор состояния компьютерных сетей на тот момент. В небольшом разделе, посвящённом будущему вычислительных систем, он предсказал появление единой глобальной сети для «электронной почты, конференций, передачи файлов, удалённого входа в систему – так же, как сегодня существует всемирная телефонная сеть и всемирная почта». Однако особой роли интернету он не придал. Он предположил, что эта всемирная сеть «скорее всего, будет управляться правительственными службами связи», кроме США, «где ею будут управлять региональные подразделения Bell Operating Companies и операторы междугородней связи».

Целью данной статьи будет объяснить, как своим внезапным взрывным экспоненциальным ростом интернет настолько грубо опроверг совершенно естественные предположения.

Передача эстафеты


Первое критически важное событие, приведшее к появлению современного интернета, произошло в начале 1980-х, когда Агентство оборонных коммуникаций (Defense Communication Agency, DCA) [ныне DISA] решило разбить ARPANET на две части. DCA взяло на себя контроль над сетью в 1975 году. К тому времени было ясно, что для отдела технологий обработки информации (IPTO) ARPA – организации, занимающейся исследованием теоретических идей – не было никакого смысла участвовать в развитии сети, использовавшейся не для исследования коммуникаций, а для повседневного общения. ARPA неудачно попыталась спихнуть контроль над сетью частной компании AT&T. DCA, отвечающее за военные системы связи, казалась наилучшим вторым вариантом.

В первые несколько лет новой ситуации ARPANET процветала в режиме благостного игнорирования. Однако к началу 1980-х стареющая инфраструктура коммуникаций министерства обороны отчаянно нуждалась в обновлении. Проект предполагаемой замены, AUTODIN II, подрядчиком которого DCA выбрало компанию Western Union, судя по всему, проваливался. Тогда главы DCA назначили полковника Хайди Хайдена ответственным за выбор альтернативы. Он предложил использовать в качестве основы для новой сети передачи оборонных данных технологию коммутации пакетов, которая уже была в распоряжении DCA в виде ARPANET.

Однако с передачей военных данных по ARPANET существовала очевидная проблема – сеть изобиловала длинноволосыми учёными, иные из которых активно выступали против компьютерной безопасности или секретности – к примеру, Ричард Столлман со своими сотоварищами-хакерами из лаборатории искусственного интеллекта MIT. Хайден предложил разделить сеть на две части. Он решил оставить учёных-исследователей с финансированием от ARPA на ARPANET, а компьютеры, работающие на оборонных предприятиях, выделить в новую сеть под названием MILNET. У подобного митоза было два важных последствия. Во-первых, раздел военной и не военной частей сети стал первым шагом к передаче интернета под гражданское, а впоследствии и под частное управление. Во-вторых, это стало доказательством жизнеспособности плодотворной технологии интернета — протоколов TCP/IP, впервые придуманных лет за пять до этого. DCA было нужно, чтобы все узлы ARPANET перешли со старых протоколов на поддержку TCP/IP к началу 1983-го. На тот момент немногие сети использовали TCP/IP, но после этот процесс объединил две сети прото-интернета, что позволило трафику сообщений при необходимости связывать исследовательские и военные предприятия. Чтобы гарантировать долгосрочность протокола TCP/IP в военных сетях, Хайден основал фонд объёмом в $20 млн для поддержки компьютерных производителей, которые будут писать ПО для реализации TCP/IP в своих системах.

Первый шаг в постепенной передаче интернета от военного к частному контролю также даёт нам неплохую возможность попрощаться с ARPA и IPTO. Его финансирование и влияние, шедшие под управлением Джозефа Карла Робнетта Ликлайдера, Айвена Сазерленда и Роберта Тейлора, напрямую и опосредованно привело к появлению всех ранних разработок в области интерактивных вычислений и компьютерных сетей. Однако создав стандарт TCP/IP в середине 1970-х, оно последний раз сыграло ключевую роль в истории компьютеров.

Следующим важным вычислительным проектом, организованным DARPA, станет конкурс автономных средств передвижения 2004-2005 годов. Самым знаменитым проектом до этого будет стратегическая компьютерная инициатива на основе ИИ 1980-х годов на миллиард долларов, которая породит несколько полезных военных приложений, но практически никак не повлияет на гражданское общество.

Решающим катализатором в потере влияния организации стала война во Вьетнаме. Большинство учёных-исследователей считали, что борются за правое дело и защищают демократию, когда исследования эпохи Холодной войны финансировали военные. Однако те, кто вырос в 1950-е и 1960-е года потеряли веру в военных и их цели после того, как последние увязли в болоте Вьетнамской войны. Среди первых был и сам Тейлор, ушедший из IPTO в 1969, унося свои идеи и связи в Xerox PARC. Контролируемый демократами Конгресс, обеспокоенный разрушительным влиянием военных денег на базовые научные исследования, принял поправки, согласно которым деньги на оборону необходимо было тратить исключительно на военные исследования. ARPA отразило это изменение в культуре финансирования в 1972 году, переименовавшись в DARPA — управление перспективных исследовательских проектов Министерства обороны США.

Поэтому эстафета перешла к гражданскому национальному научному фонду (NSF). К 1980-му году с бюджетом в $20 млн, NSF отвечал за финансирование примерно половины федеральных компьютерных исследовательских программ в США. И большая часть этих средств вскоре будет направлена на новую национальную компьютерную сеть NSFNET.

NSFNET


В начале 1980-х Ларри Смарр, физик из Иллинойского университета, посетил Институт им. Макса Планка в Мюнхене, где работал суперкомпьютер «Крей», к которому был разрешён доступ европейским исследователям. Раздосадованный отсутствием схожих ресурсов для учёных США, он предложил, чтобы NSF профинансировал создание нескольких суперкомпьютерных центров по всей стране. Организация ответила на притязания Смарра и других исследователей со схожими жалобами, создав в 1984 году отдел по передовым научным вычислениям, что привело к финансированию пяти подобных центров с пятилетним бюджетом в $42 млн. Они протянулись от Корнеллского университета на северо-востоке страны до Сан-Диего на юго-западе. Находившийся между ними университет штата Иллинойс, где работал Смарр, получил собственный центр, национальный центр суперкомпьютерных приложений, NCSA.

Однако возможности центров по улучшению доступа к вычислительным мощностям были ограничены. Использовать их компьютеры пользователям, не живущим поблизости от одного из пяти центров, было бы затруднительно, и потребовало бы финансирования научных командировок длиной в семестр или в лето. Поэтому NSF решил построить ещё и компьютерную сеть. История повторялась – Тейлор продвигал создание ARPANET в конце 1960-х именно для того, чтобы дать исследовательскому сообществу доступ к мощным вычислительным ресурсам. NSF обеспечит опорный хребет, который объединит ключевые суперкомпьютерные центры, протянется по всему континенту, а потом подсоединит к себе региональные сетки, дающие доступ к этим центрам другим университетам и научным лабораториям. NSF воспользуется преимуществами интернет-протоколов, которые продвигал Хайден, передав ответственность за создание местных сетей локальным научным сообществам.

Изначально NSF передал задачи по созданию и поддержке сети NCSA из Иллинойского университета как источнику первоначального предложения создания национальной суперкомпьютерной программы. В свою очередь NCSA взял в аренду те же самые линии связи на 56 кбит/с, что ARPANET использовала с 1969 года, и запустила сеть в 1986 году. Однако эти линии быстро забились трафиком (подробности этого процесса можно найти в работе Дэвида Миллса "Опорная сеть NSFNET"). И снова повторилась история ARPANET – быстро стало очевидно, что основной задачей сети должен быть не доступ учёных к компьютерным мощностям, а обмен сообщениями между людьми, имевшими к ней доступ. Можно простить авторов ARPANET за то, что они не знали, что подобное может произойти – но как могла повториться та же ошибка почти через двадцать лет? Одно из возможных объяснений состоит в том, что гораздо легче оправдать семизначный грант на использование вычислительных мощностей, стоимость которых составляет восьмизначные суммы, чем оправдать трату таких сумм на вроде бы такие несерьёзные цели, как возможность обмениваться электронными письмами. Нельзя сказать, что NSF сознательно вводил кого-то в заблуждение. Но как антропный принцип утверждает, что физические константы Вселенной такие, какие они есть, потому, что иначе нас бы просто не было, и мы не могли бы их наблюдать, так и мне не пришлось бы писать о компьютерной сети с государственным финансированием, если бы не было подобных, несколько фиктивных оправданий её существованию.

Убедив себя в том, что сама по себе сеть обладает, по меньшей мере, такой же ценностью, как и суперкомпьютеры, оправдывающие её существование, NSF обратился к сторонней помощи, чтобы обновить костяк сети, проведя линии с пропускной способностью T1 (1,5 Мбит/с). Стандарт Т1 был основан компанией AT&T в 1960-х, и должен был обслуживать до 24 телефонных звонков, каждый из которых кодировался в цифровой поток 64 кбит/с.

Контракт выиграла Merit Network, Inc. в партнёрстве с MCI и IBM, и за первые пять лет получила от NSF грант на $58 млн для строительства и поддержки сети. MCI обеспечивала инфраструктуру связи, IBM – вычислительные мощности и ПО для роутеров. Некоммерческая компания Merit, управлявшая компьютерной сетью, связывавшей между собой кампусы Мичиганского университета, принесла с собой опыт поддержки научной компьютерной сети, и придала всему партнёрству университетский дух, благодаря чему его легче воспринимали NSF и учёные, использовавшие NSFNET. Тем не менее, передача обслуживания от NCSA к Merit была очевидным первым шагом на пути к приватизации.

Изначально MERIT расшифровывалась как Michigan Educational Research Information Triad [мичиганская образовательная триада исследования информации]. Штат Мичиган добавил $5 млн от себя, чтобы помочь домашней сети на Т1 разрастись.



Через магистраль Merit шёл трафик более десяти региональных сетей, от нью-йоркской исследовательской и образовательной сети NYSERNet, связанной в Итаке с Корнеллским университетом, до калифорнийской федеративной исследовательской и образовательной сети CERFNet, подключённой в Сан-Диего. Каждая из этих региональных сетей связывалась с бесчисленным количеством местных кампусных сеток, поскольку в лабораториях колледжей и офисах преподавателей работали сотни машин под управлением Unix. Такая федеральная сеть сетей стала затравочным кристаллом современного интернета. ARPANET связывала между собой только исследователей в области информатики с хорошим финансированием, работавших в элитных научных заведениях. А к 1990-му году почти любой студент университета или преподаватель уже мог выходить в онлайн. Перекидывая пакеты от узла к узлу – через местный Ethernet, потом дальше в региональную сеть, потом через большие расстояния со скоростью света по магистрали NSFNET – они могли обмениваться емейлами или чинно беседовать в Usenet с коллегами с других концов страны.

После того, как через NSFNET стало доступно гораздо больше научных организаций, чем через ARPANET, в 1990-м году DCA списало устаревшую сеть, и полностью устранила министерство обороны от развития гражданских сетей.

Взлёт


За весь этот период количество компьютеров, подключённых к NSFNET и связанным с ней сетями – а всё это мы теперь уже можем называть интернетом – росло каждый год примерно в два раза. 28 000 в декабре 1987, 56,000 в октябре 1988, 159 000 в октябре 1989, и так далее. Такая тенденция продолжалась вплоть до середины 1990-х, а потом рост немного замедлился. Как, интересно, учитывая эту тенденцию, Куотерман мог не заметить, что интернету суждено править миром? Если недавняя эпидемия нас чему и научила, так это тому, что человеку очень сложно представить себе экспоненциальный рост, поскольку он не соответствует ничему, с чем мы сталкиваемся в повседневной жизни.

Конечно же, название и концепция интернета появилась ещё до NSFNET. Интернет протокол придумали в 1974, и ещё до NSFNET существовали сети, общавшиеся по IP. Мы уже упоминали ARPANET и MILNET. Однако мне не удалось найти никаких упоминаний «интернета» – единой, простирающейся на весь мир сети сетей – до появления трёхъярусной NSFNET.

Количество сеток внутри интернета росло с похожей скоростью – от 170 в июле 1988 года до 3500 осенью 1991. Поскольку научное сообщество не знает границ, многие из них находились за рубежом, начиная со связей с Францией и Канадой, налаженных в 1988-м. К 1995 году в интернет можно было выйти почти из 100 стран, от Алжира до Вьетнама. И хотя количество машин и сетей подсчитать гораздо легче, чем количество реальных пользователей, по разумным оценкам к концу 1994 их было 10-20 млн. В отсутствии подробных данных о том, кто, зачем и в какое время использовал интернет, довольно трудно аргументировано подтвердить то или иное историческое е объяснение такого невероятного роста. Небольшая коллекция историй и анекдотов вряд ли может объяснить, как с января 1991 по январь 1992 года к интернету подключилось 350 000 компьютеров, а за следующий год – 600 000, а за следующий – ещё 1,1 млн.

Однако я отважусь ступить на эту шаткую с эпистемической точки зрения территорию, и заявить, что отвечающие за взрывной рост интернета три наложившихся друг на друга волны пользователей, у каждого из которых были свои причины для подключения, были вызваны неумолимой логикой закона Меткалфа, который говорит, что ценность (а, следовательно, и сила притяжения) сети увеличивается как квадрат количества её участников.

Сначала пришли учёные. NSF намеренно распространяла вычисления по как можно большему количеству университетов. После этого каждый учёный хотел присоединиться к проекту, потому, что все остальные были уже там. Если до вас могли не дойти емейлы, если вы могли не увидеть и не поучаствовать в самых последних обсуждениях на Usenet, вы рисковали пропустить анонс важной конференции, шанс найти наставника, не заметить передовое исследование до его публикации, и так далее. Ощущая принуждение к присоединению к научным беседам в онлайне, университеты быстро подключались к региональным сеткам, которые могли подсоединить их к магистрали NSFNET. К примеру, NEARNET, покрывавшая шесть штатов региона Новая Англия, к началу 1990-х приобрела более 200 участников.

Одновременно доступ начал просачиваться от преподавателей и аспирантов в гораздо более многочисленное сообщество студентов. К 1993 году примерно 70% первокурсников Гарварда завели себе электронные адреса. К тому времени интернет в Гарварде физически дошёл до всех уголков и связанных с ним институтов. Университет пошёл на значительные расходы для того, чтобы провести Ethernet не просто в каждое здание учебного заведения, но и во все студенческие общежития. Наверняка оставалось совсем немного времени до того момента, когда кто-нибудь из студентов первым ввалился в свою комнату после бурной ночи, упал в кресло и с трудом настучал электронное сообщение, об отправке которого пожалел на следующее утро – будь то признание в любви или яростная отповедь врагу.

На следующей волне, около 1990 года, начали прибывать коммерческие пользователи. В тот год был зарегистрирован 1151 домен .com. Первыми из коммерческих участников стали исследовательские департаменты технологических компаний (Bell Labs, Xerox, IBM и т.д.). Они, по сути, использовали сеть в научных целях. Бизнес-общение их руководителей шло по другим сетям. Однако к 1994 году существовало уже более 60 000 имён в домене .com, и зарабатывание денег на интернете началось по-настоящему.

К концу 1980-х компьютеры начали становиться частью повседневной рабочей и домашней жизни граждан США, и важность цифрового присутствия для любого серьёзного бизнеса стала очевидной. Емейл предлагал способ простого и чрезвычайно быстрого обмена сообщениями с коллегами, клиентами и поставщиками. Списки рассылки и Usenet предлагали как новые способы быть в курсе событий в профессиональном сообществе, так и новые формы очень дешёвой рекламы для широкого спектра пользователей. Через интернет можно было получить доступ к огромному разнообразию бесплатных баз данных – юридическим, медицинским, финансовым и политическим. Устраивавшиеся на работу вчерашние студенты, жившие в подключённых общежитиях, полюбили интернет так же, как и их работодатели. Он предлагал доступ к куда как большему набору пользователей, чем любой из отдельных коммерческих сервисов (и снова закон Меткалфа). После оплаты месячного доступа к интернету, практически всё остальное вы могли получить бесплатно, в отличие от значительной стоимости оплаты за использованные часы или за отправленные сообщения, которую просили CompuServe и прочие подобные сервисы. Среди ранних участников рынка интернета были компании, рассылавшие программы по почте — например, The Corner Store из Литчфилда, Коннектикут, рекламировавшаяся в группах Usenet, и The Online Bookstore, магазин электронных книг, основанный бывшим редактором издательства Little, Brown and Company, и более чем на десять лет опередивший Kindle.

И потом пришла третья волна роста, принесшая обычных потребителей, начавших в больших количествах выходить в интернет в середине 1990-х. К этому времени закон Меткалфа уже работал на высшей передаче. Всё чаще «быть в онлайне» означало «быть в интернете». Потребители не могли позволить себе протянуть домой выделенные линии класса Т1, поэтому почти всегда выходили в интернет посредством диалап-модема. Мы уже сталкивались с частью этой истории, когда коммерческие BBS постепенно превращались в провайдеров интернета. Это изменение пошло на пользу как пользователям (чей цифровой бассейн внезапно вырос до океана), так и самим BBS, перешедших на гораздо более простой бизнес посредника между телефонной системой и «выездом на магистраль» интернета пропускной способностью в Т1, без необходимости поддерживать собственные услуги.

Более крупные онлайн-сервисы развивались по той же схеме. К 1993 году все сервисы национального масштаба в США — Prodigy, CompuServe, GEnie и молодая компания America Online (AOL) – предлагали пользователям, которых в сумме насчитывалось 3,5 млн, возможность отправлять емейл на интернет-адреса. И только отстающий Delphi (с 100 000 подписчиков) предлагал полноценный выход в интернет. Однако в последовавшие несколько лет ценность доступа к интернету, продолжавшему расти с экспоненциальной скоростью, быстро перевесила доступ к собственным форумам, играм, магазинам и другому контенту самих коммерческих сервисов. 1996-й стал переломным годом – к октябрю 73% пользователей, выходивших в онлайн, пользовались WWW, по сравнению с 21% за год до этого. Был придумал новый термин «портал», описывающий рудиментарные остатки от услуг, предоставлявшихся AOL, Prodigy и остальными компаниями, которым люди платили деньги только за то, чтобы получить доступ в интернет.

Секретный ингредиент


Итак, мы примерно познакомились с тем, как интернет рос такими взрывными темпами, но недостаточно разобрались в том, почему так происходило. Почему он стал так доминировать при наличии такого разнообразия множества других сервисов, пытавшихся вырасти в предшествовавшую эру фрагментации?

Конечно, правительственные субсидии сыграли свою роль. Кроме финансирования магистральных линий связи, когда NSF решил всерьёз вложиться в развитие сети независимо от своей программы развития суперкомпьютеров, он не мелочился. Концептуальные лидеры программы NSFNET, Стив Вулф и Джейн Кавинес, решили строить не просто сеть суперкомпьютеров, но новую информационную инфраструктуру для американских колледжей и университетов. Поэтому они учредили программу Connections [«связи»], бравшую на себя часть расходов на подключение университетов к сети в обмен на то, что те обеспечат как можно большему количеству людей доступ к сети на своих кампусах. Это ускорило распространение интернета как прямо, так и косвенно. Косвенно – поскольку многие из региональных сеток породили коммерческие предприятия, использовавшие ту же самую инфраструктуру, построенную на субсидии, чтобы продавать коммерческим организациям доступ в интернет.

Но и у Minitel были субсидии. Однако более всего интернет отличался своей многослойной децентрализованной структурой и свойственной ему гибкостью. IP позволял сетям с совершенно различными физическими свойствами работать с одной и той же системой адресов, а TCP обеспечивал доставку пакетов до получателя. И всё. Простота основной схемы работы сети позволяла надстраивать над ней практически любые приложения. Что важно, любой пользователь мог внести вклад в виде новой функциональности, если у него получалось убедить других пользоваться его программой. К примеру, передача файлов по протоколу FTP была одним из наиболее популярных способов использования интернета в ранние годы, однако найти сервера, предлагавшие интересующие вас файлы, кроме как через сарафанное радио было невозможно. Поэтому предприимчивые пользователи создавали различные протоколы для каталогизации и ведения списков FTP-серверов – например, Gopher, Archie и Veronica.

Теоретически, у сетевой модели OSI была такая же гибкость, а также официальное благословление международных организаций и телекоммуникационных гигантов на роль стандарта межсетевой связи. Однако на практике поле осталось за TCP/IP, а его решающим преимуществом стал код, работающий сначала на тысячах, а потом миллионах машин.

Передача управления уровнем приложений на самые окраины сети привела ещё к одним важным последствиям. Это значило, что большие организации, привыкшие к управлению собственной сферой деятельности, могли чувствовать себя комфортно. Организации могли настраивать собственные емейл-серверы и отправлять и получать емейлы без того, чтобы всё их содержимое хранилось на чьём-то чужом компьютере. Они могли регистрировать собственные доменные имена, поднимать собственные веб-сайты с доступом для всех, выходящих в интернет, но оставлять их полностью под своим контролем.

Естественно, наиболее ярким примером многослойной структуры и децентрализации стал всемирный веб. Два десятилетия системы от компьютеров с разделением времени 1960-х до сервисов подобных CompuServe и Minitel вращались около небольшого набора основных услуг обмена информацией – емейла, форумов и чатов. Веб стал чем-то принципиально новым. Ранние годы веба, когда он полностью состоял из уникальных страниц, сделанных вручную, ничем не напоминают его сегодняшнее состояние. Однако прыжки от ссылке к ссылки уже тогда обладали странной притягательностью, и давали предприятиям возможность обеспечивать чрезвычайно дёшевую рекламу и службу поддержки пользователей. Никто из архитекторов интернета не планировал появление веба. Он стал плодом творчества Тима Бернерса-Ли, британского инженера европейского центра ядерных исследований (ЦЕРН), создавшего его в 1990-м году с целью удобного распространения информации между исследователями лаборатории. Однако же он с лёгкостью жил на базе TCP/IP и использовал систему доменных имён, созданную для других целей, для повсеместно распространившихся URL. Любой человек с доступом к интернету мог сделать сайт, и к середине 90-х казалось, что все так и сделали – мэрии городов, местные газеты, малые предприятия и любители всех мастей.

Приватизация


В данном рассказе о росте интернета я опустил несколько важных событий, и, возможно, у вас осталось несколько вопросов. К примеру, как именно предприятия и потребители получили доступ в интернет, который изначально был сконцентрирован вокруг NSFNET – сети, финансировавшейся правительством США, и вроде бы предназначавшейся для обслуживания сообщества учёных-исследователей? Чтобы ответить на этот вопрос, в следующей статье мы вернёмся к некоторым важным событиям, о которых я пока умолчал; событиям, которые постепенно, но неотвратимо превратили государственный научный интернет в частный и коммерческий.

Что ещё почитать


  • Janet Abatte, Inventing the Internet (1999)
  • Karen D. Fraser “NSFNET: A Partnership for High-Speed Networking, Final Report” (1996)
  • John S. Quarterman, The Matrix (1990)
  • Peter H. Salus, Casting the Net (1995)
Источник: https://habr.com/ru/post/518390/


Интересные статьи

Интересные статьи

Легко и непринужденно настраиваем Istio для уменьшения нагрузки и влияния как на control, так и на data plane, используя ресурс Sidecar. Читать дальше →
О чем эта статья В этой статье рассказано о принципах построения простейших бестрансформаторных источников питания.Тема не новая, но, как показал опыт, не всем известная и понятная. И даже, ...
Как я писал в предисловии предыдущей статьи, я нахожусь в поисках языка, в котором я мог бы писать поменьше, а безопасности иметь побольше. Моим основным языком программирования всегда был C#, ...
Интернет вещей — восходящий тренд, технология используется везде и всюду: в промышленности, бизнесе, быту (привет умным лампочкам и холодильникам, которые сами заказывают еду). Но это только ...
Небольшое вступление: Идея написания собственного ядра появилась после прохождения школы-семинара по цифровой схемотехнике в городе Томске. На данном мероприятии проводилось знакомство с текущим...