Невыдуманные истории из телекома начала 2000-х

Эти невыдуманные истории... хотя ладно, давайте на всякий случай считать, что они целиком и полностью выдуманные, а любые совпадения с реально существующими людьми, компаниями и явлениями совершенно случайны.

Так вот, эти истории произошли в одном небольшом провинциальном городе в начале-середине 2000-х годов. Что такое ИТ и интернет в начале 2000-х в провинции? Домашний десктоп с Pentium 2 и 64 мегабайтами ОЗУ – весьма неплохая машина. Pentium 3 и 128 Мб – уже очень даже мощная. Основная ОС для домашнего пользователя – Windows 98, а те, кто посмелее и поподкованее используют прекрасную Windows 2000, которая в отличие от старой NT4 повернута к пользователю лицом, а не чем-то еще, а в отличие от линейки 95/98/ME не падает в синий экран от неудачного щелчка мышкой.

Никаких Steam, репозиториев и маркетплейсов, само собой, не существует, а дистрибьюция софта, игр и мультимедиа-контента производится на CD-дисках. У нас в городе, например, в местном «дворце культуры» подобная «дистрибьюция контента» в обмен на денежные знаки происходила по воскресным утрам.

Те, кто попрошаренее и поотмороженнее, за «контентом» отправлялись на развал около большого лесопарка, где кроме радиодеталей и всяких электротехнических устройств также продавались пиратские диски. Только в отличие от приличных «пираток» в пластиковых коробочках и полиграфией из ДК, тут зачастую это могли быть самые обычные CD-R в бумажных конвертиках, зато широта «контента» на них отличалась значительно. Например, вполне открыто можно было найти в продаже весьма забористую порнографию, что нас с другом, как школьников старших классов, безусловно весьма радовало. Периодически толкучка разгонялась приездом представителей доблестных правоохранительных органов на УАЗике, что позволяло покупателям наблюдать занимательное шоу с продавцами, молниеносно сворачивающими свой товар и эвакуирующимися разными тропами. Немного хроники с фотографиями можно найти вот здесь.

И тем не менее, интернет уже был и по-тихоньку проникал в жизни людей. Причем не только в офисах и учреждениях, но и дома. Естественно, никаких ста мегабит и никакого вайфая. Основная технология доступа – dial-up соединение через модем по телефонной линии. Скорость на прием 56.6 килобит в секунду, но это согласно стандарту – по факту же такое мало кто видел, и 48.0 или даже 33.6 килобит были обычным делом. Это был Web 1.0, в интернете еще не было соцсетей, ютуба и всего того, к чему мы привыкли в наше время, но было тоже много чего интересного.

Оплата всего этого дела была, само собой, повременная. В ряде случаев не нужно было даже заключать договор с провайдером. Например, наша местная междугородняя телефонная станция тоже предоставляла услугу доступа в интернет, и для того чтобы подключиться, достаточно было просто дозвониться на модемный пул по номеру типа 8-гудок-777, ввести любой логин и пароль, и вперед. Счет за потраченное время приходил в конце месяца вместе со счетом за междугородние переговоры. Об этой штуке многие не знали, и это было одной из любимых злых шуток школьников того времени. Типа:
– А слышал, есть бесплатный интернет? (другой вариант: “Есть логин-пароль утекшие из какой-то фирмы»)
– Нет, как это?
– Номер дозвона такой-то такой-то, логин-пароль такие-то такие, не благодари!

Жертва пробовала подключиться, всё работало. А в следующем месяце владельцу телефонного номера приходил счет за интернет на много денег, после чего неудачливая жертва получала солидных звездюлей от родителей.

«Слитые логины и пароли» из разных фирм и учреждений тоже ходили по рукам, да. Мимо меня тоже прошли, но у меня хватало мозгов таким не пользоваться. А вот ко многим из тех, кто пользовался, в итоге пришла полиция (тогда еще милиция), правда, особо ужасных последствий не было, заканчивалось все обычно добровольной компенсацией ущерба пострадавшей стороне.

А еще были интернет-карточки. Работали они очень просто: купил в ларьке карточку, пришел домой, стер защитный слой, под которым либо уже написана пара логин-пароль, либо написан код, который надо ввести в веб-интерфейсе биллинга провайдера, после чего тебе на счет упадет соответствующее число рублей или минут. Среди всего этого «интернета по карточкам» весьма примечательно выделялся один провайдер – «Россия-он-лайн», оно же РОЛ. Про него и будет первая история.

История первая. Злой мужик

Как я уже сказал, провайдер предоставлял интернет с оплатой по карточкам. В те годы ходили легенды, что если найти место с быстрым интернетом (например, какой-нибудь университет с «выделенкой»), открыть несколько окон браузера для активации новой карты, заполнить все поля, и очень быстро кликнуть по кнопкам в каждом окошке, то можно одну и ту же карточку активировать несколько раз – мол, биллинг у провайдера изрядно тормозил и не успевал удалять из таблицы базы данных записи об уже активированных картах. Я пробовал, не получилось.

Но речь будет не о том. От других провайдеров РОЛ отличался... безлимиткой! Безлимитка эта была только ночная, но по тем временам это уже было чудо. Покупка карточки доступа за 300 рублей давай 20 часов интернета и безлимитку с 2-х ночи до 9 утра по выходным, а карточка стоимостью 500 рублей несла в себе 50 часов интернета и безлимитку с 2-х ночи до 9-ти утра каждый день. И естественно, многие этим пользовались. Сидеть за компом по ночам – конечно, можно, но не для всех подходит.

Идея была проста. Силами «Планировщика Windows» и стороннего софта, система конфигурировалась так, чтобы в 2 часа ночи компьютер просыпался и начинал дозвон на модемный пул провайдера. У провайдера было 3 номера дозвона, и, естественно, приходилось довольно долгое время долбиться, потому что, как правило, по ночам линии были забиты полностью. В итоге рано или поздно соединение устанавливалось, а дальше начиналось скачивание. Например, можно было надобавлять разного софта или mp3-шек в download-manager.

При отличных условиях за ночь можно было скачать около 100 мегабайт. Также были популярны так называемые offline-браузеры, которым можно было скормить URL, а они «грабили» веб-сервер, переходя по всем ресурсам и ссылкам с заданной глубиной вложенности, в результате чего на жестком диске получалась практически полная локальная копия страниц сайта.

Как-то раз то ли после апгрейда компьютера, то ли после каких-то экспериментов мы с братом переустановили Windows и заново настроили всё что надо. Пару дней всё было неплохо, пока не начались выходные. В один из дней нам на домашний телефон позвонил разъяренный мужик и в очень грубых выражениях допытывался – на кой черт мы ему звоним на мобилу по ночам и молчим в трубку?!

А разгадка была проста. Настраивая заново софт для дозвона, мы опечатались в одном из номеров, и в итоге вместо провайдера модем звонил на другой номер, который по злостной случайности оказался прямым городским номером мобильного телефона этого мужика. Модем начинал попытки дозвона, перебирая номера, которые были заняты, дозванивался до мужика, мужик брал трубку, модем, не услышав несущей, через какое-то время рвал соединение, потом снова пытался дозвониться до провайдера, было занято, потом снова подходила очередь мужика... И всё это в 2 часа ночи. Мужик, прости, мы не специально.

История вторая. Заливайка

Прошло несколько лет. Цивилизация постепенно начала проникать в наш регион, а вместе с тем два основных провайдера начали модернизироваться и предоставлять услуги широкополосного доступа. Один полугос-провайдер запустил ADSL, другой же начал тянуть по городу оптоволоконные сети и подключать многоэтажки по принципу fiber-to-the-building, когда оптика идет до здания, а внутри разводка по квартирам обеспечивается обычным Ethernet’ом. Подключение стоило 1200 рублей, скорость доступа 10 мегабит в секунду, а оплачивать доступ полагалось за трафик, а именно, 1 мегабайт скачанных данных стоил 1 рубль 80 копеек. Иными словами, «немножко посерфить», отключив в браузере картинки еще можно было, но вот если вы захотели скачать 1 альбом в mp3 среднего качества, то готовьтесь выложить 180 рублей или даже больше. Если решили скачать ISO-образы дистрибутива RedHat Linux 9, то это стоило бы вам около трех тысяч рублей, и так далее.

Вместе с тем, существовали так же «внутренние ресурсы», располагавшиеся внутри периметра сети провайдера, трафик с которых тарифицировался в 36 раз дешевле, по 5 копеек за мегабайт. А еще у этого провайдера был «бесплатный хостинг», предлагавший всем желающим 30 мегабайт места для того, чтобы разместить какую-нибудь хомпагу сайт-визитку. И админы провайдера совершили страшную ошибку: они не закрыли FTP-доступ снаружи. И этим воспользовались некоторые хитрозадые пользователи. Суть проста:

1. Регистрируете аккаунт на «бесплатном хостинге», можно даже сразу несколько

2. Покупаете shared-хостинг рублей так за 100 в месяц у какого-нибудь «внешнего хостера»

3. Заливаете на п.2 специальный php-скрипт

4. ???

5. PROFIT!

Работало все это до неприличия просто. PHP-скрипту скармливался URL нужного файла, тот его скачивал куда-нибудь в /tmp шаред-хостинга и сразу же загружал по FTP на провайдерский «бесплатный хостинг», откуда файл переливался к юзеру уже в пределах внутренней сети с соответствующей «внутренней» тарификацией.

Со временем появились более навороченные версии скриптов, которые умели на лету делить большие файлы на части и заливать их одновременно на несколько FTP-аккаунтов, возможность скармливать URL’ы не поодиночке, а сразу списком, и т.д. Сколько гигабайт музыки, софта и прочего контента так было скачано остается только гадать, но дырку админы почему-то не закрывали очень долго.

История третья. Шейпер нам не нужен

Спустя еще несколько лет у того же самого провайдера появилась занимательная аномалия: доступ в интернет через то же FTTB, но с оплатой не за трафик, а по времени. Я сейчас уже точно не вспомню порядок цен и скорость доступа, но вроде как это было что-то из разряда 8 рублей за час на скорости 128 килобит в секунду, либо 100 часов в месяц за 650 рублей на той же скорости. Что, с одной стороны, позволяло избежать печальных ситуаций вида «кликнул на ссылку, попал на деньги», а с другой стороны, после 10 мегабит было все-таки очень даже медленно.

Само собой, по условиям тарифа шейпер действовал в том числе и на внутрисетевые ресурсы. Внутри сети, между тем появился DC++ сервер. Думаю, для тех, кто не застал подобное, стоит кратко прояснить, что это что-то вроде P2P-сети со встроенным поиском и чатом: пользователи могут «шарить» файлы со своей локальной машины, а все остальные клиенты DC++ сервера могут в поиске найти что-нибудь интересное и скачать это у них напрямую.

В один из вечеров я подключился к DC++-серверу, при этом забыв сменить логин интернет-подключения с повременного тарифа на помегабайтный, и внезапно заметил, что файлы от одного пользователя качаются не по скорости тарифа, а на полной скорости (10 мегабит) без шейпинга. «Хммм» -- пронеслась мысль с голове, и голова начала осмысливать происходящее. Одним из шагов осмысления был traceroute на IP-адрес такого «быстрого» пользователя и сравнение его результатов с трейсом до «медленных» пользователей. Как вы уже возможно догадались, трейс отличался длиной на один хоп.

Разгадка была проста. У провайдера на весь город существовало несколько серверов доступа. Когда абонент поднимал PPTP-подключение, его сессия терминировалась на одних из них, скорее всего или по принципу round-robin или исходя из географических соображений. Если пользователь, у которого вы тянули файлы, был подключен к тому же серверу доступа, что и вы, то шейпер не работал. В результате чего, оплачивая все те же N рублей за час, можно было качать внутри локалки на полной скорости. При тарификации по трафику 1 гигабайт из внутренней сети стоил 50 рублей, а при повременной оплате и неработающем шейпере cкачивался примерно за 15 минут, что давало экономию почти в 10 раз.

Оставался вопрос, как же находить подобных «соседей». В DC++ клиенте была возможность включить ведение подробного лога, и при попытке запросить у пользователя список расшаренных файлов в лог попадал его IP-адрес. Была написана небольшая программка на Borland C++ Builder’е, которая парсила лог-файл, доставала из него IP-адреса и ники пользователей, делала traceroute и анализировала его выхлоп, и составляла список «соседей», у которых можно качать на полной скорости. Увы, но этот баг поправили довольно быстро.

История четвертая. Как я попал в саппорт и причем здесь IPTV

Шел третий курс универа. Я подрабатывал эникейщиком в одном небольшом учреждении и думал, куда бы оттуда слинять. В один прекрасный день встретил своего знакомого со старших курсов, который к тому времени работал в местном интернет-провайдере (полугосконтора, ныне дочка Ростелекома). Он поведал, что они ищут инженера техподдержки на part-time, а поскольку денег платят очень немного, то зеленый студент, разбирающийся в сетях и в IT в целом для них будет идеальным кандидатом. Служба технической поддержки провайдера была весьма странным зрелищем. 90% её контингента составляли тётки «сильно за 30» с небольшими вкраплениями молодых барышень, которые до этого работали телефонистками, а потом, когда нужда в их работе постепенно сократилась, им провели базовое обучение и посадили решать проблемы юзеров. Естественно, какого-либо глубокого понимания компьютерной техники и сетевых технологий от них ожидать было бессмысленно, максимум, что они могли сделать – это пройтись с пользователем по заранее прописанному скрипту. Если скрипт не помогал, то это была проблема. Изначально таких «проблемных» абонентов переключали на сменных инженеров, однако для тех основной деятельностью был все-таки мониторинг сети, а техподдержкой они занимались только в свободное время, которого обычно не было. Поэтому руководство и решило нанять нескольких смышленых ребят, которые бы решали вопросы, выходящие за рамки стандартных проблем. Так я там и оказался.

Провайдер предоставлял доступ в интернет по ADSL по всему региону, потихоньку строились Fiber/Ethernet-сети в густонаселенных городах, запускалось IPTV. А разгребать всё это приходилось нам. Вообще, работа в саппорте это очень интересный опыт. При звонке абонента с проблемой его логин вбивался в веб-морду, которая добывала через SNMP и RADIUS и показывала различную информацию о том, что же происходит: есть ли связь с DSLAM’ом или коммутатором (не отвалился ли нафиг сегмент сети, где у абонента последняя миля), состояние порта (затухание и сигнал/шум в случае DSL или длина кабеля и ошибки на порту для Ethernet) и скорость линка, MAC-адрес железки со стороны юзера, история PPPoE-сессий, и прочее. И из всего этого и спутанных, а иногда весьма наркоманских объяснений абонента, было необходимо выяснить, в чем именно проблема. Навык телепатии прокачивается на все сто процентов. Как и навык объяснения сложных вещей простым языком.

Иногда мы помогали первой линии техподдержки. На самом деле ни для кого не секрет, что 95% абонентских проблем решаются стандартными действиями: перезагрузить, переподключить, переустановить. Правда, если дать такой совет напрямую, есть неиллюзорный риск нарваться на гневные крики вида «вы что, меня за дурака держите?». Поэтому приходилось идти на хитрость: говоришь, «окей, сейчас я сделаю сброс на нашем оборудовании, отключите, пожалуйста, питание модема на это время», ставишь телефон на mute и засекаешь на таймере 90 секунд, за которые можно отхлебнуть чайку и рассказать пару неприличных шуточек коллеге за соседним столом, потом видишь в веб-морде что у юзера внезапно поднялась сессия и забегал трафик, возвращаешься в звонок – и тебя уже благодарят, что всё заработало, хотя ты, казалось бы, вообще ничего не делал.

Как показывала практика, чем больше от абонента было криков что проблема на стороне провайдера, тем больше вероятность того, что проблема на самом деле у него в квартире, в компьютере или в голове. Иной раз бывало, что даже суровые мужики с CCNP из больших компаний, обращающиеся в саппорт с детальным описанием ситуации, по мнению которых проблема уж точно на нашей стороне, на деле упускали совершенно очевидные вещи. Правда, когда это выяснялось, они обычно не бомбили, а смущенно благодарили, и работать с такими было одно удовольствие.

С домашними же юзерами мог твориться треш и угар, например, когда тебе звонят о том, что «интернет тормозит», ты смотришь статистику подключения, и видишь, что с порта юзера валит огромный исходящий трафик. Варианта два: либо работает какой-то софт, полностью забивающий канал (например, торрент-клиент), либо пользователь развел у себя на машине зоопарк вирусни и стал частью ботнета. Вот только юзеру такое говорить опасно. Вам будут клятвенно утверждать, что никакого софта не запущено («не запущено» обычно означает «нет открытого окошка», а что там крутится в фоне никто и не проверит), а вирусов «не может быть», потому что «стоит касперский». Решается это всё обычно составлением заявки для местных чуваков, которые заедут к абоненту в гости, воткнут кабель в свой ноутбук и покажут, что интернет работает как надо, а со своим хозяйством товарищ пусть или разбирается сам, или обращается в платную поддержку. А уж сколько проблем было из-за кривых драйверов модемов и сетевух, некорректно работающих антивирусов и фаерволов, засранной ОС и шаловливых ручек, кликающих везде где попало...

Проблемы с нашей стороны, конечно, тоже бывали, и не раз. Более того, именно в те времена я познакомился с феноменом, для которого возможно есть даже какое-то научное название – когда, казалось бы, делом занимаются довольно умные и знающие своё дело люди, но в итоге все равно всё получается как-то через задницу. Возможно в наше время это объяснили бы плохим менеджментом, но тогда я причинами особо не интересовался.

Впрочем, раздолбайство со стороны «умных людей» тоже встречалось. Например, у провайдера была такая услуга, как WebTV, а именно просмотр ТВ-каналов в браузере. Компьютер, на котором производилось перекодирование потока одного из ТВ-каналов долгое время стоял не в серверной, а просто под столом одного из инженеров. Ну а что, нет ничего более постоянного чем временное, да и сам канал был отмечен в списке как «работающий в тестовом режиме» :)

Иногда были и приколы со стороны субподрядчиков и «системных интеграторов» (которых обычно называли «дезинтеграторами»). Например, провайдер запустил IPTV, точнее, поставкой и запуском всего этого дела занимался нанятый интегратор. Часть ТВ-каналов входила в базовый пакет, за остальные же надо было доплачивать отдельно. По факту же потоки шли без шифрования и список каналов ограничивался только лишь плейлистом, который получала ТВ-приставка, и зная нужные multicast-адреса при наличии VLC-плеера или смарт-телевизора, можно было смотреть любые платные каналы без доплаты. Естественно, эту информацию тщательно скрывали и всячески пресекали ее распространение.

А что до менеджмента, то он был весьма специфическим. Например, в один прекрасный день я забрел на официальный форум этого самого провайдера, обнаружил там огромное количество технических вопросов от абонентов, и начал потихоньку на них отвечать. Со временем вопросов стало больше, ибо пользователи прочухали, что в отличие от техподдержки, до которой еще хрен дозвонишься, не сразу попадешь к понимающему человеку, не приложишь логи и скриншоты, на форуме решать проблемы гораздо удобнее, ну а я всем помогал по мере возможностей. Через некоторое время об этом узнало руководство и мне официально запретили помогать пользователям на форуме. Причина была озвучена простая: «кроме тебя на форуме никого из официальных лиц нет, и мы должны приучить пользователей обращаться в техподдержку по телефону или через форму на сайте». О том, как удобнее и как хочется обращаться в техподдержку самим пользователям, пользователей никто спросить не догадался.

История пятая. Почему я не люблю D-Link

Был то ли конец лета, то ли начало осени. Маркетинговый отдел провайдера запустил несколько акций, обеспечив неплохой приток новых абонентов. Попутно люди возвращались из отпусков, начинался учебный год у школьников и студентов. И в одно теплое утром понедельника началось...

Массовые технические проблемы у провайдера обычно первыми фиксирует либо мониторинг (если ему есть что мониторить), либо техподдержка. В техподдержке это выглядит как резкий рост ожидающих звонков в очереди: что-то сильно ломается, и люди начинают звонить рассказать о проблеме. В этом же случае рост был постепенный, но симптомы одинаковые: у людей с определенного момента утра модемы не поднимали сессию и люди не могли попасть в интернет. При этом сообщения о проблемах приходили из разных городов и районов, мониторинг показывал, что с сетью всё в порядке. Потом кто-то из инженеров заметил, что у людей, испытывающих проблемы, были похожие MAC-адреса оборудования, что означало, что у них модемы одного и того же производителя. Стало ясно, в какую сторону копать. ADSL модемы обычно могут работать в двух режимах: режиме «бриджа» и режиме «роутера». В первом случае модем работает как простая коробочка, тупо пересылающая всё со входа на выход и обратно, а PPPoE-подключение инициируется на компьютере пользователя. Во втором случае же модем работает именно как роутер, поднимая подключение сам и раздавая доступ через NAT подключенным к нему устройствам. Проблема наблюдалась у тех пользователей, чьи модемы работали в режиме роутера.

Расследование показало следующее. PPPoE-подключение инициируется модемом и терминируется на одном из серверов доступа (BRAS). С увеличением количества пользователей один из серверов начал чуть-чуть подтормаживать при инициации сессии. Задержка ответов на запросы, при всем при этом, не превышала допустимую согласно стандарту протокола, поэтому модемы всех остальных производителей эту ситуацию переживали совершенно нормально, ровно как и стандартный PPPoE-клиент Windows, но у одного вендора был свой, особый путь, и его модемы, не дожидаясь ответа от сервера, тупо рвали процесс соединения и отказывались работать.

Это были адовые два дня для техподдержки. Части абонентов (для которых это было приемлемо) по телефону объясняли, как перенастроить модем из роутера в бридж, часть абонентов перераспределили по другим BRAS’ам (в результате чего проблемы начались и там), в итоге производитель все-таки на второй день выпустил исправленные прошивки для своих моделей, кто-то из пользователей смог их накатить самостоятельно, к остальным еще долго в гости ездили техники и прошивали им устройства.

А потом я закончил универ, получил диплом, уволился из провайдера, провел очень запоминающееся лето, и устроился работать по специальности – разработчиком систем радиотелеметрии для автоматизации нефтедобычи. Но это уже совсем другая история.