Як у гарячих точках зберігають інтернет: болючі історії з Краматорська, Чернігова та Херсона
Які лайфгаки за час війни з’явилися в локальних та національних операторів
За декілька годин до повномасштабного вторгнення російські терористи розпочали масовану кібератаку, яка мала повністю «покласти» зв’язок в Україні. Втім абоненти ту атаку майже не помітили: оператори вже чекали непроханих «гостей». Далі почалося фізичне знищення інфраструктури. Які антикризові та заздалегідь продумані дії врятували мережі? Як прості співробітники рятували від мародерів вартісне обладнання в Херсоні та на напівдірявому човні протягували кабель після руйнації моста в Миколаївській області? Чому абоненти на неокупованій території Донецької та Луганської областей досі не мають доступу до Ebay, Zoom та інших західних сервісів? Які уроки винесли оператори та до чого ще вони готуються? Про це та багато іншого розповідали власники й СЕО операторів на галузевій конференції «Україна: стійкість зв’язку та інтернету під час війни». Mind занотував п’ять цікавих кейсів.
Микола Кучерук,
власник «Еліт-Лайн» (Краматорськ):
– У 2014 році Краматорськ понад два місяці був під російською окупацією. Тоді наша мережа дуже постраждала, втратили понад 50% абонентів. Втім той досвід допоміг працювати під час повномасштабної агресії. Ми вже були підготовленими, на складі мали близько 50 км кабелю та обладнання. Ці запаси дуже допомогли, бо фінансово ми б не витягнули закупки на відновлення мережі в перші місяці війни.
Зараз у нас уже понад 100 км магістральних ліній, не рахуючи абонентських. Тобто це більш ніж 100 км замінених оптичних кабелів у Краматорську, Дружківці та прилеглих селищах. Нашу мережу почали руйнувати з першого дня повномасштабного вторгнення. Більшість російських ракет падала на дороги, приватні будинки, цивільну інфраструктуру.
Перші декілька місяців ніхто з наших монтажників не виїжджав із міста. Проте емоційна втома поступово дала про себе знати. Таке дуже важко витримати: ми були одними з перших, хто приїжджав на місце ракетного прильоту, бачити поранених цивільних, зруйновані оселі… Тож десь у червні 2022-го співробітники почали звільнятися. Якраз тоді інтенсивність ракетних обстрілів збільшилася. Якщо в березні-травні нас обстрілювали десь два рази на тиждень, то влітку – майже щодня. Ті, хто залишився, спочатку працювали без вихідних – з ранку до ночі. Поступово вдалося набрати нових монтажників для відновлення мережі.
Зараз у Краматорську людей мало, але всі структури працюють: лікарні, обладміністрація… Їм потрібен інтернет, тому ми намагалися відновлювати мережу максимально швидко. Тепер уже це робимо на автоматі: прилетіла ракета – дві години на відновлення оптичної ділянки. Якщо пошкоджується каналізація – потрібно трохи більше часу.
Втім досі стикаємося з проблемою блокування ресурсів на підконтрольній Україні території Донецькій області. Торік уряди США та ЄС ввели санкції проти так званих «ЛДНР». Але немає поділу на тимчасово окуповані та неокуповані території Донецькій і Луганській областей. У нас не працює дуже багато ресурсів: наші абоненти не мають доступ до Ebay, не можуть купувати на «Аліекспрес», користуватися «Зумом» тощо. Тож учні та вчителі для навчання в «Зумі» вимушені підключатися до VPN.
Торік ми зверталися до Мінцифри та народних депутатів. На жаль, це питання досі не вирішене. А минулого місяця додалися ще санкції: кількість заблокованих ресурсів зросла. Нам дуже складно пояснити абонентам, чому в локального оператора сайти не відкриваються, а в національного гравця все працює. Деякі споживачі звинувачують нас у тому, що трафік начебто йде через окуповану територію, що ми – «сепари» тощо. Знову звернулися до Мінцифри. Сподіваюся, проблему вирішать. Дуже неприємно, що Донецька область є якоюсь «не такою» відносно інших регіонів.
До речі, до повномасштабного вторгнення я витратив рік, щоб у Краматорську поставити кеш-сервери Google. У сапорті Google мені доводили, що Краматорськ – окупована територія, оскільки він знаходиться в Донецькій області. І от нарешті 22 лютого 2022 року ми отримали сервери й встановили їх наступного дня. Не знаю, чи вдалося б нам зробити це після повномасштабного вторгнення. Бо в березні Google заблокував Донецьку область. Нам прийшли листи, що всі сервіси перестануть працювати. На щастя, тоді втрутилося Мінцифри. Нам повернули можливість працювати з Google. Але був ризик, що на підконтрольній території оператори могли залишитися навіть без сервісів Google.
Ще один урок, який винесли з 2014 року, – потрібна достатня кількість аплінків (портів для з’єднання локальної мережі з магістральними каналами. – Mind). У 2014-му в нас було всього два аплінки. Тоді після прильоту російських снарядів залишилися на добу без зв’язку, тобто наша мережа працювала без зовнішніх каналів. Після цього ми підключили до себе всі аплінки, що були у Краматорську. Але, коли почалася повномасштабна агресія, аплінки, які були навкруги Краматорску, почали «відвалюватися». В один момент із семи залишився один. На щастя, завдяки кооперації всіх магістральних провайдерів, змогли «підняти» напрямок на Покровськ. Зараз маємо чотири незалежних канали в різних напрямках. Це дуже заспокоює, бо завалити нас і залишити місто без інтернету зараз дуже важко.
Загалом повномасштабне вторгнення навчило, що всі сервіси мають бути з бекапами. Потрібно мінімум дві серверних, бажано під землею, підключення до декількох магістралей. Також важливо зменшувати людський фактор. Усе має працювати самостійно: кабель – у ґрунті, генератор заводиться самостійно, бо фізично може не вистачити співробітників на всі завдання з відновлення.
Дмитро Самсоненко,
директор оператора «Основа» (Чернігів):
– Ми не готувалися до повномасштабного вторгнення. Не вірили, що у XXI сторіччі таке можливо. Втім планували розвиток мережі, тож заздалегідь закупили кабель, на складі було обладнання. Усе це нам допомогло потім відновлювати мережі.
Ввечері 24 лютого російська навала вже стояла під Черніговом і почала методично обстрілювати місто. Це тривало місяць, тиждень та один день. У місті не було ні світла, ні зв'язку, ні води, ні тепла. Була паника. Люди повиїжджали. До війни в Чернігові було понад 300 000 мешканців, після початку – залишилося близько 60 000.
Ми змогли продовжувати працювати завдяки магістральному провайдеру «УАРнет». Він якимось дивом надавав нам послуги. «Жили» без електрики – на генераторах. Дуже дякую військовим, які привозили нам солярку бочками. Вони сподівалися на нас, а ми надали їм послуги.
Наскільки постраждала мережа? У Чернігові десь 80% мережі прокладено в підземних кабельних каналах зв’язку. Це її повністю зберегло. А по околицям міста та в приміських селах все було зруйноване. Повигорало багато обладнання через постійні обстріли ТЕЦ та стрибки напруги. Також прилетіло в наш в автопарк, знищено 14 машин. В офісі повибивало вікна, приміщення дуже пошматувало. На щастя, співробітників там не було.
Зараз мережу відновили: поміняли понад 100 км оптики. По суті, це не відновлення, а нове будівництво: ділянки мережі були повністю знищені. Вклали десятки мільйонів доларів. Ще залишилося зробити ремонт в офісі та відновити автопарк. Через нашу профільну асоціацію польські колеги надали нам два автомобіля. Це дуже допомогло, бо взагалі не було на чому їздити.
Олександр Савчук,
директор магістрального оператора «Атраком», голова правління ІнАУ:
– Усі великі оператори ще з 2021 року готувалися працювати с ризиками. Їх обговорювали як усередині компаній, так і з відповідними держорганами. Втім до цих ризиків потрібно готуватися й надалі та удосконалювати заходи. Тож про що саме йдеться?
Перший ризик – фізична безпека співробітників: міни, обстріли тощо. Ми заздалегідь готувалися, мали відповідні індивідуальні засоби захисту, проводили курси тактичної медицини. Але, на жаль, у деяких регіонах маємо поранених фахівців.
Другій ризик – відсутність технологічного зв'язку. Якщо для провайдера, який працює в певному мікрорайоні, не важливо, чи є зв'язок з іншими регіонами (він свою локальну мережу може відновити), то для магістральних мереж – це суттєва проблема.
І якщо уявити, що між областями України немає зв’язку, пошкоджені магістральні лінії, то їх відновлення – велике питання. Оскільки немає зв’язку з аварійними бригадами, та не знаєш, що справді сталося. Зараз ми забезпечили свої підрозділи супутниковим зв’язком, телефонами та «Старлінками». Це аварійний засіб на випадок телекомунікаційного блекауту. З ним, на щастя, не зіткнулися, хоча були локальні збої в певних регіонів на декілька днів.
Третій ризик – руйнування ланцюгів постачання матеріалів, обладнання тощо. Ми до 15 лютого сформували резерви, розосередили обладнання, автомобілі тощо, тож були готові працювати далі, навіть якщо все зупиниться.
Четвертий ризик – проблеми з поставками палива. Обслуговування магістральних ліній потребує великих пробігів автомобілів, відповідно, маємо заправляти машини кожного дня. Тож до 24 лютого зробили великі запаси палива. А на початку війни більше п'яти літрів не можна було зберігати. Зараз, на щастя, ця норма вже скасована, тож можна легально боротися с цією проблемою.
Схожа ситуація з енергетичним блекаутом. Зробили запаси генераторів і палива.
Ще один ризик – обмеження пересування співробітників під час комендантські години. До війни проблема не була вирішена, ми не отримали відповідні перепуски. Із-за цього спочатку мали великі строки відновлення ліній.
У підсумку заходів, яких вжили оператори, вистачило для підтримки мереж на достатньому рівні якості. Втім розслаблятися зарано. Наразі, на мою думку, дуже важливо посилити надійність роботи телеком-мереж шляхом резервування та дублювання. Так, це дуже високовартісні заходи. Але це потрібно робити не тільки у східних регіонах, a i по всій території України. Можна розглядати міжнародну допомогу саме в цьому напрямку.
Михайло Шелемба,
СЕО «Датагруп-Volia»:
– У нас були різні сценарії на випадок повномасштабного вторгнення. Ми теж намагалася і обладнання диверсифікувати, і маршрути розносити. Але, коли все почалося, вже діяли по ситуації. (Як саме – Mind розповідав раніше).
Думаю, саме завдяки героїзму й кмітливості наших людей, які на місцях діяли за власною ініціативою і швидко ухвалювали рішення, багато чого вдалося врятувати й не допустити поганих наслідків.
Наведу приклад. 2020 року ми почали модернізацію мережі, наприкінці 2021-го приїхало дуже багато обладнання Cisco. У Херсоні нове обладнання, яке коштує близько сотні тисяч доларів, поставили в січні 2022 року. Так от, коли місто окупували, наш звичайний технар із некосмічною зарплатою, взяв це Cisco та сховав в себе вдома. А коли зайшли наші війська – повернув і підключив до мережі.
Чесно кажучи, ніхто б не засудив цю людину, якби вона це Cisco по $100 000 продала за $5000, щоб вижити, прогодувати сім'ю або вивезти її з під окупації. Але людина цього не зробила. А нам це дозволило одними з перших відновити зв'язок у Херсоні. Таких прикладів – збереження обладнання, генераторів, автомобілів – багато. Тобто люди ставилися до майна компанії як до свого.
З приводу виживання в окупації... Ми прийняли рішення на всіх окупованих територіях продовжувати платити повну заробітну плату. І досі це робимо. Вже після деокупації деяких регіонів люди казали, що це справді було для них психологічно важливо та дозволило не співпрацювати з місцевими колаборантами, фейковими адміністраціями і всією цією наволоччю, яка прийшла на нашу землю. До речі, коли оці «місцеві» захопили наш офіс в Херсоні – зробили там репортаж, точніше запустили безсовісну брехню на наших логотипах: «Найбільший оператор в Херсоні Volia вже все відновив та працює. Приходьте, підключайтеся». Нам довелося робили спростування, що не маємо жодного стосунку до цієї «роботи».
Юрій Задоя,
керівник департаменту управління технологіями та забезпечення контролю lifecell:
– Ми винесли декілька уроків з прямої військової агресії рф.
Урок перший – не треба тримати на лінії вогню важливе обладнання. Почали його вивозити ще до початку повномасштабного вторгнення. З наших дата-центрів у Харкові та Дніпрі перевезли в інші регіони десь 10 тонн.
Ще одна ініціатива, яку нам поки не вдалося реалізувати, – найважливіше обладнання (контролери базових станцій, регістри) у теорії можна перенести за кордон. Поточне законодавство забороняє нам це робити. Втім сподіваюся, що задля безпеки на час агресії нам дозволять вивести систему управління в захищені міста.
Другий урок – бережіть інженерів і всіх гравців ринку: від найдрібніших до великих. У нас був цікавий кейс. У маленькому селі Чернігівській області, яке потрапило під окупацію, російські військові порізали кабель на нашу базову станцію (БС). У тому селі жив колишній інженер «Укртелеком», він сам із нами зв’язався, спаяв пачкорди та підняв БС.
Тобто класно, коли в кожному населеному пункті є зв’язківець. Для цього треба, щоб у кожному селі був хоча б один маленький провайдер. Тож важливо берегти нашу екосистему з тисячами невеликих гравців.
Ще один приклад. у Миколаївській області був підірваний міст, по якому пролягав магістральний кабель з нашими волокнами. Знайшовся наш підрядник, який мав відновити живлення. Але місцеві спалили всі човни, щоб оркам не дісталися. Якимось дивом нам вдалося знайти напівдірявого човна. А підрядник методом «водна прокладка» протягнув кабель, завдяки якому відновили зв’язок у місті.
Третій урок – держава може бути «державою здорової людини». Тобто швидко ухвалювати якісні рішення, а «регуляторку» трошки відкласти. Ось тут багато прикладів. Один із них: першу міжнародну допомогу – обладнання від Telefónica – ми отримали завдяки регулятору. Воно тут же поїхало на відновлення мереж. Наприклад, у Харкові, коли були постійні прильоти, ми постійно піднімали БС: прилетіло – взяли новий комплект, поїхали, повісили – знову побило – відновили. І так безкінечно…
Четвертий урок – маємо бути не лише оператором, а й стати генерувальною компанією та паливним трейдером. Як кажуть, у кожному барелі нафти є краплина людської крові. Так і в нас, у кожному гігабайті інформації є краплинка поту оператора. Якось підрахував: для одного ГБ потрібно десь 100 мл пального.
Якщо ви дочитали цей матеріал до кінця, ми сподіваємось, що це значить, що він був корисним для вас.
Ми працюємо над тим, аби наша журналістська та аналітична робота була якісною, і прагнемо виконувати її максимально компетентно. Це вимагає і фінансової незалежності.
Станьте підписником Mind всього за 196 грн на місяць та підтримайте розвиток незалежної ділової журналістики!
Ви можете скасувати підписку у будь-який момент у власному кабінеті LIQPAY, або написавши нам на адресу: [email protected].
