Сайентист – не сайентолог: как освоить самую перспективную профессию по работе с большими данными
Полезный опыт украинских разработчиков, специализирующихся на Big Data
Data scientist – одна из самых горячих IT-профессий нашего времени. Зарплаты по верхней планке, перегретый рынок вакансий и пока еще незначительная конкуренция при большом выборе направлений. Это ли не мечта для начинающего соискателя? В спецпроекте с «Киевстар» Big Data School Mind.ua разбирается с тем, насколько легко стать дата-сайентистом студенту, IT-специалисту среднего уровня или состоявшемуся профессионалу из смежных сфер. А также чем предстоит заниматься и какие базовые умения нужны кандидату.
Логика – прежде всего
Хотя работа с большими данными – это во многом математика, блестящие знания этого предмета необязательны для соискателей. Как рассказали на митапе для будущих студентов менторы Big Data School, прежде всего важна мотивация. Не к деньгам, потому что именно это часто движет теми, кто решил переключиться на дата-сайенс, а к изучению предмета. Без этого будет сложно, а результат, скорее всего, оставит желать лучшего. Мотивационное письмо – это то, с чего начинается подача заявки на курс, и именно на него будут смотреть особо внимательно.
Если говорить о конкретных навыках, то, по опыту Николая Микитенко – выпускника третьего набора Big Data School, нужно или быть сильным в высшей математике, или отлично разбираться в логике. То есть либо знать формулу, либо понимать, как идти к нужному результату.
Бэкграунд Микитенко – работа с аналитическими инструментами (BI), базами данных и использование языков SQL. По его мнению, если с перечисленным выше все нормально, то для освоения новой профессии будет достаточно даже умения программировать на начальном уровне. «Если человек знает основы хотя бы одного языка, он сможет интерпретировать любой. Я писал вступительное задание на R, дальше практиковал в обучении Python. Без проблем переключился с одного языка на другой», – делится он.
Микитенко говорит, что шел в Big Data School, осознавая пробел в знаниях Machine Learning. Свой уровень оценивал на 20%, школа добавила еще 20–30% до уровня уверенного владения в предметной области. Но главное, что она дала, по его словам, – направление для развития, понимание, что конкретно надо изучать, чтобы стать профи. «Именно правильное направление для дальнейшего углубления знаний в работе с большими данными в Украине больше взять особо негде», – уверен он.
В процессе отбора студентов в Big Data School от Kyivstar менторы смотрят прежде всего на мотивацию соискателей. Поэтому при подаче заявки стоит уделить большое внимание мотивационному письму.
Микитенко до поступления в Big Data School работал в банковской сфере, где тоже занимался аналитикой. Говорит, умение анализировать – третья базовая составляющая успеха в обращении с большими данными и алгоритмами машинного обучения. Полученные знания уже позволили выпускнику совершить большой скачок в рабочем проекте, связанном с клиентской задолженностью по кредитованию.
Например, контакт-центр банка обзванивает клиентов с задолженностями по кредиту. Большие данные помогают вычислить, кому стоит позвонить и напомнить, а кто скоро сам вернет задолженность. А также дают возможность находить оптимальный баланс между прибыльностью и затратой ресурсов. Хорошая модель позволяет прогнозировать вероятность возврата кредита с точностью 90%, а благодаря грамотному распределению нагрузки можно экономить рабочую силу: если при «слепом прозвоне» банку придется «озадачить» 100 операторов, то с грамотно прописанным алгоритмом по обработке больших данных можно снизить ресурс и до 10–20%.
При этом важно понимать, какие данные обладают ценностью, следить за их актуальностью (например, платеж по кредиту на 900 грн сейчас и шесть лет назад – не одно и то же) и влиянием на результат работы модели. В модели по сознательному возвращению задолженности, например, оказалось, что совершенно не важен род деятельности клиента или размер просроченной задолженности, а вот более зрелый возраст и владение недвижимостью характеризуют заемщика как более надежного.
При этом очень много проектов в сфере работы с большими данными так и не реализуются. Часто это происходит потому, что, как выясняется, польза для бизнеса – минимальна, бизнес либо не знает, что на самом деле ему нужно, либо не увидел результат, либо ему не смогли его правильно презентовать. По мнению Микитенко, опыт обучения на реальных кейсах в Big Data School позволяет лучше понять, что нужно сегодняшним предпринимателям.
Для кого подойдет Big Data School?
За несколько наборов обучение в Big Data School прошли и вчерашние студенты, и специалисты уровня Senior, и профессионалы из смежных сфер. Кто-то пришел восполнить пробел в знаниях, так как подготовка в вузах зачастую далека от реальных задач, кто-то – усилить экспертизу в профессии.
Александр Саенко, выпускник первого набора Big Data School, ментор третьего и четвертого наборов, давно занимаясь аналитикой и работой с большими данными, в свое время наткнулся на пост о школе в Facebook. Будучи кандидатом наук и обладая природной тягой к загадкам и новым знаниям, заинтересовался тестовым заданием. На собеседование шел чисто из спортивного интереса, без четких планов включаться в учебу. Тем не менее Александр решил пройти обучение и сейчас занимается data science-проектами, на стыке технологий IoT, 4G, 5G и тех возможностей, которые они предлагают пользователю. По признанию Саенко, самое приятное «приобретение» – ощущение того, что большие данные позволяют решать задачи, которые раньше казались нерешаемыми. «Вот именно за этим и стоит идти в профессию», – говорит он.
Чем занимаются дата-сайентисты?
На работу с данными дата-сайентисты тратят 80% времени, из которых только 20% – непосредственно на сбор, и около 60% – на «очистку», – рассказывает Даниил Анцибор, выпускник Big Data School 2.0. Он занимается проектами в сфере customer success. Обработка больших данных позволяет изучать потребности, пожелания, привычки клиентов и делать их счастливыми, пресекая отток – и тем самым повышая доход бизнеса.
Развитие NLP (natural language processing – обработка естественной речи) используется как в бизнесе, так и в социальных проектах. Например, у одного из выпускников Big Data School есть проект, связанный с распознаванием названия товаров от разных поставщиков. Оказалось, что люди называют одни и те же вещи по-разному. Алгоритм способен свести все в одну систему названий и таким образом упростить прогнозирование спроса и закупки товаров.
В мире не так много компаний имеют собственный массив больших данных.
У «Киевстар» он есть. Студенты Big Data School проходят обучение на реальных кейсах и работают с реальными данными.
Это позволяет уже на этапе обучения лучше понять потребности бизнеса и получить реальный опыт.
В мире есть кейсы, где речевая технология NLP используется для выявления детей, склонных к преступлениям в будущем, или людей, которые находятся на грани суицида.
Но это только одно из возможных направлений. Во многих странах большие данные уже сейчас широко применяются для решения серьезных задач государственного масштаба.
Так, в Норвегии 18 000 человек ежегодно погибает от пожара. Страна начала использовать камеры видеонаблюдения и собранные с их помощью данные, чтобы определять пожар за пределами помещений, где стоят обычные датчики. Например, если на улице горит автомобиль, нейронные сети распознают и классифицируют объект возгорания. На пульт службы быстрого реагирования поступает информация не только о самом факте пожара, но и о том, как меняется «поведение» огня, пострадали ли люди, как можно их эвакуировать и т. д.
В Южной Корее благодаря логам с телефона происходит оптимизация транспортной системы. Власти изучили данные о том, как люди перемещаются по городу, и в соответствии с этим изменили маршруты, график движения транспорта и т. д.
В чем особенность Big Data School от «Киевстар»?
По словам Николая Микитенко, курс полезен тем, что он дает не только знания о стыке технологий, но и опыт работы с реальными кейсами big data. Хотя большие данные «в моде» уже несколько лет, но в мире (а в Украине – тем более) есть не так много компаний, обладающих таким «богатством». А поскольку «Киевстар» – один из первопроходцев и лидеров по накоплению и обработке больших данных, это делает обучение уникальным.
Второе, за чем он советует идти в Big Data School, – это понимание потребностей бизнеса, без чего ни один проект в сфере больших данных не станет успешным. Третье – обучение визуализации big data. Бизнесу непонятно, что делать с «сырыми данными», а для профессионального успеха специалист должен уметь визуализировать, объяснить полученный результат. И это входит в программу обучения.
