Made академия больших данных отзывы

Академия больших данных Made

Бесплатный образовательный проект от Mail.ru Group в области Data Science и Big Data. Он разработан экспертами из индустрии и научного мира специально для специалистов с опытом работы в IT. Занятия очной программы будут проходить в центре Москвы, на площадке НИТУ «МИСиС» – вуза-партнера академии. Дистанционную программу можно проходить из любой точки мира – участникам будут доступны видеозаписи лекций, задания и общение с менторами в чатах.

О компании

Бесплатный образовательный проект от Mail.ru Group в области Data Science и Big Data. Он разработан экспертами из индустрии и научного мира специально для специалистов с опытом работы в IT. Сильнейшие студенты получат приглашения в команды Mail.ru Group. Курсы будут проходить очно в Москве и дистанционно — участники сами могут выбрать форму обучения.

Вести занятия будут эксперты по Data Science и Machine Learning из Mail.ru Group, а также преподаватели ведущих технических вузов.

Учащиеся получат практические навыки в прикладном анализе данных, разработке моделей машинного обучения для высоконагруженных сервисов, обработке больших данных, компьютерном зрении, обработке естественного языка, распознавании речи и в других областях.

Помимо лекций слушателей ждет разбор реальных задач из разных сфер бизнеса, мастер-классы и работа над индивидуальными и командными проектами. Слушатели академии смогут регулярно общаться с менторами и преподавателями на занятиях и получать обратную связь по домашним заданиям.

Занятия очной программы будут проходить в центре Москвы, на площадке НИТУ «МИСиС» – вуза-партнера академии. Дистанционную программу можно проходить из любой точки мира – участникам будут доступны видеозаписи лекций, задания и общение с менторами в чатах.

Это Ваша организация? Подтвердив это, Вы сможете редактировать материалы, размещать курсы и скидки, а также использовать другие возможности нашего ресурса.

Портрет российского специалиста Data Science от MADE и hh.ru

16 июля 2020 г. Академия больших данных MADE от Mail.ru Group и hh.ru составили портреты российских специалистов по анализу данных (Data Science) и машинному обучению (Machine Learning). Аналитики выяснили, где они живут и что умеют — а также чего ждут от них работодатели и как меняется спрос на таких профессионалов.

Академия MADE и HeadHunter проводят исследование уже второй год подряд. На этот раз эксперты проанализировали 10 500 резюме и 8100 вакансий.

Спрос на специалистов Data Science постоянно растет

Специалисты по анализу данных — одни из самых востребованных на рынке. В 2019 году вакансий в области анализа данных стало больше в 9,6 раза, а в области машинного обучения – в 7,2 раза, чем в 2015 году. Если сравнивать с 2018 годом, количество вакансий специалистов по анализу данных увеличилось в 1,4 раза, по машинному обучению – в 1,3 раза.

IT, финансы, B2B — три главных сферы для специалистов по анализу данных

Активнее других специалистов по большим данным ищут IT-компании (на их долю приходится больше трети – 38% – открытых вакансий), компании из финансового сектора (29% вакансий), а также из сферы услуг для бизнеса (9% вакансий).

Такая же ситуация и в сфере машинного обучения. Но здесь перевес в пользу IT-компаний еще очевиднее – они публикуют 55% вакансий на рынке. Каждую десятую вакансию размещают компании из финансового сектора (10% вакансий) и сферы услуг для бизнеса (9%).

С июля 2019 года по апрель 2020 года резюме специалистов по анализу данных и машинному обучению стало больше на 33%. Первые в среднем размещают 246 резюме в месяц, вторые – 47.

Чего ждут работодатели

Самый популярный навык — владение Python. Это требование встречается в 45% вакансий специалистов по анализу данных и в половине (51%) вакансий в области машинного обучения.
Также работодатели хотят, чтобы специалисты по анализу данных знали SQL (23%), владели интеллектуальным анализом данных (Data Mining) (19%), математической статистикой (11%) и умели работать с большими данными (10%).

Работодатели, которые ищут специалистов по машинному обучению, наряду со знанием Python ожидают, что кандидат будет владеть C++ (18%), SQL (15%), алгоритмами машинного обучения (13%) и Linux (11%).

Что умеют соискатели

В целом, предложение на рынке Data Science соответствует спросу. Среди самых распространенных навыков специалистов по анализу данных – владение Python (77%), SQL (48%), анализом данных (45%), Git (28%) и Linux (21%). При этом владение Python, SQL и Git – навыки, которые практически одинаково часто встречаются в резюме специалистов любого уровня. Опытных специалистов отличают развитые навыки анализа данных, в том числе интеллектуального (Data Analysis и Data Mining).

Хотите освоить машинное обучение или повысить свою квалификацию? Набор в Академию больших данных MADE ещё продолжается. Обучение бесплатное, но нужно пройти вступительные испытания. Записывайтесь по ссылке.

Вступительные экзамены MADE 2020. Программирование

Решил поднимать квалификацию в data science и машинном обучении, в ШАД экзамены в этом году я завалил, не успел приготовить математику, да и по программированию задачки попались сложные для меня, а вот в Академию больших данных от Mail.ru ещё есть шанс попасть. К тому же по отзывам учат там на убой. С небольшими накладками, но удалось решить 6 задач из 6 на экзамене по программированию, во многом благодаря тому, что дали по-сути безлимитное время. Публикую все мои решения, для тех кто не хочет ломать глаза о местную подсветку синтаксиса репозиторий здесь: https://github.com/holyketzer/ctci_v6/tree/master/python/made_2020

A. N-битовое разреженное число

Очень долго думал над ней, переугорел (видимо после лекций Савватеева по математике), вывел адскую формулу через решение квадратного уравнения, чтобы считать количество знаков в разреженном числе в зависимости от его номера, в итоге получилось:

B. Беспилотные автобусы на Манхеттене

Поначалу почитал условия и перешёл сразу к C, так как не особо люблю геометрию в такого рода задачах и субъективно решаю такие задачи хуже. Но после решения C посмотрел на статистику попыток решения в интерфейсе соревнования, которая красноречиво говорила, что B проще чем все следующие, ладно будем решать. Задача сводится к поиску правильных прямоугольников среди группы точек, немного подумав пришёл к алгоритму группировки точек по осям и поиску всех возможных комбинаций пары точек Y для пары точек X.

C. Казино Гальтона

Задача сводится к поиску всех возможных маршрутов шарика через пирамиду, и подсчёта очков на каждом из маршрутов, поначалу я пытался делать что-то рекурсивное, но потом понял что можно сделать через циклы если идти снизу вверх по пирамиде.

D. Немножко сломанный HTML

Эта задача сломала голову многим, в частности их-за небольшой ошибки в условиях (или скорее в тестах), так как в требованиям к формату вывода было написано выводить теги в верхнем регистре, а как позже выяснилось, тестовая система считала правильными ответы без преобразования регистра.

Вообще когда я брался за эту задачу, то времени оставалось уже около часа (из 4-х обещаных), а задачи оставалось ещё целых 3, и я не был уверен что успею решить хоть одну. После нескольких бесплодных попыток решения, я решил рискнуть и перешёл на F так как она казалась проще E (по количеству баллов). В итоге где-то в процессе решения F я обнаружил что время кончилось, но решения отправлять ещё можно, в MADE-чатике писали что-то про целые сутки, ну что ж халява, тогда решаем дальше!

В итоге решив все задачи, эту я дорешивал ещё очень долго и одна из моих попыток всё таки выбила 100 баллов на перепроверке через неделю, но во время экзамена у меня было 0 баллов, это ужасно деморализовало.

Я рассуждал так что если читать теги иди по порядку и отбрасывать корректно закрытые пары, и находить некорректные теги то задачу можно решить, но в итоге я умудрился найти кейс который некорректно работал на моём алгоритме и выдавал INVALID вместо ALMOST.

но я заметил если в случае INVALID для контроля прогнать этот алгоритм задом наперёд, то он находит ALMOST. На этом хрупком предположении я и строил своё решение, если до этого ничего кроме списка считаных тегов без пары в памяти хранить не приходилось, то здесь уже нужно было сохранить все теги, для этого я интернировал их и надеялся, что у меня не будет проблем на миллионе строк. В итоге это сработало.

E. Обиженные пассажиры

Эту задачу я пытался решить последней, так как боялся больше всего, в итоге она мне показалась самой лёгкой, здесь вообще никаких хитрых алгоритмов, просто аккуратно прочитай и сагрегируй данные и посчитай ответ

F. Продукты для застолья

Здесь хитрее, я предположил чтобы корректно решить её, надо использовать граф зависимостей, и на его основе определить порядок разбора блюд, сначала обрабатывать те которые состоят из простых ингредиентов, потом уже те которые из составных + кеш который содержит рецепты всех блюд выраженные в базовых ингредиентах, алгоритм построения графа зависимостей я нагуглил, чтобы долго не мучится.

С этой задачей я маленько попотел, проблема в том что моё решение падало с переполнением стека на рекурсии, насколько я понял, и всякие хитрости типа sys.setrecursionlimit(10000) не работали. Хотя возможно там возникал какой-то бесконечный цикл на хитром кейсе. В итоге немного переписав логику подсчёта для случая с базовыми ингредиентами мне удалось сдать и её.

В итоге в в рамках 4 часов мне бы удалось решить лишь 3 первых задачи, но щедрость и доброта организаторов не знает границ )

В математике я никогда не был силён, и хоть типа «решил» 7 задач, но если из них будет 2-3 верных решения, то это уже достижение. По ML умудрился набрать 166 баллов, так что думаю шансы поступить есть.

Made: как это было глазами студента

Что такое Академия больших данных MADE и для кого она?

Сейчас 19:08, конец рабочего дня. Я начинаю писать эту статью, потому что сегодня должен сдать ее редакторам в Mail.ru Group. Почему-то все, что связано с Академией MADE, у меня ассоциируется с легкой болью и преодолением. Даже статья про нее. 🙂 Благо боль эта приятная — как в мышцах после тренировки.

Академия MADE — это что-то вроде неофициальной магистратуры в области анализа данных и машинного обучения. Бесплатно, в формате «на выживание», на полтора года. Поступить сложно, учиться еще сложнее.

Для кого? С одной стороны, вроде как для всех, кто сдаст экзамены: со мной учились и студенты третьего-четвертого курса, и ребята старше меня (а мне 32). А с другой — это для тех, кто не ищет легких путей и готов идти по пути самурая, как называет это мой коллега по MADE Михаил. Больно сейчас, хорошо потом — это как раз именно такая история.

Так получилось, что я начал готовиться к поступлению за семь месяцев до экзаменов. Я тогда с трудом помнил, что такое производная и логарифм. Высшая математика была в университете больше десяти лет назад, а полноценных алгоритмов в моей жизни не было никогда. Максимум, что я делал, — писал рекурсию. Потом два года я писал на Java и пять-шесть лет занимался маркетингом, закупкой и аналитикой трафика.

MADE тогда еще не существовало, и я готовился к поступлению в ШАД. До экзаменов оставался один месяц. Его, конечно, не хватило на полноценную подготовку, и я не поступил. Я немного погрустил — и начал готовиться к следующему набору, который стартовал через год.

А через шесть месяцев открылся набор в Академию MADE. Это было неожиданно, и я думал, что еще не готов, но все-таки оставил заявку.

После семи месяцев подготовки пять-шесть дней в неделю по восемь-десять часов в день я каким-то чудом сдал экзамен по математике, решил контест по алгоритмам и занял 30 место из 527 в соревновании по анализу данных. Поступил!

Курсы и лекции, по которым я готовился:

Ну и, конечно, http://mathprofi.ru, который выручал, когда я не мог что-то решить. 🙂

Из книг помню точно, что купил и заглядывал во «Введение в алгебру» Кострикина. Остальные брал в библиотеке ситуативно (кстати, да, эти семь месяцев я сидел и учился в библиотеке), и уже, к сожалению, не вспомню.

Думаю, что это далеко не идеальная программа. Все субъективно: кто-то сделает упор на книги и решебники, кто-то — на курсы, а кто-то, возможно, наймет репетитора. Тем более за два года могли появиться новые классные курсы и лекции. Но я уверен в одном: нужно решать задачи. Как бы ни хотелось идеально понять теорию, все же нужно решать. И именно это, а не зубрежка теории, помогает интуитивному пониманию.

Мозг ленивый и отлично скатывается в имитацию работы вместо реальной работы. Поэтому, если бы я мог дать себе какой-то совет, он был бы очень простой: решать больше задач. 🙂

Я ожидал жесть — я получил жесть. Здесь все совпало.

Учеба у меня занимала в районе 30 часов в неделю. В основном время уходит на домашки, лекции можно смотреть на увеличенной скорости воспроизведения.

Когда я поступил, в тот же месяц мне предложили мою первую работу в сфере машинного обучения и у меня родился сын. Чем пришлось пожертвовать:

Но я учился хорошо. Если учиться «на троечку» и сдавать минимум, наверное, можно укладываться в заявленные 20 часов. Но это не точно.

Да, с одной стороны, конечно, было сложно. Но с другой — интересно. Соревнования — азартная штука, а часть домашек построена именно на них. И это не только классические Kaggle-соревнования, но и что-то экзотическое типа оптимизационных задач на графах или соревнований по сортировкам на алгоритмах. Или же это может быть классическое Kaggle-соревнование, но алгоритм ранжирования приходится писать самому с нуля.

Да и самые обычные домашки местами были просто огненные: раскодировать шифр с помощью MCMC-семплирования, обыграть казино в блэкджек, научив RL-алгоритм считать карты в колоде, собирать пятнашки с помощью графовых алгоритмов с эвристиками, написать свой PageRank на чистом C и распараллелить с OpenMP или закодить параллельное размытие картинки на чистой CUDA прямо на ядрах GPU.

И вместе с нейросетями, тоже начинается много всего интересного — от распознавания точек на лице и генерации подписей к картинкам до разных GANов. К примеру, наш выпускной проект генерировал картинку готовой еды по ингредиентам рецепта и описанию их приготовления. И местами получалось очень даже аппетитно. 🙂

Как перекатиться в Data Science

История о том, как я поменял сферу деятельности, что послужило мотивацией и как мне помогла академия MADE в этой затее.

Мотивация

В 2018 году я учился в аспирантуре и оказался на должности инженера в университете, занимаясь в основном рутинными вещами и бумажной работой. Такая работа вступала в резкий контраст с тем, что я видел, пока работал на производстве лопаток газотурбинных двигателей. На производстве все стремились заработать или как минимум где-то сэкономить, улучшив или ничего не потеряв в характеристиках изделий.

Была еще часть мотивации, связанная с тем, что один из братьев перекатился в ИТ, и после пары месяцев работы на аутсорсинговую компанию устроился фронтенд-разработчиком в крупный российский банк. Зарплата отличалась на порядок от моей в университете. Что вполне логично, ведь платят за ту ценность, которую ты можешь принести, а не за бумажную работу.

От аспирантуры у меня осталось смешанное впечатление. Возможно, я был плохим аспирантом, но как только я осознал, что тема диссера не принесет никому пользы, и диссертация после написания пойдет «в стол», возникло желание уйти из университета и взять академ в аспирантуре. Что я и сделал.

Ушел я в никуда. При этом у меня была отложена сумма, чтобы не отказывать себе в базовых потребностях 3 года (да, на производстве лопаток платили хорошо). Не буду рекомендовать так делать тем, кто только собирается перекатиться.

Первые «успехи»

Еще в аспирантуре меня как-то занесло сначала на курсы на Coursera по машинному обучению, а потом на совместное прохождение курса по DL от Carnegie Mellon University сообщества Open Data Science и на курс Юрия Кашницкого mlcourse.ai. После этого меня ждал «успех» с соревнованием в конце курса на Stepik по компьютерному зрению одной корейской компании. Первые 10 мест с соревнования обещали позвать на собеседование. Я был десятый. Мне пришло письмо с приглашением на собеседование (без назначенного времени, просто приглашение) и просьбой скинуть резюме. Я обрадовался и отправил резюме. Прошла неделя, но ответа так и не было. Я решил пингануть рекрутера и узнать, когда же будет собеседование. Но узнал, что резюме отклонил руководитель и собеседования не будет.

Параллельно с прохождением разных курсов я пробовал подаваться на вакансии, опубликованные в Open Data Science (ODS — крупнейшее русскоязычное сообщество специалистов по машинному обучению и анализу данных). Я проходил фильтры HR. Но потом чаще всего получал ответ, что нужно подучиться или поделать свои проекты / поучаствовать в соревнованиях по машинному обучению.

Я участвовал в соревнованиях на Kaggle и даже получил бронзовую медаль в соревновании Instant Gratification, сделав большой ансамбль из разных моделей. За счет того, что я доверял своей валидации, а не паблик скору на лидерборде, меня не скинуло вниз. Но бронза на Kaggle, как известно, не считается.

Второй успех, или как я попал в MADE

Спустя 3 месяца после увольнения, я увидел где-то упоминание об Академии больших данных MADE от Mail.ru Group. И решил попробовать. Несмотря на предупреждение, что MADE для специалистов с опытом работы в ИТ. Из релевантного опыта работы у меня было только программирование ПЛК на производстве и написание скриптов на Python для того, чтобы сконвертировать данные механических испытаний в нужный вид для статистической обработки. Все остальное — различные курсы.

При поступлении с экзаменом по математике проблем не возникло. С заданиями по алгоритмам были трудности, я решил только 2 задачи из четырёх за отведенное время. С таким результатом не поступить, когда конкурс — 40 человек на место.

В итоге меня выручило то, что кроме двух экзаменов при поступлении учитывались результаты вступительного соревнования по машинному обучению, где я занял 15-е место.

Обучение в MADE

Поступил я на дистанционное обучение (я не из Москвы) и выбрал специальность Data Scientist. Учитывая, что у меня было много свободного времени (я все еще нигде не работал), от учебы я старался взять все по максимуму. Кроме обязательных курсов по программированию на Python, алгоритмам и структурам данных, машинному обучению, я записывался на интересные мне дополнительные курсы:

Если записаться на 7 курсов одновременно, то на лекции и практические семинары будет уходить примерно 21 час в неделю (7 курсов * 3 часа * 1 лекция в неделю). Это без домашних заданий. На домашние задания чаще всего уходило больше, чем 3 часа на один предмет в неделю. В итоге приходилось расставлять приоритеты.

В домашних заданиях не раз приходилось реализовывать различные алгоритмы машинного обучения с нуля. И поначалу было очень больно. Но теперь я спокойно могу имплементировать статьи с arXiv.org и чаще всего получаю от этого удовольствие.

В Академии MADE есть известные и хорошие преподаватели. Такие, как Сергей Николенко и Дмитрий Ветров. Также много преподавателей из индустрии. Например, преподают команды по распознаванию речи из ЦРТ и по компьютерному зрению из Mail.ru Group (Ивана Карпухина из этой команды я выбрал в качестве ментора для своего выпускного проекта).

Последний семестр получился особенно суровым. Во-первых, выпускные проекты приходилось совмещать с другими предметами. Во-вторых, я нашел первую работу в Data Science (про это отдельный блок в конце поста), и только тогда осознал, что испытывали все мои сокурсники, совмещая работу с учебой.

P.S.: отдельно отмечу, что у выпускников MADE есть возможность пройти собеседования и трудоустроиться в подразделения Mail.ru Group. И если меня не взяли в отдел, который занимается Марусей, то это я сам виноват, что накосячил с тестовым. 🙂

P.P.S.: сейчас названия курсов и сами курсы могут отличаться. Команда Академии MADE проделывает колоссальную работу: постоянно собирает обратную связь и дорабатывает учебную программу.

Почти успех

После второго семестра была передышка в виде летних каникул. После курса по компьютерному зрению хотелось применить полученные знания и поучаствовать в соревнованиях. Выбор пал на кейс компании ITS в рамках Цифрового прорыва. В нем нужно было классифицировать и сегментировать колонии бактерий. Большинство нестандартных идей не улучшило результаты и в лучшем решении был стандартный U-Net с SE-ResNeXt-50 (32x4d), все возможные TTA и усреднение предсказаний моделей, обученных на 5 фолдах.

Из интересного остались только правильно подобранные аугментации. Ах, да, чуть не забыл. В соревновании был лик с частью масок из теста со случайным сдвигом в примере сабмита. Который разрешили использовать. И нужна была некоторая смекалка, чтобы с помощью этих масок сделать постобработку для предсказанных масок.

На паблике у меня было 3-е место. После открытия приватного лидерборда оказалось, что у меня всего лишь 4-е место и 40 тысяч рублей призовых.

Хакатон Роснефти и первая работа

В сентябре 2020 года РН-БашНИПИнефть — крупнейший научно-исследовательский институт Роснефти — проводил «Хакатон трех городов», где нужно было разработать алгоритм для корреляции отражающих горизонтов.

Задачу на хакатоне можно было переформулировать и как регрессию, и как сегментацию, и даже как поиск кратчайшего пути в графе. Было перепробовано все. Но машинное обучение работало не очень хорошо, так как организаторы дали весьма ограниченное количество данных.

В итоге решение состояло из жадного алгоритма в 30 строк кода и было написано в последний час до конца хакатона.

Слайд из презентации решения.

На публичном лидерборде я был четвертым, но после открытия приватного оказался на 3-м месте. На церемонии награждения познакомился с начальником отдела, который занимается Data Science проектами в РН-БашНИПИнефть. К слову, такие мероприятия — это как раз возможность нетворкинга с разработчиками и организаторами. После хакатона, как один из финалистов, я сразу получил оффер. И принял.

Когда я устроился, получил доступ ко всем данным, то и задачу хакатона решил совсем по-другому. Но про это уже не могу рассказывать из-за NDA.

Ну и стоило оно того?

Еще как стоило. Интересная работа и хорошая зарплата. Много интересных знакомств на соревнованиях и за время обучения в MADE. Чувство, что ты приносишь пользу обществу.

Не раз читал в ODS, что проще перекатываться в смежную область, но не внимал этим советам. А в итоге так и получилось. У меня техническое образование, связанное с нефтяной отраслью.

Сейчас идет набор в Академию MADE, и я рекомендую все-таки попробовать свои силы тем, кто сомневается. Будет тяжело поступить, и я уверен, что не все справятся с учебой. Но все равно попробуйте. Заявки принимаются до 31 июля 2021 года на сайте академии больших данных MADE.