Интенсив по BigData: быстрый старт в Data Science

Направление
Data Science
Формат
Видео в записи
Вебинар
Домашние задания
Нет
Итоговый экзамен
Нет
Количество уроков
1
Документ об обучении
Диплом
Обратная связь
Нет
Доступ
Сразу после покупки
Последнее обновление 29.11.2022

О курсе

Специалист по Big Data — это программист, который работает с большими массивами данных разной степени разрозненности и структурированности: банковские счета, запросы пользователей в поисковых системах, поведение пользователей социальных сетей, публикации СМИ, открытые фото- и видеофайлы, данные сейсмической активности планеты, метеорологические сводки и другие данные, которые занимают терабайты памяти, превосходят возможности типичных баз данных и доступны для обработки только компьютером.

Чем занимается специалист по Big Data и специалист по машинному обучению:

Постановка целей анализа совместно с заказчиком
Составление технического задания на анализ неструктурированного массива данных
Сбор и исследование массива данных, выявление существенных признаков, поиск закономерностей
Компьютерное моделирования процесса анализа / машинного обучения на небольших объемах данных
Оптимизация процесса анализа, корректировка алгоритмов
Применение алгоритмов ко всему объему данных
Оценка результатов
Составление отчетов с прогнозами и презентацией данных

Управление большими данными предполагает создание и применение информационных технологий нового поколения, обеспечивающих экономически эффективное извлечение, статистическую обработку и визуализацию полезной информации из больших объемов разнообразных данных. Высокую скорость сбора, обработку и анализ.

После изучения курса слушатели будут:
знать методы анализа больших данных на всех этапах жизненного цикла методологической и технологической инфраструктуры в организации;

уметь загружать данные из разных источников;

собирать, очищать, подготавливать и объединять полученные данные;

производить сцепление и наложение данных, слияние и замену значений;

работать с пропущенными значениями, повторами, объединением и переформированием данных;

осуществлять фильтрацию, группировку, агрегацию и выполнять описательную статистики

вычислять центральную тенденции, среднее, медиану и моду;

выполнять разведывательный анализ, вычислять дисперсию, стандартное отклонение, ковариации, корреляции, строить распределение и заниматься постановкой гипотез

применять методы и технологии исследования больших данных;

владеть навыками разработки продуктов, услуг и решений на основе больших данных;

анализировать большие данные с использованием существующей в организации методологической и технологической инфраструктуры.

Большие данные (big data) — обозначение структурированных и неструктурированных данных огромных объёмов и значительного многообразия. В качестве источников такой информации могут выступать непрерывно поступающие данные с измерительных устройств и детекторов, потоки сообщений из социальных сетей, метеорологические данные, данные дистанционного зондирования земли, потоки данных о местонахождении абонентов сетей сотовой связи. Существующие решения для управления большими объёмами данных в области информационных технологий помогают эффективно переносить, хранить и анализировать данные. Решения Big Data уже доказали свою необходимость в современном мире бизнеса. Их интеграция стремительно увеличивает эффективность работы компании и гарантирует значительный рост дохода.


В результате освоения программы «Специалист по Big Data» слушатель научится работать с Big Data: структурировать данные, выдвигать и проверять гипотезы, находить закономерности и делать выводы. Изучаемые инструменты помогут принимать решения на основе анализа данных.

Изучение специальных библиотек поможет легко обрабатывать большие данные:

Библиотека numpy — решать вычислительные задачи, работать с массивами и матрицами;

Библиотека pandas — загружать различные виды данных, анализировать и обрабатывать их;

Библиотека matplotlib — визуализировать данные;

Библиотека seaborn — легко проводить наглядную визуализацию сложных данных и выявлять имеющиеся тенденции.