علوم داده و هوش مصنوعی

دوره آموزش بیگ دیتا (Big Data)

40دانشجو
۴۰ ساعت
Big Data

درباره این دوره

داده‌ها به عنوان یکی از عناصر اصلی در کسب و کارهای مدرن محسوب می‌شوند. کسب و کارها از این داده‌ها برای تصمیم گیری‌های مهم استفاده می‌کنند. هرچه یک کسب و کار، داده‌های بیشتری داشته باشد و بتواند این داده‌ها را با سرعت پردازش کند، قدرت بیشتری در تشخیص رفتار کاربر، پیش‌بینی آینده و محاسبه کسب‌وکار خواهد داشت.

کلان داده‌ (Big Data) به مجموعه‌ای از داده‌ها گفته می‌شود که حجم زیادی دارند و در عین حال حجم آن‌ها با گذشت زمان به صورت تصاعدی بیش‌تر می‌شود. این داده‌ها بسیار حجیم و پیچیده هستند، به طوری که هیچ یک از ابزارهای سنتی مدیریت داده‌ها، امکان ذخیره یا پردازش آن‌ها را به طور کارآمد ندارند.

مزایای big data:

نحوه‌ی استخراج اطلاعات از دیتاهای خام و استفاده‌ی بهینه‌ از آنها در برنامه‌ریزی‌های آتی اهمیت زیادی دارد. استخراج داده‌ها و تجزیه و تحلیل آنها کمک بسیاری به کاهش هزینه‌ها، صرفه‌جویی زمان، توسعه محصول جدید، تصمیم‌گیری هوشمندانه و .. می‌کند. از جمله مزایای big data میتوان به موارد زیر اشاره نمود:

  • مدیریت ریسک
  • بهبود تجربه مشتری
  • افزایش بهره‌وری و درآمد
  • کاهش هزینه‌های سازمان
  • تصمیم‌گیری بهتر و سریع‌تر
  • کمپین‌های متمرکز و هدفمند
  • توسعه محصول و ایجاد نوآوری
  • شبکه‌های تامین‌کننده گسترده
  • تشخیص کلاهبرداری (Fraud Detection)

سایر دوره‌های مرتبط شامل دوره داده کاوی  و آموزش متن کاوی هستند.

سرفصل‌های دوره
  • What is Big Data
  • Big Data opportunities, Challenges
  • Characteristics of Big Data
  • Hadoop Distributed File System
  • Comparing Hadoop & SQL
  • Industries using Hadoop
  • Data Locality
  • Hadoop Architecture
  • Map Reduce & HDFS
  • HDFS Design & Concepts
  • Blocks, Name nodes and Data nodes
  • HDFS High-Availability and HDFS Federation
  • Hadoop DFS The Command-Line Interface
  • Basic File System Operations
  • Anatomy of File Read, File Write
  • Block Placement Policy and Modes
  • Metadata, FS image, Edit log, Secondary Name Node and Safe Mode
  • Map Reduce Functional Programming Basics
  • Map and Reduce Basics
  • How Map Reduce Works
  • Anatomy of a Map Reduce Job Run
  • Shuffling and Sorting
  • Splits, Record reader, Partition, Types of partitions & Combiner
  • Distributed Cache
  • Sequential Files and Map Files
  • Map side Join with distributed Cache
  • Hands on “Word Count” in Map Reduce in standalone and Pseudo Distribution Mode
  • Write some Map Reduce programs to solve some real world problems
  • Architecture Overview
  • ResourceManager
  • YARN Scheduling Components
  • FIFO Scheduler
  • Capacity Scheduler
  • Fair Scheduler
  • NodeManager
  • YARN Resource Model
  • ApplicationMaster Container Allocation
  • What is Hive?
  • Architecture of Hive
  • Installing Hive
  • Configuring Hive
  • HIVE Data Types
  • Create Database Statement
  • Drop Database Statement
  • Create Table Statement
  • Load Data Statement
  • Alter Table Statement
  • Rename to… Statement
  • Change Statement
  • Add Columns Statement
  • Drop Table Statement
  • Partitioning
  • Views and Indexes
  • Creating a View Example
  • Creating an Index Example
  • Creating MySQL Database Tables
  • Setting the Environment
  • Importing into HDFS
  • Exporting from HDFS
  • Importing into Hive
  • Importing into HBase
سوالات متداول
این دوره بصورت آنلاین در بستر ادوبی کانکت adobe connect یا BigBlueButton برگزار میگردد.
پس از گذراندن دوره و در صورت کسب نمره قبولی در آزمون‌ها و پروژه‌ها به فراگیران گواهینامه ارائه می‌شود.
دوره هایی که هزینه آن ها بالای ۱۰ میلیون تومان است شرایط پرداخت اقساط دارند، برای اطلاع از نحوه پرداخت اقساط با کارشناس دپارتمان هماهنگی های لازم را انجام دهید.
برای شرکت در این دوره باید با تحلیل دیتا و برنامه نویسی پایتون آشنایی داشت.
جهت آشنایی با نحوه ترجمه مدارک جهاد دانشگاهی صنعتی شریف به این وبلاگ مراجعه کنید.
اساتید دوره
ostsd amiri
آقای مهندس امیری
دیدگاه‌ها

دیدگاه خود را بنویسید
ایمیل شما منتشر نخواهد شد.

مصاحبه با دانشجویان
مشخصات دوره

زمان شروع دوره اعلام می گردد.

تاریخ شروع

اعلام میگردد

روزهای برگزاری

پنجشنبه و جمعه

مدت زمان

۴۰ ساعت

نحوه برگزاری
امکان پرداخت اقساطی

پرداخت قسطی
با اسنپ پی

پیش‌نیازها

برای شرکت در این دوره باید با تحلیل دیتا و برنامه نویسی پایتون آشنایی داشت.

دوره‌های مرتبط
Python
آنلاین
علوم داده و هوش مصنوعی

دوره آنلاین برنامه نویسی پایتون

شروع : ۱۴۰۵/۰۳/۲۶
روزهای برگزاری : یکشنبه و سه شنبه
۴۰ ساعت
102 دانشجو

۷.۳۰۰.۰۰۰ تومان

Data Scientist
آنلاین
علوم داده و هوش مصنوعی

دوره تربیت دانشمند داده و هوش مصنوعی

شروع : ۱۴۰۵/۰۴/۱۸
روزهای برگزاری : پنجشنبه و جمعه
۹۲ ساعت
411 دانشجو

۱۶.۹۰۰.۰۰۰ تومان

Data Science
آنلاین
علوم داده و هوش مصنوعی

دوره جامع علم داده (Data Science)

شروع : ۱۴۰۵/۰۴/۱۱
روزهای برگزاری : پنجشنبه و جمعه
۱۴۴ ساعت
973 دانشجو

۲۰.۸۰۰.۰۰۰ تومان