تربیت مهندس داده (Data Engineer)

data engineer

اطلاعات بیشتر​

داده‌ها به عنوان یکی از عناصر اصلی در کسب و کارهای مدرن محسوب می‌شوند. کسب و کارها از این داده ها برای تصمیم‌گیری‌های مهم استفاده می‌کنند. هر چه یک کسب و کار داده‌های بیشتری داشته باشد و بتواند این داده‌ها را با سرعت پردازش کند، قدرت بیشتری در تشخیص رفتار کاربر، پیش‌بینی آینده و محاسبه کسب‌وکار خواهد داشت. مهندسی داده به عنوان یک شغل نوظهور در زمینه پردازش داده‌ها، نقش مهمی در سیستم‌های اطلاعاتی مقیاس پذیر روز دنیا ایفا می‌کند.

مهندس داده باید اطمینان حاصل کند که تمامی داده‌ها در زمان مناسب، بدون نقص و با کیفیت مطلوب در اختیار واحدهای تحلیل قرار بگیرد. مهندسان داده مسئول ساخت خطوط داده هستند و اغلب باید از ابزارها و تکنیک‌های پیچیده‌ای برای مدیریت داده‌ها در مقیاس بزرگ استفاده کنند. 

 یک مهندس داده چه وظایفی دارد؟

  • طراحی محصول
  • مدیریت جداول و Dataset ها
  • توسعه خطوط انتقال داده (Data Pipelines)
  • تجزیه و تحلیل داده
  • ایجاد زیرساخت کلان داده
  • طراحی ETL و ساخت انبار داده
  • یکپارچه سازی منابع داده‌ای مختلف
  • ساخت، مدیریت و بهینه سازی پایگاه داده
  • طراحی، توسعه، ساخت و نگهداری معماری داده‌ها
  • ایجاد راه کار‌هایی به منظور ارتقای کیفیت و قابلیت اطمینان داده‌ها
  • تبدیل و تغییر‌ داده‌ها به منظور استفاده توسط تحلیل‌گر یا دانشمند داده

 

مهندس داده به چه مهارت‌هایی نیاز دارد؟

  • دانش در خصوص انباره داده و ابزارهای ETL
  • توانایی کدنویسی با  زبان R  یا زبان پایتون
  • تحلیل‌های بر پایه Hadoop و دانش در خصوص کلان‌داده‌ها
  • دانش عمیق در مورد SQL و یا دیگر سولوشن‌های پایگاه داده

 

مهندس داده

آموزش مهندس داده برای چه افرادی مناسب خواهد بود:

علاقمندان به ذخیره و پردازش و تجزیه و تحلیل داده‌ها و افرادی که به دنبال آموزش‌های کاربردی و ارتقاء مهارت‌های خود هستند، می‌توانند در این دوره شرکت نمایند.

فارغ التحصیلان دوره آموزشی مهندس داده می‌توانند در زمینه پردازش داده ها و تحلیل داده های آماری، یادگیری ماشینی، یادگیری عمیق، متن کاوی، پردازش تصویر و… به فعالیت بپردازند.


مسیر یادگیری دوره مهندس داده در جهاد دانشگاهی صنعتی شریف:

دوره آموزشی مهندس داده در جهاد دانشگاهی صنعتی شریف با رویکرد کسب مهارت های تخصصی مورد نیاز، تهیه و تدوین شده است. در این دوره آموزشی به تدریج با مباحث و اصول مهندس داده از جمله: آموزش داده کاوی، آموزش بیگ دیتا و… آشنا می شوید.

سایر آموزش های مرتبط با این حوزه شامل دوره علم داده می باشد.

سرفصل‌های آموزشی​ دوره مهندس داده

    • مبانی پایتون 
      • مقدمه
      • نصب
      • آشنایی با محیط
      • انواع داده
    • مباحث کاربردی در پایتون
      • استفاده از شرط
      • حلقه ها
      • توابع
    • آشنایی با توابع 
      • نوشتن تابع
      • استفاده از Package
      • انجام عملیات و طراحی توابع به صورتvectorized  با استفاده از numpy و pandas
    • توابع رشته و دستکاری رشته‌ها

       

    • توابع زمانی و دستکاری تاریخ و زمان

       

    • ورود داده 
      • ورود داده از فایل های flat و تعامل با آن‌ها
      • ورود داده از Excel و تعامل با آن
      • ورود داده از DB و تعامل با آن‌ها
      • ورود داده از وب
      • ورود داده‌های Json و تعامل با آن‌ها
    • پاکسازی داده‌ها در پایتون  
      • آشنایی با فرآیند پاکسازی داده
      • مرتب کردن داده
      • رفع مشکل داده‌های گم شده
      • تغییر داده و تلفیق داده
      • فیلتر کردن داده
      • ترکیب داده
      • آشنایی با Join در Python
  •  
    •  
    •  
    •  
    •  
    • Introduction to Big Data 
      • What is Big Data
      • Big Data opportunities, Challenges
      • Characteristics of Big Dat

    • Introduction to Hadoop

      • Hadoop Distributed File System

      • Comparing Hadoop & SQL

      • Industries using Hadoop

      • Data Locality

      • Hadoop Architecture

      • Map Reduce & HDFS

    • Hadoop Distributed File System (HDFS)

      • HDFS Design & Concepts

      • Blocks, Name nodes and Data nodes

      • HDFS High-Availability and HDFS Federation

      • Hadoop DFS The Command-Line Interface

      • Basic File System Operations

      • Anatomy of File Read, File Write

      • Block Placement Policy and Modes

      • Metadata, FS image, Edit log, Secondary Name Node and Safe Mode

    • Map Reduce

      • Map Reduce Functional Programming Basics

      • Map and Reduce Basics

      • How Map Reduce Works

      • Anatomy of a Map Reduce Job Run

      • Shuffling and Sorting

      • Splits, Record reader, Partition, Types of partitions & Combiner

      • Distributed Cache

      • Sequential Files and Map Files

      • Map side Join with distributed Cache

    • Map Reduce Programming – Java Programming

      • Hands on “Word Count” in Map Reduce in standalone and Pseudo Distribution Mode

      • Write some Map Reduce programs to solve some real world problems

    • YARN Component

      • Architecture Overview

      • ResourceManager

      • YARN Scheduling Components

      • FIFO Scheduler

      • Capacity Scheduler

      • Fair Scheduler

      • NodeManager

      • YARN Resource Model

      • ApplicationMaster Container Allocation

    • Apache Hive

      • What is Hive?

      • Architecture of Hive

      • Installing Hive

      • Configuring Hive

      • HIVE Data Types

      • Create Database Statement

      • Drop Database Statement

      • Create Table Statement

      • Load Data Statement

      • Alter Table Statement

      • Rename to… Statement

      • Change Statement

      • Add Columns Statement

      • Drop Table Statement

      • Partitioning

      • Views and Indexes

      • Creating a View Example

      • Creating an Index Example

    • Apache Sqoop

      • Creating MySQL Database Tables

      • Setting the Environment

      • Importing into HDFS

      • Exporting from HDFS

      • Importing into Hive

      • Importing into HBase

      •  

سوالات متداول​

این دوره بصورت آنلاین و در بستر ادوبی کانکت Adobe connect برگزار می‌شود.

پس از گذراندن دوره و در صورت کسب نمره قبولی در آزمون‌ها و پروژه‌ها به فراگیران گواهینامه ارائه می‌شود.

دوره‌هایی که هزینه آن‌ها بالای 4 میلیون تومان است شرایط پرداخت اقساط دارند. برای اطلاع از نحوه پرداخت اقساط با کارشناس گروه آموزشی مربوطه هماهنگی‌های لازم را انجام دهید.

برای شرکت در این دوره باید با تحلیل دیتا و برنامه نویسی پایتون آشنایی داشت.

جهت آشنایی با نحوه ترجمه مدارک جهاد دانشگاهی صنعتی شریف به این لینک مراجعه کنید.

نظرسنجی​

مهندس داده
مهندس داده

14 دیدگاه

  • سحر
    2 مرداد 1402 در 6:31 ب.ظ

    سلام وقت بخیر
    آیا این دوره پروژه محور هست و برای ورود به دنیای کار بیگ دیتا خوب است؟

  • الهام نصرالهی
    25 تیر 1402 در 5:48 ب.ظ

    سلام هزینه دوره چقدر هست وپیش نیاز دوره چی هست؟

    • 26 تیر 1402 در 9:26 ق.ظ

      سلام. برای شرکت در این دوره باید با تحلیل دیتا و برنامه نویسی پایتون آشنایی داشت. هزینه دوره 5,100,000 تومان هست.

      • مهدی کیخا
        21 مرداد 1402 در 6:01 ب.ظ

        برای تحلیل دیتا چه دوره‌ای رو پیشنهاد می‌کنید که بعد از اون بیام سراغ این دوره؟ چون فکر میکنم مهندسی داده رو دوست داشته باشم و بتونم در اون مهارت کسب کنم

        • 23 مرداد 1402 در 9:51 ق.ظ

          سلام. پیشنهاد میشود ابتدا دوره علم داده را شرکت کنید تا دید کلی نسبت به همه حوزه های علم داده بدست آورید و بعد از آن وارد حوزه های تخصصی تر این حوزه شوید.

  • فرزاد
    25 تیر 1402 در 1:24 ب.ظ

    ساعات برگزاری دوره و مدرس دوره چه کسی است؟

  • حسام
    3 آبان 1401 در 7:27 ب.ظ

    سلام وقت بخیر. این دوره در تقویم پاییز هست؟

  • mehran
    21 شهریور 1401 در 9:03 ق.ظ

    سلام یه سوال داشتم مهندس داده از نرم افزارهای power bi یا tableau هم استفاده میکنه؟

    • 21 شهریور 1401 در 9:05 ق.ظ

      سلام، بله از این ابزارها هم استفاده میشه،ولی خب توی سازمان های مختلف از ابزارهای متنوعی استفاده میکنن.

  • علی ضیایی
    21 شهریور 1401 در 8:44 ق.ظ

    سلام فرق این دوره با علم داده چیه؟

    • 21 شهریور 1401 در 8:53 ق.ظ

      سلام. موضوعات دوره علم داده بیشتر تمرکزش بر هوش مصنوعیه. مثلا با استفاده از علم داده یا ماشین لرنینگ میشه تقلب توی سیستم های بانکی رو تشخیص داد. همچنین علم داده الگوهای ناشناخته رو برای ما کشف میکنه. مهندسی داده بیشتر با جمع اوری داده ارتباط داره. مثلا شما مجموعه ای از داده ها رو در جاهای مختلف دارین و با ابزارها و مکانیزم های مختلفی این داده ها رو جمع آوری میکنین

ثبت نام
  • تاریخ شروع: 1403/07/05
  • مدت دوره: 64 ساعت
  • روزهای برگزاری: پنجشنبه و جمعه
  • شهریه: 6,800,000 تومان
  • nahvehb نحوه برگزاری: آنلاین
  • امکان پرداخت بصورت اقساط وجود دارد

مشاوره و ثبت‌نام:

دوره‌های پیشنهادی