مهندس داده (Data Engineer)

R for Data Engineering – 

BigData Analysis With Hadoop Ecosys – 

مهندس داده کیست؟

معمار استخوان‌بندی مسیر جمع‌آوری، یکپارچه سازی و پاکسازی اولیه داده. در واقع مهندس داده کسیست که داده‌ها را از طیف وسیعی از منابع ساختارمند و بدون ساختار جمع‌آوری، آن ها را یکپارچه و در نهایت برای تحلیل‌های تحلیلگر یا دانشمند داده آماده یا استفاده‌های بعدی آماده می‌نماید. معمولا اغلب مهندسین داده تجربه کار قبلی به عنوان تحلیلگر یا بعضا دانشمند داده را داشته اند. برای این شغل معمولا انتظار میرود که شما به یک یا چند زبان از زبان‌های مطرح علم داده یا حداقل به مهم‌ترین آن‌ها یعنی R، پایتون و SQL تسلط نسبی داشته باشید. همین همینظور معمولا انتظار میره که تا حدی هم به مفاهیم Big Data آشنا باشید. در عین حال شغل دیگری نیز با عنوان متخصص کلان داده یا Big Data هم توی این حوزه وجود دارد. اگر که شما با حجم زیادی از داده‌هایی با جنس‌های مخلتف روبرو شوید که با سرعت زیادی هم تولید می شوند معمولا ناچار هستید که از روش‌های Big Data استفاده کنید. البته این قضیه در مورد پردازش داده‌هایی که حجمشان انقدر زیاد است که داخل رم جا نمی شود یا در مواردی که مدل تحلیلی ساخته شده انقدر بزرگ باشد که در رم جا نشود نیز صادق است.

وظایف مهندس داده

-طراحی، توسعه، ساخت و نگهداری معماری داده‌ها

-طراحی و ایجاد زیرساخت مورد نیاز برای استخراج،تبدیل، تغییر، ترمیم و پاکسازی داده از منابع مختلف اطلاعاتی ساخت یافته یا بدون ساختار و بارگذاری داده‌ها به صورت مورد نیاز و خودکار‌سازی این فرآیند

-ایجاد راه کار‌هایی به منظور ارتقای کیفیت و قابلیت اطمینان داده‌ها

-تبدیل و تغییر‌داده‌ها به منظور استفاده توسط تحلیل‌گر یا دانشمند داده

مهارت های مورد نیاز جهت تبدیل شدن به مهندس داده:

-دانش عمیق در مورد SQL  و یا دیگر سولوشن های پایگاه داده

- دانش در خصوص انباره داده و ابزارهای ETL

-تحلیل های بر پایه Hadoop و دانش در خصوص کلان داده ها

-توانایی کد نویسی با یکی از زبان های Python، R و ...

-دانش در زمینه یادگیری ماشین