داده کاوی Microsoft Data mining

نصب و پیاده‌سازی محیط‌های عملیاتی

– آشنایی با ورژن‌های مختلف پایتون و نصب پایتون در لینوکس یا ویندوز همراه با نصب پکیج آناکوندا و آشنایی با پکیج‌های مهم

– نصب و ایجاد محیط اولیه در Eclipse و اجرای یک برنامه پایتون

– نصب و ایجاد محیط اولیه در Visual Studio Code و ایجاد یک برنامه پایتون

– نصب و ایجاد محیط اولیه در Jupyter و ساخت یک دفترچه پایتون

مفاهیم پایه داده‌ها و ریاضی و آماری

– داده و درک مفهوم ویژگی (Feature)، بعد (Dimension) و ماتریس (Matrix) و درک مفهوم تنسور (Tensor) و کاربرد آن در داده‌کاوی

– آشنایی و کار با کتابخانه‌ی Numpy و Scipy برای انجام عملیات آماری

– آنالیز مولفه‌ اصلی (PCA) و TSNE و کاربرد آن در نمایش داده‌ها و کاهش ابعاد

– بارگزاری داده‌ها و تعامل با داده‌ها با استفاده از کتابخانه‌ی Pandas

نمایش داده‌ها

– آشنایی با نمودارهای مختلف (Pie، Histogram، Bar، Line، Flow و…) و کاربرد هر یک از آن‌ها

– نحوه‌ی نمایش هیستوگرام و کاربرد آن با کتابخانه‌ی Matplotlib

– نمایش داده‌ها به صورت تعاملی در کتابخانه‌ی Boken

طبقه‌بندی و رگرسیون و الگوریتم‌های مختلف آن

– آشنایی با نمونه داده‌های طبقه‌بندی و کاربردهای آن

– بررسی مجموعه داده‌های iris (تشخص گل‌های زنبق از روی ویژگی‌ها)، MNIST (تشخیص تصاویر دست‌نوشته)، Boston Housing (قیمت‌گذاری هوشمند خانه) به عنوان نمونه‌های ساده و کاربردی

– معرفی روش‌ها و مراجع جمع‌آوری داده‌ها و استفاده از آن:

• مثال پیش‌بینی هوشمند هزینه و تخمین ارزش کالا
• مثال پیش‌بینی وضعیت هوا و هواشناسی
• مثال کنترل ترافیک هوشمند با استفاده از داده‌های شهری
• مثال تحلیل احساسات و استقبال/عدم استقبال کاربران از محصول یک فروشگاه با استفاده از کامنت‌های کاربران
• مثال پیش‌بینی و توصیه محصول مورد نیاز کاربر در فروشگاه اینترنتی
• مثال پیش‌بینی خرید کاربر با توجه به رفتار او در فروشگاه اینترنتی
• مثال تشخیص هوشمند حملات هکرها به سرور
• مثال پیش‌بینی هوشمند جرائم شهری و پیش‌گیری از وقوع جرم
• مثال پیش‌بینی مصرف سوخت اتومبیل

– آشنایی و پیاده‌سازی طبقه‌بندی با الگوریتم نزدیک‌ترین همسایه (KNN) در پایتون

– آشنایی و پیاده‌سازی طبقه‌بندی با الگوریتم ماشین بردار پشتیبان (SVM) و آشنایی با انواع مختلف پیاده‌سازی و پارامترهای آن در پایتون

– آشنایی و پیاده‌سازی طبقه‌بندی با الگوریتم بیز ساده (Naive Bayes) و انواع مختلف آن با توجه به توزیع آماری داده‌ها

– بررسی درخت‌های تصمیم (Decision Trees) و پیاده‌سازی آن‌ها در حل مسائل طبقه‌بندی در پایتون

– آشنایی و پیاده‌سازی طبقه‌بندی با الگوریتم‌های ترکیبی (RandomForest، AdaBoost و…) در پایتون

– آشنایی با الگوریتم‌های XGBoost و CatBoost و کتابخانه‌های XGBoost و CatBoost

– آشنایی با معیارهای مختلف ارزیابی کیفیت طبقه‌بندی

• Accuracy
• Precision
• Recall
• F1
• ROI AUC

خوشه‌بندی و الگوریتم‌های مختلف آن

– آشنایی با نمونه داده‌های خوشه‌بندی و حل مسائل کاربردی آن

– کاربرد و آشنایی با روش‌های عملی خوشه‌بندی

• مثال گروه‌بندی مشتریان (وب‌سایت و فروشگاه) با روش RFM و RFM مبتنی بر زمان
• مثال گروه‌بندی تصاویر دست نوشته
• مثال گروه‌بندی هوشمند مطالب وب‌سایت بدون استفاده از ناظر
• مثال گروه‌بندی حملات هکرها به یک سرور

– آشنایی و پیاده‌سازی خوشه‌بندی با الگوریتم KMeans

– بررسی و پیاده‌سازی خوشه‌بندی با DBSCAN و OPTICS

– آشنایی با پیاده‌سازی DBSCAN سلسله مراتبی و کتابخانه‌ی HDBSCAN

– آشنایی و پیاده‌سازی خوشه‌بندی با الگوریتم MeanShift

– آشنایی و پیاده‌سازی خوشه‌بندی با الگوریتم سلسله مراتبی (Hierarchical Clustering)

– آشنایی و پیاده‌سازی خوشه‌بندی با الگوریتم خوشه‌بندی طیفی (Spectral Clustering)

– آشنایی با روش‌های ارزیابی کیفیت خوشه‌ها

• Silhouette
• کالینسکلی
• و…