۳۷ تا از پرکاربردترین الگوریتم های داده کاوی

داده کاوی (Data Mining) یکی از حوزه‌های مهم در علوم کامپیوتر و علوم داده است که به تجزیه و تحلیل داده‌های حجیم و پیچیده با هدف استخراج الگوها، اطلاعات مفهومی و روابط مفهومی می‌پردازد. از آنجا که داده‌ها به سرعت افزایش می‌یابند، استفاده از الگوریتم های داده کاوی برای استخراج اطلاعات اهمیت زیادی دارد. در این پست، به معرفی و توضیح انواع الگوریتم‌های داده کاوی خواهیم پرداخت.

الگوریتم در داده کاوی به چه معناست؟

الگوریتم در داده‌کاوی به معنای یک مجموعه مرتب و تعیین شده از مراحل و مراحل محاسباتی است که برای حل یک مسئله یا انجام یک وظیفه خاص در حوزه داده‌کاوی به کار می‌رود. داده‌کاوی یک عملیات پردازشی است که از داده‌های بزرگ و پیچیده استخراج اطلاعات مفهومی و الگوهای مخفی را هدف قرار می‌دهد. الگوریتم‌ها در داده‌کاوی معمولاً مراحل مشخصی را اجرا می‌کنند تا اطلاعات مهم و قابل استفاده را از داده‌ها استخراج کنند.

انواع الگوریتم های داده کاوی

1. الگوریتم‌های دسته‌بندی (Classification algorithms):
   • این الگوریتم‌ها برای تخمین یا پیش‌بینی کلاس یک نمونه بر اساس ویژگی‌های آن استفاده می‌شوند. مثال‌هایی از این الگوریتم‌ها شامل درخت تصمیم (Decision Trees)، ماشین‌های بردار پشتیبان (Support Vector Machines)، و شبکه‌های عصبی (Neural Networks) هستند.
2. الگوریتم‌های رگرسیون (Regression algorithms):
   • این الگوریتم‌ها برای پیش‌بینی یک مقدار پیوسته بر اساس ویژگی‌های ورودی استفاده می‌شوند. مثال‌هایی از آن‌ها عبارتند از رگرسیون خطی (Linear Regression) و رگرسیون لجستیک (Logistic Regression).
3. الگوریتم‌های بخش‌بندی (Segmentation algorithms):
   • این الگوریتم‌ها به تقسیم بزرگ‌ترین مجموعه داده به گروه‌های کوچکتر با ویژگی‌های مشابه می‌پردازند. مثال‌هایی از آن‌ها شامل کا-میانگین (K-Means) و کا-مدیان (K-Median) هستند.
4. الگوریتم‌های وابستگی (Association algorithms):
   • این الگوریتم‌ها به کشف الگوها و روابط بین موارد داده‌ای در مجموعه داده کمک می‌کنند. مثال‌هایی از این الگوریتم‌ها شامل الگوریتم‌های استخراج قوانین دسته‌بندی (Apriori) و FP-Growth هستند.
5. الگوریتم‌های تحلیل ترتیبی (Sequence analysis algorithms):
   • این الگوریتم‌ها معمولاً در تحلیل داده‌های دنباله‌ای مانند ویدئوها، زمان‌بندی رویدادها و سیگنال‌های زمانی به کار می‌روند. مثال‌هایی از این الگوریتم‌ها شامل تحلیل دنباله‌های مارکف (Markov Sequences) و الگوریتم‌های ترتیبی معدن داده هستند.
6. الگوریتم‌های سری‌زمانی (Time series algorithms):
   • این الگوریتم‌ها برای تحلیل داده‌های مرتبط با زمان مانند سری‌های زمانی و پیش‌بینی آینده از آن‌ها استفاده می‌شوند. مثال‌هایی از آن‌ها شامل ARIMA (AutoRegressive Integrated Moving Average) و LSTM (Long Short-Term Memory) هستند.
7. الگوریتم‌های کاهش ابعاد (Dimensionality Reduction algorithms):
   • این الگوریتم‌ها برای کاهش تعداد ویژگی‌ها و ابعاد داده‌ها به منظور بهبود عملکرد مدل‌ها و کاهش ابعاد داده‌های بزرگ استفاده می‌شوند. مثال‌هایی از آن‌ها شامل تحلیل مؤلفه‌های اصلی (PCA) و t-SNE (t-distributed Stochastic Neighbor Embedding) هستند.

الگوریتم‌های دسته‌بندی (Classification algorithms)

• الگوریتم C 4.5: الگوریتم طبقه بندی درخت تصمیم C4.5 یک الگوریتم دسته بندی تحت ناظر است که از یک درخت تصمیم برای تصمیم گیری مقادیر پیوسته و گسسته ویژگی‌ها استفاده می کند. این الگوریتم برای پوشش نقطه ضعف الگوریتم ID3 که نمی توانست مقادیر پیوسته ویژگی ها را درک کند؛ بوجود آمد.
• الگوریتم SVM: الگوریتم ماشین بردار پشتیبان یا Support-Vector Machines جزو الگوریتم های مشترک بین دسته بندی و رگرسیون تحت نظارت است و از فاصله حاشیه‌ای مرزبندی شده برای تمییز داده‌ها و انتخاب دسته مناسب استفاده می کند. این الگوریتم می‌تواند برای دسته‌بندی‌های خطی یا غیر خطی بخوبی کار کند.
• الگوریتم KNN: الگوریتم K همسایه نزدیک K Nearest Neighbor جزوه الگوریتم های تحت نظارت دسته بندی است و از میزان شباهت یک نمونه به K نمونه از همسایگانش برای تصمیم گیری استفاده می‌کند. تعیین مقدار K در این الگوریتم اهمیت دارد چرا که اکثریت K برای انتخاب یک دسته مهم است.
• الگوریتم NB: الگوریتم Naive Bayes نیز جزو الگوریتم‌های دسته‌بندی با ناظر است و از تکنیک‌های احتمال و آمار برای دسته‌بندی نمونه‌ها در کلاس‌های مختلف استفاده می‌کند. در این الگوریتم از قضیه Bayes که احتمال رخ دادن یک پیشآمد را هنگامی که پیشامد دیگری اتفاق افتاده باشد؛ استفاده می‌کنند.
• الگوریتم CART: این الگوریتم مخفف Classification and Regression Tree است و همانطور که از نام آن هم پیداست برای دسته بندی و رگرسیون از آن استفاده می شود. این الگوریتم از ساده‌ترین الگوریتم‌های درخت‌های تصمیم است که بر اساس درخت های دودویی بنا نهاده شده است.
• الگوریتم ANN: الگوریتم‌های شبکه عصبی مصنوعی Artificial Neural Network انواع و کاربردهای مختلفی دارد و برای مسائل دسته بندی نیز می تواند مورد استفاده قرار گیرد. کاربرد این الگوریتم را می توان در تمامی گروه‌ها مشاهده کرد. شبکه عصبی مصنوعی پیش از آنکه یک الگوریتم باشد یک روش و الگوی پایه‌ای و اساسی در هوش مصنوعی است.

الگوریتم‌های رگرسیون (Regression algorithms)

• الگوریتم رگرسیون خطی (Linear Regression): رگرسیون خطی یکی از ساده‌ترین و پراستفاده‌ترین مدل‌های رگرسیون است. این الگوریتم به دنبال رابطه خطی بین متغیرهای مستقل و وابسته در داده‌ها می‌گردد و تلاش می‌کند یک خط را پیدا کند که بهترین تطابق را با داده‌ها داشته باشد.
• الگوریتم رگرسیون مرزبندی شده (Ridge Regression): در Ridge Regression، علاوه بر هدف تطابق خطی با داده‌ها، یک جریمه (تاکید) به توانهای وزن‌ها اضافه می‌شود تا از افزایش بی‌معنی وزن‌ها جلوگیری کند. این جریمه به جلوگیری از بیش‌برازش (overfitting) کمک می‌کند.
• الگوریتم شبکه عصبی رگرسیونی (Neural Network Regression): شبکه‌های عصبی با ساختارهای متنوعی می‌توانند برای مسائل رگرسیونی مورد استفاده قرار گیرند. این مدل‌ها از لایه‌های عصبی و توابع فعال‌سازی برای یادگیری الگوهای پیچیده در داده‌ها استفاده می‌کنند.
• الگوریتم رگرسیون کمند (Lasso Regression): مشابه Ridge Regression، Lasso Regression نیز از جریمه وزن‌ها برای کاهش بی‌معنی شدن وزن‌ها استفاده می‌کند. با این تفاوت که Lasso از تابع مطلق (L1-norm) به عنوان جریمه استفاده می‌کند و می‌تواند ویژگی‌های اضافی را حذف کند.
• الگوریتم رگرسیونی درخت تصمیم (Decision Tree Regression): در این الگوریتم، داده‌ها بر اساس ویژگی‌هایشان به گروه‌های مختلف تقسیم می‌شوند و درخت تصمیم ایجاد می‌شود. هر گره در این درخت یک تصمیم بر مبنای ویژگی‌های داده‌ها را نمایان می‌کند.
• الگوریتم جنگل تصادفی (Random Forest): Random Forest به اشکال متعددی از درخت‌های تصمیم تشکیل شده است و به صورت تصادفی از آن‌ها برای پیش‌بینی استفاده می‌شود. این الگوریتم از ترکیب چندین درخت تصمیم به منظور کاهش بیش‌برازش و افزایش دقت در پیش‌بینی استفاده می‌کند.
• الگوریتم KNN (K-Nearest Neighbors): در KNN، برای پیش‌بینی یک نقطه جدید، نقاط مجاور آن در فضا را می‌یابیم و با توجه به بیشترین تعداد از نقاط مجاور، کلاس یا مقدار پیش‌بینی را تعیین می‌کنیم.
• الگوریتم Support Vector Machines (SVM): SVM یک مدل ماشین‌های بردار پشتیبان است که در دسته‌بندی و رگرسیون استفاده می‌شود. این الگوریتم با یافتن صفحه‌ای بهینه جداکننده بین داده‌ها تلاش می‌کند و در رگرسیون، سعی در تطابق بهتر داده‌ها با یک خط یا منحنی دارد.

الگوریتم‌های بخش‌بندی (Segmentation algorithms)

• الگوریتم خوشه‌بندی K-Means: K-Means یکی از متداول‌ترین الگوریتم‌های خوشه‌بندی است. در این الگوریتم، داده‌ها به K خوشه تقسیم می‌شوند به‌طوری که هر خوشه تا جای ممکن به خودش مشابهت داشته باشد و مرکز خوشه به معنای میانگین داده‌های آن خوشه است.

• الگوریتم خوشه‌بندی Mean-Shift: در Mean-Shift، ابتدا یک نقطه شروع انتخاب می‌شود و به محض وجود مقدار تغییرات کافی در محلی خاص، مرکز خوشه تغییر می‌کند تا به نقطه‌ای که تابع چگالی داده‌ها در آن بیشینه می‌شود برسد. این عملیات به صورت مکرر انجام می‌شود تا مراکز خوشه‌ها تثبیت شوند.

• الگوریتم خوشه‌بندی DBSCAN (Density-Based Spatial Clustering of Applications with Noise): DBSCAN بر اساس چگالی نقاط در فضا، نقاط را به خوشه‌ها تقسیم می‌کند. نقاطی که در یک منطقه با چگالی کافی از نقاط دیگر قرار دارند، به یک خوشه تعلق می‌گیرند و نقاط ایزوله به عنوان نویز در نظر گرفته می‌شوند.

• الگوریتم Expectation–Maximization (EM): EM یک الگوریتم استفاده می‌شود برای مسائل تخمین پارامتر در مدل‌های احتمالاتی. در خوشه‌بندی با استفاده از EM، ابتدا توزیع احتمالی مخفی داده‌ها و پارامترهای مدل مشخص می‌شوند و سپس نقاط به خوشه‌ها تخصیص داده می‌شوند.

• الگوریتم Agglomerative Hierarchical: در این الگوریتم، ابتدا هر نقطه به عنوان یک خوشه جداگانه در نظر گرفته می‌شود. سپس در هر مرحله، دو خوشه نزدیک‌تر با هم ترکیب می‌شوند تا در نهایت یک سلسله مراتب از خوشه‌ها به دست آید.

الگوریتم‌های وابستگی (Association algorithms)

• الگوریتم Apriori: الگوریتم Apriori یک الگوریتم مهم در داده‌کاوی و تکنیک‌های استخراج دانش از داده‌ها (Data Mining) است. این الگوریتم برای مهمترین مسائل در داده‌کاوی، یعنی استخراج الگوهای فراوانی (Frequent Pattern Mining) به کار می‌رود. این الگوریتم به تحلیل داده‌های دارای مجموعه‌های آیتم‌ها (items) و تعداد زیادی معاملات یا رکوردها (transactions) می‌پردازد.

• الگوریتم PageRank: الگوریتم PageRank یک الگوریتم مهم در موتورهای جستجو و ترتیب صفحات وب است. این الگوریتم برای ارتباط یافتن صفحات وب و تعیین اهمیت هر صفحه از منظر جستجوگرهای وب (مانند گوگل) استفاده می‌شود.

الگوریتم‌های تحلیل ترتیبی (Sequence analysis algorithms)

• الگوریتم برنامه‌نویسی پویا (Dynamic Programming):
  الگوریتم برنامه‌نویسی پویا یک روش محاسباتی است که برای حل مسائل بهینه‌سازی با ساختارهای تکراری یا بازگشتی استفاده می‌شود. این الگوریتم به حل مسائلی که معمولاً با روش‌های بازگشتی مانند تقسیم و حل حل نمی‌شوند، کمک می‌کند. از معروف‌ترین مثال‌های استفاده از الگوریتم برنامه‌نویسی پویا می‌توان به مسائل مسیریابی در گراف‌ها و مسائل ترتیبی مانند مسئله کیف‌پول اشاره کرد.
• الگوریتم شبکه عصبی (Artificial Neural Network):
  شبکه‌های عصبی مصنوعی مدل‌های محاسباتی هستند که بر اساس ساختاری مشابه به ساختار شبکه‌های عصبی انسانی ایجاد شده‌اند. این شبکه‌ها از لایه‌های نورون‌های مصنوعی تشکیل شده و برای مسائل متنوعی از شناسایی الگوها تا پردازش تصویر و ترجمه ماشینی استفاده می‌شوند. آموزش و بهینه‌سازی این شبکه‌ها معمولاً با الگوریتم‌های بهینه‌سازی مانند انتشار مرتبه دوم یا گرادیان کاهشی انجام می‌شود.
• مدل‌های مخفی مارکوف (Hidden Markov Models):
  مدل‌های مخفی مارکوف مدل‌های احتمالاتی هستند که برای مدل‌سازی داده‌های دنباله‌ای به کار می‌روند. آنها از دو نوع متغیر استفاده می‌کنند: متغیرهای مشاهده شده و متغیرهای مخفی. این مدل‌ها برای مسائلی مانند تشخیص گفتار، ترجمه ماشینی و تحلیل داده‌های دنباله‌ای مورد استفاده قرار می‌گیرند.
• الگوریتم ماشین بردار پشتیبان (Support Vector Machine):
  ماشین بردار پشتیبان یک الگوریتم یادگیری ماشینی است که برای مسائل دسته‌بندی و رگرسیون به کار می‌رود. این الگوریتم به دنبال ایجاد یک صفحه جداکننده بهینه بین داده‌های مختلف است، به نحوی که فاصله کمترین ممکن بین نقاط مختلف از دو طرف این صفحه باشد. ماشین بردار پشتیبان به دلیل کارایی بالا و قابلیت استفاده در مسائل با ابعاد بالا بسیار محبوب است.
• الگوریتم شبکه بیزین (Bayesian Network):
  شبکه بیزین یک مدل احتمالاتی است که برای نمایش و مدل‌سازی ارتباطات احتمالاتی بین متغیرها استفاده می‌شود. این مدل‌ها از گراف‌های جهت‌دار تشکیل شده اند که نمایانگر ارتباطات احتمالاتی بین متغیرها هستند. شبکه‌های بیزین به تحلیل داده‌های تصمیم‌گیری و پیش‌بینی احتمالاتی در مواردی مانند تشخیص بیماری‌ها و مهندسی سیستم‌های تصمیم‌گیری کمک می‌کنند.

الگوریتم‌های سری‌زمانی (Time series algorithms)

• Autoregressive (AR):
  • این الگوریتم بر اساس ایده اصلی این است که مقدار یک متغیر زمانی در زمان t به مقدار آن در زمان‌های گذشته وابسته است.
  • در مدل AR(p)، مقدار فعلی متغیر زمانی به تعداد p زمان قبلی آن وابسته است.
  • این الگوریتم به تحلیل الگوهای تغییرات زمانی و پیش‌بینی مقادیر آتی متغیرها کمک می‌کند.
• Moving Average (MA):
  • این الگوریتم بر اساس ایده اصلی این است که مقدار یک متغیر زمانی در زمان t به مقادیر یک سری دیگر از متغیرها در زمان‌های گذشته وابسته است.
  • در مدل MA(q)، مقدار فعلی متغیر زمانی به تعداد q مقدار گذشته‌تر وابسته است.
  • این الگوریتم برای حذف نویز و افزایش وضوح سیگنال در داده‌های زمانی مفید است.
• Autoregressive Moving Average (ARMA):
  • این الگوریتم ترکیبی از مدل‌های AR و MA است.
  • در مدل ARMA(p, q)، هم مقدار فعلی به مقادیر زمانی گذشته وابسته است (مانند AR) و هم به مقادیر یک سری دیگر از متغیرها در زمان‌های گذشته (مانند MA).
  • این ترکیب به توانایی مدل‌سازی الگوهای تغییرات زمانی پیچیده‌تر کمک می‌کند.
• Autoregressive Integrated Moving Average (ARIMA):
  • این الگوریتم نیز ترکیبی از مدل‌های AR و MA است، با اضافه کردن مرحله انتگرال‌گیری به آن.
  • ARIMA(p, d, q)، در آن p، تعداد مقادیر قبلی AR، q، تعداد مقادیر قبلی MA، و d، درجه انتگرال‌گیری است.
  • این الگوریتم به تحلیل سیگنال‌های غیرپایدار و به دست آوردن سیگنال‌های پایدار مفید است.
• Exponential Smoothing (ES):
  • این الگوریتم برای پیش‌بینی دقیق ترند و الگوهای ساده در داده‌های زمانی مورد استفاده قرار می‌گیرد.
  • این روش از وزن‌دهی بیشتر به داده‌های جدیدتر و کمتر به داده‌های قدیمی‌تر استفاده می‌کند.
  • ES به ویژه در پیش‌بینی داده‌هایی با سیگنال‌های متغیر و تغییرات تصادفی کمتر مفید است.

الگوریتم‌های کاهش ابعاد (Dimensionality Reduction algorithms)

• Principal Component Analysis (PCA):
  • PCA یک الگوریتم کاهش ابعاد است که برای تبدیل داده‌های ابعاد بالا به فضایی با ابعاد کمتر استفاده می‌شود.
  • هدف اصلی PCA از تبدیل به فضایی جدید، کاهش ابعاد داده با حفظ اطلاعات مهم است.
  • این الگوریتم از تجزیه و تحلیل ماتریس کوواریانس داده‌ها برای پیدا کردن ویژگی‌های اصلی (کامپوننت‌های اصلی) برای کاهش ابعاد استفاده می‌کند.
• Linear Discriminant Analysis (LDA):
  • LDA یک الگوریتم کاهش ابعاد است که به منظور تفکیک داده‌های مختلف در یک مسئله تفکیک کلاس‌ها (classification) مورد استفاده قرار می‌گیرد.
  • هدف اصلی LDA، تبدیل داده‌ها به فضایی با ابعاد کمتر است به نحوی که داده‌های مربوط به کلاس‌های مختلف به حداکثر اندازه تفکیک شوند.
  • این الگوریتم از تحلیل ماتریس کوواریانس و ماتریس بین کلاسی برای تعیین تبدیل به فضای جدید استفاده می‌کند.
• Factor Analysis (FA):
  • FA یک الگوریتم تحلیل عاملی است که برای تحلیل و استخراج عوامل مخفی یا لایه‌های پنهان در داده‌ها مورد استفاده قرار می‌گیرد.
  • هدف FA، شناسایی ویژگی‌های عاملی که تغییرات در داده‌ها را توضیح می‌دهند است.
  • این الگوریتم معمولاً در زمینه‌های روان‌شناسی، علوم اجتماعی و اقتصادی مورد استفاده قرار می‌گیرد.
• Multidimensional Scaling (MDS):
  • MDS یک الگوریتم کاهش ابعاد است که برای نمایش داده‌ها در یک فضای دنیا‌نمایی (یا فضای کم‌ابعاد) با حفظ فاصله بین داده‌ها مورد استفاده قرار می‌گیرد.
  • هدف اصلی MDS، حفظ ساختار فضایی اصلی داده‌ها در تبدیل به یک فضای کم‌ابعاد است.
• Isometric Mapping (Isomap):
  • Isomap یک الگوریتم کاهش ابعاد است که برای تبدیل داده‌ها به فضای کم‌ابعاد با حفظ اطلاعات جهت تخمین توپولوژی داده‌ها استفاده می‌شود.
  • هدف اصلی Isomap، حفظ فواصل جلوه شده بین داده‌ها در تبدیل به فضای کم‌ابعاد است.
• Backward Elimination (BE):
  • BE یک روش انتخاب ویژگی در مسائل یادگیری ماشین است.
  • در این روش، از مدلی که با تمام ویژگی‌ها شکل گرفته است، ویژگی‌هایی که کمترین اهمیت را دارند را حذف می‌کنیم تا مدل بهبود یابد.
  • هدف اصلی BE، کاهش ابعاد و افزایش سادگی مدل به منظور جلوگیری از برازش بیش از حد (overfitting) است.

سخن پایانی

الگوریتم های داده کاوی ابزارهای قدرتمندی هستند که به ما کمک می‌کنند تا اطلاعات مفهومی و ارزشمندی از داده‌های حجیم استخراج کنیم. انواع مختلف الگوریتم‌ها امکان تحلیل و استفاده از داده‌ها را در مسائل متنوعی مانند تجزیه و تحلیل بازار، پیش‌بینی، تشخیص نقشه‌های تکراری و بسیاری دیگر ایجاد می‌کنند. در انتخاب الگوریتم مناسب باید به مسئله‌ی مورد نظر و ویژگی‌های داده‌ها توجه داشته باشیم.