ترنسفورمرها و مدلهای زبانی بزرگ(LLM)

اطلاعات بیشتر
مدل زبان بزرگ یا LLM که مخفف Large language model میباشد، یک نوع نوآوری در حوزه هوش مصنوعی است که از شبکههای عصبی با پارامترهای گسترده برای پردازش پیشرفته زبان استفاده میکند.
این مدلها با استفاده از الگوریتمها و دادههای زبانی، قادرند به سوالات مختلف پاسخ دهند و متون را ترجمه کنند. ساختار این مدلها بر اساس شبکههای عصبی استوار است که از دادههای بزرگ جهت آموزش استفاده میکنند و به این ترتیب، توانایی پردازش و فهم بهتری از زبان دارند.
کاربردهای LLM در صنایع مختلف
مدلهای زبان بزرگ (LLM) بهعنوان یک نوآوری نسبتا تازه ظاهر شدهاند، اما از پیدایششان تاکنون کاربردهای متعددی در منظر کسب و کارهای فعلی پیدا کردهاند. از آنها میتوان در بهبود عملکرد محصول، بهینهسازی عملیات تجاری و افزایش کارایی محیط کار استفاده کرد.
- LLM در ترجمه ماشینی و پردازش زبانهای مختلف
- نقش LLMها در تولید خودکار محتوا و خلاصهنویسی
- تاثیرات LLM بر توسعه چتباتها و سیستمهای گفتوگوی هوشمند
مزایای مدلهای زبانی بزرگ
با طیف گستردهای از برنامهها، مدلهای زبانی بزرگ برای حل مسئله بسیار مفید هستند، زیرا آنها اطلاعاتی را به شیوهای واضح و محاورهای ارائه میدهند که درک آن برای کاربران آسان است. در ادامه چند مورد از مزایای این تکنولوژی ذکر شده است:
- مجموعه بزرگی از کاربردها: میتوان از آنها برای ترجمه زبان، تکمیل جمله، تجزیه و تحلیل احساسات، پاسخ به سؤال، حل معادلات ریاضی و موارد دیگر استفاده کرد.
- بهبود همیشگی: عملکرد مدل زبانی بزرگ به طور مداوم در حال بهبود است زیرا زمانی که دادهها و پارامترهای بیشتری اضافه میشود رشد میکند.
- آنها سریع یاد میگیرند: هنگام نمایش یادگیری درون متنی، مدلهای زبانی بزرگ به سرعت یاد میگیرند زیرا به وزن، منابع و پارامترهای اضافی برای آموزش نیاز ندارند.
دوره LLMs با پایتون یکی از دورههای دپارتمان علوم داده جهاد دانشگاهی صنعتی شریف است. برای کسب اطلاعات بیشتر دباره این دوره، سرفصلهای آمورشی را مشاهده نمایید.
سرفصلهای آموزشی
-
- RNN , LSTM, GRU
- Seq2seq
- attention
- مرور کلی AI Generative و LLM ها
- تولید متن پیش ازTransformerها
- معماری Transformer
- تولید متن با Transformer
- پرامپت نویسی و مهندسی پرامپت
- پیکربندی مولد
- چرخه حیات پروژه هوش مصنوعی مولد
-
- استفاده از تابع pipeline در Transformers
- آشنایی با مدلها و توکنایزرها
- تنظیم دقیق مدلهای پیش آموزش دیده
- اشترا ک گذاری مدلها و توکنایزرها
- استفاده از کتابخانه Datasets
- استفاده از کتابخانه Tokenizers
- وظایف کلاسیک NLP
- ساخت و اشتراکگذاری دموها
-
- Instruction Fine-tuning
- Fine-tuning روی یک وظیفه خاص
- Fine-tuning Multi-task Instruction
- مقیاس پذیری مدلهای دستورالعمل محور
- ارزیابی مدل
- معیارهای سنجش
-
- Parameter Efficient Fine-tuning (PEFT)
- تکنیک های PEFT 1: LoRA
- تکنیک های PEFT 2: Soft Prompts
- مقیاس پذیری مدل ها
-
- همسوسازی مدلها با ارزشهای انسانی
- چارچوب و اجزای RLHF
- دریافت بازخورد از انسان ها
- توسعه Reward Model
- Fine-tuning با Reinforcement Learning
- Proximal Policy Optimization
- جلوگیری از Reward Hacking
- KL Divergence
- مقیاس پذیری بازخورد انسانی
-
- بهینه سازی مدل برای Deployment
- استفاده از LLMها در کاربردها
- تعامل با برنامه های خارجی
- Chain-of-thought Reasoning
- Program-aided Language Models (PAL)
- ReAct: ترکیب Reasoning و Action
- معماری های کاربردی LLM
- Agentic AI
سوالات متداول
این دوره بصورت آنلاین در محل جهاد دانشگاهی صنعتی شریف برگزار میگردد.
دوره هایی که هزینه آن ها بالای 6 میلیون تومان است شرایط پرداخت اقساط دارند، برای اطلاع از نحوه پرداخت اقساط با کارشناس دپارتمان هماهنگی های لازم را انجام دهید.
برای شرکت در این دوره باید به مفاهیم شبکه عصبی و یادگیری عمیق تسلط داشته باشید.
- تاریخ شروع: اعلام میگردد
- مدت دوره: 32 ساعت
- روز برگزاری: پنجشنبه و جمعه
- شهریه: 11,800,000 تومان
- نحوه برگزاری: آنلاین
مشاوره و ثبتنام:
- 02167641999
- 09222477250