با مجموعهها، منظم بمانید ذخیره و طبقهبندی محتوا براساس اولویتهای شما.
پس انتشار رایج ترین الگوریتم آموزشی برای شبکه های عصبی است. این نزول گرادیان را برای شبکه های عصبی چند لایه امکان پذیر می کند. بسیاری از کتابخانه‌های کد یادگیری ماشین (مانند Keras ) به طور خودکار انتشار پس‌زمینه را مدیریت می‌کنند، بنابراین نیازی نیست خودتان هیچ یک از محاسبات اساسی را انجام دهید. ویدئوی زیر را برای یک نمای کلی مفهومی از نحوه عملکرد پس‌پخش کردن ببینید:
بهترین روش ها برای آموزش شبکه های عصبی
این بخش موارد شکست پس انتشار و رایج ترین راه برای منظم کردن شبکه عصبی را توضیح می دهد.
ناپدید شدن گرادیان ها
گرادیان لایه‌های شبکه عصبی پایین (آنهایی که به لایه ورودی نزدیک‌تر هستند) می‌توانند بسیار کوچک شوند. در شبکه‌های عمیق (شبکه‌هایی با بیش از یک لایه پنهان)، محاسبه این گرادیان‌ها می‌تواند شامل گرفتن حاصل ضرب بسیاری از اصطلاحات کوچک باشد.
هنگامی که مقادیر گرادیان برای لایه‌های پایین‌تر به 0 نزدیک می‌شوند، گفته می‌شود که گرادیان‌ها «ناپدید می‌شوند». لایه‌های با شیب محو شونده بسیار آهسته یا اصلاً تمرین نمی‌کنند.
عملکرد فعال سازی ReLU می تواند به جلوگیری از ناپدید شدن گرادیان ها کمک کند.
گرادیان های انفجاری
اگر وزن‌ها در یک شبکه بسیار بزرگ باشد، شیب لایه‌های پایین‌تر شامل محصولات بسیاری از اصطلاحات بزرگ است. در این حالت می‌توانید گرادیان‌های انفجاری داشته باشید: گرادیان‌هایی که برای هم‌گرایی بیش از حد بزرگ می‌شوند.
نرمال سازی دسته ای می تواند به جلوگیری از انفجار شیب ها کمک کند، همانطور که می تواند نرخ یادگیری را کاهش دهد.
واحدهای مرده ReLU
هنگامی که مجموع وزن برای یک واحد ReLU به زیر 0 می رسد، واحد ReLU می تواند گیر کند. 0 را خروجی می‌کند و هیچ کمکی به خروجی شبکه نمی‌کند و گرادیان‌ها دیگر نمی‌توانند در طول انتشار پس از آن از طریق آن جریان پیدا کنند. با قطع منبع گرادیان، ورودی ReLU ممکن است هرگز آنقدر تغییر نکند که مجموع وزنی را به بالای 0 برگرداند.
کاهش نرخ یادگیری می تواند به جلوگیری از مرگ واحدهای ReLU کمک کند.
تنظیم ترک تحصیل
با این حال، شکل دیگری از منظم‌سازی، به نام منظم‌سازی حذف ، برای شبکه‌های عصبی مفید است. با حذف تصادفی فعال‌سازی‌های واحد در شبکه برای یک مرحله گرادیان کار می‌کند. هرچه بیشتر ترک تحصیل کنید، منظم‌سازی قوی‌تر است:
0.0 = بدون تنظیم ترک تحصیل.
1.0 = تمام گره ها را کنار بگذارید. مدل چیزی یاد نمی گیرد.
تاریخ آخرین بهروزرسانی 2024-11-19 بهوقت ساعت هماهنگ جهانی.
[[["درک آسان","easyToUnderstand","thumb-up"],["مشکلم را برطرف کرد","solvedMyProblem","thumb-up"],["غیره","otherUp","thumb-up"]],[["اطلاعاتی که نیاز دارم وجود ندارد","missingTheInformationINeed","thumb-down"],["بیشازحد پیچیده/ مراحل بسیار زیاد","tooComplicatedTooManySteps","thumb-down"],["قدیمی","outOfDate","thumb-down"],["مشکل ترجمه","translationIssue","thumb-down"],["مشکل کد / نمونهها","samplesCodeIssue","thumb-down"],["غیره","otherDown","thumb-down"]],["تاریخ آخرین بهروزرسانی 2024-11-19 بهوقت ساعت هماهنگ جهانی."],[[["\u003cp\u003eBackpropagation is the primary training algorithm for neural networks, enabling gradient descent for multi-layer networks and often handled automatically by machine learning libraries.\u003c/p\u003e\n"],["\u003cp\u003eVanishing gradients occur when gradients in lower layers become very small, hindering their training, and can be mitigated by using ReLU activation function.\u003c/p\u003e\n"],["\u003cp\u003eExploding gradients happen when large weights cause excessively large gradients, disrupting convergence, and can be addressed with batch normalization or lowering the learning rate.\u003c/p\u003e\n"],["\u003cp\u003eDead ReLU units emerge when a ReLU unit's output gets stuck at 0, halting gradient flow, and can be avoided by lowering the learning rate or using ReLU variants like LeakyReLU.\u003c/p\u003e\n"],["\u003cp\u003eDropout regularization is a technique to prevent overfitting by randomly dropping unit activations during training, with higher dropout rates indicating stronger regularization.\u003c/p\u003e\n"]]],[],null,["[**Backpropagation**](/machine-learning/glossary#backpropagation) is the\nmost common training algorithm for neural networks.\nIt makes gradient descent feasible for multi-layer neural networks.\nMany machine learning code libraries (such as [Keras](https://keras.io/))\nhandle backpropagation automatically, so you don't need to perform any of\nthe underlying calculations yourself. Check out the following video for a\nconceptual overview of how backpropagation works: \n| To learn more about building image models, check out the [Image\n| Classification](/machine-learning/practica/image-classification) course.\n\nBest practices for neural network training\n\nThis section explains backpropagation's failure cases and the most\ncommon way to regularize a neural network.\n| **NOTE:** The backpropagation training algorithm makes use of the calculus concept of a [gradient](https://wikipedia.org/wiki/Gradient) to adjust model weights to minimize loss. Understanding and debugging the issues below usually requires some background in calculus.\n\nVanishing Gradients\n\nThe [**gradients**](/machine-learning/glossary#gradient) for the lower neural\nnetwork layers (those closer to the input layer) can become very small.\nIn [**deep networks**](/machine-learning/glossary#deep-model) (networks with\nmore than one hidden layer), computing these gradients can involve taking the\nproduct of many small terms.\n\nWhen the gradient values approach 0 for the lower layers, the gradients are\nsaid to \"vanish\". Layers with vanishing gradients train very slowly, or not\nat all.\n\nThe ReLU activation function can help prevent vanishing gradients.\n\nExploding Gradients\n\nIf the weights in a network are very large, then the gradients for the lower\nlayers involve products of many large terms. In this case you can have\nexploding gradients: gradients that get too large to converge.\n\nBatch normalization can help prevent exploding gradients, as can lowering the\nlearning rate.\n\nDead ReLU Units\n\nOnce the weighted sum for a ReLU unit falls below 0, the ReLU unit can get\nstuck. It outputs 0, contributing nothing to the network's output,\nand gradients can no longer flow through it during backpropagation. With a\nsource of gradients cut off, the input to the ReLU may not ever change enough\nto bring the weighted sum back above 0.\n\nLowering the learning rate can help keep ReLU units from dying.\n| There are also many variants of ReLU that were designed to address this specific problem, such as [LeakyReLU](https://keras.io/api/layers/activation_layers/leaky_relu/), which you may want to consider using as an activation function to prevent dead ReLU units.\n\nDropout Regularization\n\nYet another form of regularization, called\n[**dropout regularization**](/machine-learning/glossary#dropout_regularization),\nis useful for neural networks. It works by randomly \"dropping out\"\nunit activations in a network for a single gradient step.\nThe more you drop out, the stronger the regularization:\n\n- 0.0 = No dropout regularization.\n- 1.0 = Drop out all nodes. The model learns nothing.\n- Values between 0.0 and 1.0 = More useful.\n\n| **Key terms:**\n|\n| - [Backpropagation](/machine-learning/glossary#backpropagation)\n| - [Dropout regularization](/machine-learning/glossary#dropout_regularization)\n| - [Exploding gradient problem](/machine-learning/glossary#exploding-gradient-problem)\n- [Vanishing gradient problem](/machine-learning/glossary#vanishing-gradient-problem) \n[Help Center](https://support.google.com/machinelearningeducation)"]]
