جستجوی شبه تصادفی
با مجموعه‌ها، منظم بمانید ذخیره و طبقه‌بندی محتوا براساس اولویت‌های شما.
این واحد بر جستجوی شبه تصادفی تمرکز دارد.
چرا از جستجوی شبه تصادفی استفاده کنیم؟
جستجوی شبه تصادفی (بر اساس دنباله‌های با اختلاف کم) ترجیح ما نسبت به ابزارهای بهینه‌سازی جعبه سیاه جذاب‌تر زمانی است که به عنوان بخشی از فرآیند تنظیم تکراری استفاده می‌شود که هدف آن به حداکثر رساندن بینش نسبت به مشکل تنظیم است (آنچه ما به عنوان "مرحله کاوش" از آن یاد می‌کنیم). بهینه سازی بیزی و ابزارهای مشابه برای مرحله بهره برداری مناسب تر هستند. جستجوی شبه تصادفی مبتنی بر توالی‌های کم‌اختلاف کم جابه‌جا شده به‌طور تصادفی را می‌توان به عنوان «جستجوی شبکه‌ای آشفته و به هم ریخته» در نظر گرفت، زیرا به‌طور یکنواخت، اما تصادفی، یک فضای جستجوی معین را کاوش می‌کند و نقاط جستجو را بیشتر از جستجوی تصادفی پخش می‌کند.
مزایای جستجوی شبه تصادفی نسبت به ابزارهای پیچیده تر بهینه سازی جعبه سیاه (مانند بهینه سازی بیزی، الگوریتم های تکاملی) عبارتند از:
- نمونه برداری از فضای جستجو به صورت غیر تطبیقی امکان تغییر هدف تنظیم را در تجزیه و تحلیل post hoc بدون اجرای مجدد آزمایش ها ممکن می سازد. به عنوان مثال، ما معمولاً می‌خواهیم بهترین آزمایش را از نظر خطای اعتبارسنجی بدست آمده در هر نقطه از آموزش پیدا کنیم. با این حال، ماهیت غیر تطبیقی جستجوی شبه تصادفی، یافتن بهترین آزمایش را بر اساس خطای اعتبار سنجی نهایی، خطای آموزشی، یا برخی معیارهای ارزیابی جایگزین بدون اجرای مجدد هیچ آزمایشی ممکن می سازد.
- جستجوی شبه تصادفی به روشی ثابت و قابل تکرار آماری عمل می کند. حتی اگر پیاده‌سازی الگوریتم جستجو تغییر کند، تا زمانی که ویژگی‌های یکنواختی یکسانی داشته باشد، باید بتوان یک مطالعه از شش ماه پیش را بازتولید کرد. اگر از نرم‌افزار بهینه‌سازی بیزی پیچیده استفاده کنید، ممکن است پیاده‌سازی بین نسخه‌ها به طرز مهمی تغییر کند و بازتولید جستجوی قدیمی را بسیار سخت‌تر کند. بازگشت به یک پیاده سازی قدیمی همیشه امکان پذیر نیست (مثلاً اگر ابزار بهینه سازی به عنوان یک سرویس اجرا شود).
- کاوش یکنواخت آن در فضای جستجو، استدلال در مورد نتایج و آنچه ممکن است در مورد فضای جستجو پیشنهاد کند را آسان تر می کند. به عنوان مثال، اگر بهترین نقطه در پیمایش جستجوی شبه تصادفی در مرز فضای جستجو باشد، این یک سیگنال خوب (اما نه بدون خطا) است که کران های فضای جستجو باید تغییر کند. با این حال، یک الگوریتم بهینه‌سازی جعبه سیاه تطبیقی ممکن است به دلیل برخی آزمایش‌های اولیه بدشانسی، وسط فضای جستجو را نادیده گرفته باشد، حتی اگر اتفاقاً حاوی نکات به همان اندازه خوب باشد، زیرا دقیقاً این نوع عدم یکنواختی است که یک الگوریتم بهینه‌سازی خوب باید به کار گیرد. برای سرعت بخشیدن به جستجو
- بر خلاف الگوریتم‌های تطبیقی، اجرای تعداد متفاوت آزمایش‌ها به صورت موازی در مقابل متوالی نتایج آماری متفاوتی را هنگام استفاده از جستجوی شبه تصادفی (یا سایر الگوریتم‌های جستجوی غیرتطبیقی) ایجاد نمی‌کند.
- الگوریتم‌های جستجوی پیچیده‌تر ممکن است همیشه نقاط غیرقابل اجرا را به درستی مدیریت نکنند، به خصوص اگر با تنظیم فراپارامتر شبکه عصبی طراحی نشده باشند.
- جستجوی شبه تصادفی ساده است و به‌ویژه زمانی که بسیاری از آزمایش‌های تنظیم به صورت موازی اجرا می‌شوند، به خوبی کار می‌کند. به طور حکایتی 1 ، برای یک الگوریتم تطبیقی بسیار سخت است که یک جستجوی شبه تصادفی که 2 برابر بودجه خود را دارد، شکست دهد، به خصوص زمانی که بسیاری از آزمایش‌ها باید به صورت موازی اجرا شوند (و در نتیجه شانس بسیار کمی برای استفاده از نتایج آزمایشی قبلی وجود دارد. راه اندازی آزمایش های جدید). بدون تخصص در بهینه‌سازی بیزی و سایر روش‌های پیشرفته بهینه‌سازی جعبه سیاه، ممکن است به مزایایی که اصولاً قادر به ارائه آن هستند نتوانید دست یابید. محک زدن الگوریتم های بهینه سازی جعبه سیاه پیشرفته در شرایط تنظیم واقعی یادگیری عمیق دشوار است. آنها منطقه بسیار فعالی از تحقیقات فعلی هستند و الگوریتم های پیچیده تر با مشکلات خاص خود برای کاربران بی تجربه همراه هستند. متخصصان در این روش‌ها می‌توانند نتایج خوبی به دست آورند، اما در شرایط موازی بالا، فضای جستجو و بودجه اهمیت بیشتری دارد.
گفته می‌شود، اگر منابع محاسباتی شما فقط به تعداد کمی از آزمایش‌ها اجازه می‌دهند که به صورت موازی اجرا شوند و بتوانید بسیاری از آزمایش‌ها را به ترتیب انجام دهید، بهینه‌سازی بیزی با وجود سخت‌تر کردن تفسیر نتایج تنظیم شما جذاب‌تر می‌شود.
از کجا می توانم پیاده سازی جستجوی شبه تصادفی را پیدا کنم؟
Open-Source Vizier پیاده سازی جستجوی شبه تصادفی دارد. algorithm="QUASI_RANDOM_SEARCH" در این مثال استفاده از وزیر تنظیم کنید. یک پیاده‌سازی جایگزین در این مثال فراپارامتر وجود دارد. هر دوی این پیاده‌سازی‌ها یک دنباله هالتون را برای یک فضای جستجوی معین ایجاد می‌کنند (در نظر گرفته شده برای پیاده‌سازی یک دنباله هالتون تغییر یافته و درهم، همانطور که در Critical Hyper-Parameters توصیه می‌شود: بدون تصادفی، بدون فریاد ).
اگر یک الگوریتم جستجوی شبه تصادفی مبتنی بر دنباله‌ای با اختلاف کم در دسترس نباشد، می‌توان به جای آن جستجوی یکنواخت شبه تصادفی را جایگزین کرد، اگرچه احتمالاً کارایی آن کمی کمتر است. در ابعاد 1-2 نیز جستجوی شبکه ای قابل قبول است، البته نه در ابعاد بالاتر. (نگاه کنید به Bergstra & Bengio، 2012 ).
برای به دست آوردن نتایج خوب با جستجوی شبه تصادفی چند آزمایش لازم است؟
هیچ راهی برای تعیین تعداد آزمایش برای به دست آوردن نتایج با جستجوی شبه تصادفی به طور کلی وجود ندارد، اما می توانید به نمونه های خاص نگاه کنید. همانطور که شکل 3 نشان می دهد، تعداد کارآزمایی ها در یک مطالعه می تواند تأثیر قابل توجهی بر نتایج داشته باشد:
شکل 3: ResNet-50 تنظیم شده در ImageNet با 100 آزمایش. با استفاده از بوت استرپینگ، مقادیر مختلفی از بودجه تنظیم شبیه سازی شد. نمودارهای جعبه ای از بهترین اجراها برای هر بودجه آزمایشی ترسیم شده است.
در مورد شکل 3 به موارد زیر توجه کنید:
- محدوده بین چارکی زمانی که 6 کارآزمایی نمونه برداری شد بسیار بزرگتر از زمانی است که 20 کارآزمایی نمونه برداری شد.
- حتی با 20 آزمایش، تفاوت بین مطالعات مخصوصاً خوش شانس و بدشانس احتمالاً بزرگتر از تغییرات معمولی بین بازآموزی های این مدل در دانه های تصادفی مختلف، با فراپارامترهای ثابت است که برای این حجم کاری ممکن است حدود +/- 0.1٪ در یک خطای اعتبارسنجی باشد. نرخ ~ 23٪.
جز در مواردی که غیر از این ذکر شده باشد،محتوای این صفحه تحت مجوز Creative Commons Attribution 4.0 License است. نمونه کدها نیز دارای مجوز Apache 2.0 License است. برای اطلاع از جزئیات، به خطمشیهای سایت Google Developers مراجعه کنید. جاوا علامت تجاری ثبتشده Oracle و/یا شرکتهای وابسته به آن است.
تاریخ آخرین بهروزرسانی 2025-07-29 بهوقت ساعت هماهنگ جهانی.
[null,null,["تاریخ آخرین بهروزرسانی 2025-07-29 بهوقت ساعت هماهنگ جهانی."],[[["\u003cp\u003eQuasi-random search, akin to "jittered, shuffled grid search," offers consistent exploration of hyperparameter search spaces, aiding in insightful analysis and reproducibility.\u003c/p\u003e\n"],["\u003cp\u003eIts non-adaptive nature enables flexible post hoc analysis without rerunning experiments, unlike adaptive methods like Bayesian optimization.\u003c/p\u003e\n"],["\u003cp\u003eWhile Bayesian optimization excels with sequential trials, quasi-random search shines in high-parallelism scenarios, often outperforming adaptive methods with double its budget.\u003c/p\u003e\n"],["\u003cp\u003eQuasi-random search facilitates easier interpretation of results and identification of potential search space boundary issues.\u003c/p\u003e\n"],["\u003cp\u003eAlthough the required number of trials varies depending on the problem, studies show significant impact on results, highlighting the importance of adequate budget allocation.\u003c/p\u003e\n"]]],[],null,["# Quasi-random search\n\nThis unit focuses on quasi-random search.\n\nWhy use quasi-random search?\n----------------------------\n\nQuasi-random search (based on low-discrepancy sequences) is our preference\nover fancier blackbox optimization tools when used as part of an iterative\ntuning process intended to maximize insight into the tuning problem (what\nwe refer to as the \"exploration phase\"). Bayesian optimization and similar\ntools are more appropriate for the exploitation phase.\nQuasi-random search based on randomly shifted low-discrepancy sequences can\nbe thought of as \"jittered, shuffled grid search\", since it uniformly, but\nrandomly, explores a given search space and spreads out the search points\nmore than random search.\n\nThe advantages of quasi-random search over more sophisticated blackbox\noptimization tools (e.g. Bayesian optimization, evolutionary algorithms)\ninclude:\n\n- Sampling the search space non-adaptively makes it possible to change the tuning objective in post hoc analysis without rerunning experiments. For example, we usually want to find the best trial in terms of validation error achieved at any point in training. However, the non-adaptive nature of quasi-random search makes it possible to find the best trial based on final validation error, training error, or some alternative evaluation metric without rerunning any experiments.\n- Quasi-random search behaves in a consistent and statistically reproducible way. It should be possible to reproduce a study from six months ago even if the implementation of the search algorithm changes, as long as it maintains the same uniformity properties. If using sophisticated Bayesian optimization software, the implementation might change in an important way between versions, making it much harder to reproduce an old search. It isn't always possible to roll back to an old implementation (e.g. if the optimization tool is run as a service).\n- Its uniform exploration of the search space makes it easier to reason about the results and what they might suggest about the search space. For example, if the best point in the traversal of quasi-random search is at the boundary of the search space, this is a good (but not foolproof) signal that the search space bounds should be changed. However, an adaptive blackbox optimization algorithm might have neglected the middle of the search space because of some unlucky early trials even if it happens to contain equally good points, since it is this exact sort of non-uniformity that a good optimization algorithm needs to employ to speed up the search.\n- Running different numbers of trials in parallel versus sequentially does not produce statistically different results when using quasi-random search (or other non-adaptive search algorithms), unlike with adaptive algorithms.\n- More sophisticated search algorithms may not always handle infeasible points correctly, especially if they aren't designed with neural network hyperparameter tuning in mind.\n- Quasi-random search is simple and works especially well when many tuning trials are running in parallel. Anecdotally^[1](#fn1)^, it is very hard for an adaptive algorithm to beat a quasi-random search that has 2X its budget, especially when many trials need to be run in parallel (and thus there are very few chances to make use of previous trial results when launching new trials). Without expertise in Bayesian optimization and other advanced blackbox optimization methods, you might not achieve the benefits they are, in principle, capable of providing. It is hard to benchmark advanced blackbox optimization algorithms in realistic deep learning tuning conditions. They are a very active area of current research, and the more sophisticated algorithms come with their own pitfalls for inexperienced users. Experts in these methods are able to get good results, but in high-parallelism conditions the search space and budget tend to matter a lot more.\n\nThat said, if your computational resources only allow a small number of\ntrials to run in parallel and you can afford to run many trials in sequence,\nBayesian optimization becomes much more attractive despite making your\ntuning results harder to interpret.\n\nWhere can I find an implementation of quasi-random search?\n----------------------------------------------------------\n\n[Open-Source Vizier](https://github.com/google/vizier) has\n[an implementation of quasi-random\nsearch](https://github.com/google/vizier/blob/main/vizier/_src/algorithms/designers/quasi_random.py).\nSet `algorithm=\"QUASI_RANDOM_SEARCH\"` in [this Vizier usage\nexample](https://oss-vizier.readthedocs.io/en/latest/guides/user/running_vizier.html).\nAn alternative implementation exists [in this hyperparameter sweeps\nexample](https://github.com/mlcommons/algorithmic-efficiency/blob/main/algorithmic_efficiency/halton.py).\nBoth of these implementations generate a Halton sequence for a given search\nspace (intended to implement a shifted, scrambled Halton sequence as\nrecommended in\n[Critical Hyper-Parameters: No Random, No\nCry](https://arxiv.org/abs/1706.03200).\n\nIf a quasi-random search algorithm based on a low-discrepancy sequence is not\navailable, it is possible to substitute pseudo random uniform search instead,\nalthough this is likely to be slightly less efficient. In 1-2 dimensions,\ngrid search is also acceptable, although not in higher dimensions. (See\n[Bergstra \\& Bengio, 2012](https://www.jmlr.org/papers/v13/bergstra12a.html)).\n\nHow many trials are needed to get good results with quasi-random search?\n------------------------------------------------------------------------\n\nThere is no way to determine how many trials are needed to get\nresults with quasi-random search in general, but you can look at\nspecific examples. As Figure 3 shows, the number of trials in a study can\nhave a substantial impact on the results:\n\n**Figure 3:** ResNet-50 tuned on ImageNet with 100 trials.\nUsing bootstrapping, different amounts of tuning budget were simulated.\nBox plots of the best performances for each trial budget are plotted.\n\n\u003cbr /\u003e\n\nNotice the following about Figure 3:\n\n- The interquartile ranges when 6 trials were sampled are much larger than when 20 trials were sampled.\n- Even with 20 trials, the difference between especially lucky and unlucky studies are likely larger than the typical variation between retrains of this model on different random seeds, with fixed hyperparameters, which for this workload might be around +/- 0.1% on a validation error rate of \\~23%.\n\n*** ** * ** ***\n\n1. Ben Recht and Kevin Jamieson\n [pointed out](http://www.argmin.net/2016/06/20/hypertuning/) how strong\n 2X-budget random search is as a baseline (the\n [Hyperband paper](https://jmlr.org/papers/volume18/16-558/16-558.pdf)\n makes similar arguments), but it is certainly possible to find search\n spaces and problems where state-of-the-art Bayesian optimization\n techniques crush random search that has 2X the budget. However, in our\n experience beating 2X-budget random search gets much harder in the\n high-parallelism regime since Bayesian optimization has no opportunity to\n observe the results of previous trials. [↩](#fnref1)"]]
