משפחת המודלים של בינה מלאכותית (AI) של Gemini נועדה לטפל בסוגים שונים של נתוני קלט, כולל טקסט, תמונות ואודיו. מכיוון שהמודלים האלה יכולים לטפל ביותר מסוג אחד או מצב של נתונים, המודלים של Gemini נקראים מודלים מולטימודאליים או שיש להם יכולות מולטימודאליות.
במדריך הזה מוסבר איך לעבוד עם קובצי מדיה באמצעות Files API. הפעולות הבסיסיות זהות לקובצי אודיו, תמונות, סרטונים, מסמכים ולסוגי קבצים נתמכים אחרים.
הנחיות לכתיבת הנחיות לקבצים זמינות בקטע המדריך לכתיבת הנחיות לקבצים.
העלאת קובץ
אפשר להשתמש ב-Files API כדי להעלות קובץ מדיה. תמיד צריך להשתמש ב-Files API כשגודל הבקשה הכולל (כולל הקבצים, הנחיית הטקסט, הוראות המערכת וכו') גדול מ-20 MB.
בדוגמת הקוד הבאה, קובץ מועלה ואז נעשה בו שימוש בקריאה ל-generateContent.
Python
from google import genai client = genai.Client() myfile = client.files.upload(file="path/to/sample.mp3") response = client.models.generate_content( model="gemini-2.5-flash", contents=["Describe this audio clip", myfile] ) print(response.text) JavaScript
import { GoogleGenAI, createUserContent, createPartFromUri, } from "@google/genai"; const ai = new GoogleGenAI({}); async function main() { const myfile = await ai.files.upload({ file: "path/to/sample.mp3", config: { mimeType: "audio/mpeg" }, }); const response = await ai.models.generateContent({ model: "gemini-2.5-flash", contents: createUserContent([ createPartFromUri(myfile.uri, myfile.mimeType), "Describe this audio clip", ]), }); console.log(response.text); } await main(); Go
file, err := client.UploadFileFromPath(ctx, "path/to/sample.mp3", nil) if err != nil { log.Fatal(err) } defer client.DeleteFile(ctx, file.Name) model := client.GenerativeModel("gemini-2.5-flash") resp, err := model.GenerateContent(ctx, genai.FileData{URI: file.URI}, genai.Text("Describe this audio clip")) if err != nil { log.Fatal(err) } printResponse(resp) REST
AUDIO_PATH="path/to/sample.mp3" MIME_TYPE=$(file -b --mime-type "${AUDIO_PATH}") NUM_BYTES=$(wc -c < "${AUDIO_PATH}") DISPLAY_NAME=AUDIO tmp_header_file=upload-header.tmp # Initial resumable request defining metadata. # The upload url is in the response headers dump them to a file. curl "${BASE_URL}/upload/v1beta/files" \ -H "x-goog-api-key: $GEMINI_API_KEY" \ -D "${tmp_header_file}" \ -H "X-Goog-Upload-Protocol: resumable" \ -H "X-Goog-Upload-Command: start" \ -H "X-Goog-Upload-Header-Content-Length: ${NUM_BYTES}" \ -H "X-Goog-Upload-Header-Content-Type: ${MIME_TYPE}" \ -H "Content-Type: application/json" \ -d "{'file': {'display_name': '${DISPLAY_NAME}'}}" 2> /dev/null upload_url=$(grep -i "x-goog-upload-url: " "${tmp_header_file}" | cut -d" " -f2 | tr -d "\r") rm "${tmp_header_file}" # Upload the actual bytes. curl "${upload_url}" \ -H "Content-Length: ${NUM_BYTES}" \ -H "X-Goog-Upload-Offset: 0" \ -H "X-Goog-Upload-Command: upload, finalize" \ --data-binary "@${AUDIO_PATH}" 2> /dev/null > file_info.json file_uri=$(jq ".file.uri" file_info.json) echo file_uri=$file_uri # Now generate content using that file curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-flash:generateContent" \ -H "x-goog-api-key: $GEMINI_API_KEY" \ -H 'Content-Type: application/json' \ -X POST \ -d '{ "contents": [{ "parts":[ {"text": "Describe this audio clip"}, {"file_data":{"mime_type": "${MIME_TYPE}", "file_uri": '$file_uri'}}] }] }' 2> /dev/null > response.json cat response.json echo jq ".candidates[].content.parts[].text" response.json אחזור מטא-נתונים של קובץ
אפשר לוודא שקובץ שהועלה נשמר בהצלחה באמצעות ה-API ולקבל את המטא-נתונים שלו על ידי קריאה ל-files.get.
Python
myfile = client.files.upload(file='path/to/sample.mp3') file_name = myfile.name myfile = client.files.get(name=file_name) print(myfile) JavaScript
const myfile = await ai.files.upload({ file: "path/to/sample.mp3", config: { mimeType: "audio/mpeg" }, }); const fileName = myfile.name; const fetchedFile = await ai.files.get({ name: fileName }); console.log(fetchedFile); Go
file, err := client.UploadFileFromPath(ctx, "path/to/sample.mp3", nil) if err != nil { log.Fatal(err) } gotFile, err := client.GetFile(ctx, file.Name) if err != nil { log.Fatal(err) } fmt.Println("Got file:", gotFile.Name) REST
# file_info.json was created in the upload example name=$(jq ".file.name" file_info.json) # Get the file of interest to check state curl https://generativelanguage.googleapis.com/v1beta/files/$name \ -H "x-goog-api-key: $GEMINI_API_KEY" > file_info.json # Print some information about the file you got name=$(jq ".file.name" file_info.json) echo name=$name file_uri=$(jq ".file.uri" file_info.json) echo file_uri=$file_uri הצגת רשימת הקבצים שהועלו
אפשר להעלות כמה קבצים באמצעות Files API. הקוד הבא מקבל רשימה של כל הקבצים שהועלו:
Python
print('My files:') for f in client.files.list(): print(' ', f.name) JavaScript
const listResponse = await ai.files.list({ config: { pageSize: 10 } }); for await (const file of listResponse) { console.log(file.name); } Go
iter := client.ListFiles(ctx) for { ifile, err := iter.Next() if err == iterator.Done { break } if err != nil { log.Fatal(err) } fmt.Println(ifile.Name) } REST
echo "My files: " curl "https://generativelanguage.googleapis.com/v1beta/files" \ -H "x-goog-api-key: $GEMINI_API_KEY" מחיקת קבצים שהועלו
הקבצים נמחקים אוטומטית אחרי 48 שעות. אפשר גם למחוק קובץ שהועלה באופן ידני:
Python
myfile = client.files.upload(file='path/to/sample.mp3') client.files.delete(name=myfile.name) JavaScript
const myfile = await ai.files.upload({ file: "path/to/sample.mp3", config: { mimeType: "audio/mpeg" }, }); const fileName = myfile.name; await ai.files.delete({ name: fileName }); Go
file, err := client.UploadFileFromPath(ctx, "path/to/sample.mp3", nil) if err != nil { log.Fatal(err) } client.DeleteFile(ctx, file.Name) REST
curl --request "DELETE" https://generativelanguage.googleapis.com/v1beta/files/$name \ -H "x-goog-api-key: $GEMINI_API_KEY" נתוני שימוש
אפשר להשתמש ב-Files API כדי להעלות קובצי מדיה ולבצע פעולות שונות בהם. בעזרת Files API אפשר לאחסן עד 20GB של קבצים לכל פרויקט, עם גודל מקסימלי של 2GB לכל קובץ. הקבצים מאוחסנים למשך 48 שעות. במהלך התקופה הזו, אפשר להשתמש ב-API כדי לקבל מטא-נתונים על הקבצים, אבל אי אפשר להוריד את הקבצים. Files API זמין ללא עלות בכל האזורים שבהם Gemini API זמין.
שיטות להנחיית קבצים
בקטע הזה מפורטות הנחיות ושיטות מומלצות לשימוש בקובצי מדיה עם הנחיות ל-Gemini API.
היכולת להשתמש בסוגים שונים של נתונים בהנחיות נותנת לכם יותר גמישות מבחינת המשימות שאתם יכולים לבצע באמצעות Gemini API. לדוגמה, אפשר לשלוח למודל תמונה של ארוחה טעימה ולבקש ממנו לכתוב פוסט קצר בבלוג על הארוחה.
| הנחיה | תשובה |
| תכתוב פוסט קצר ומושך בבלוג על סמך התמונה הזו. הוא צריך לכלול תיאור של הארוחה שמופיעה בתמונה ולספר על התהליך שלי בהכנת ארוחות מראש.  | הכנת ארוחות מראש היא דרך מצוינת לחסוך זמן וכסף, והיא גם יכולה לעזור לכם לאכול בריא יותר. הארוחה הזו היא דוגמה מצוינת לארוחה בריאה וטעימה שאפשר להכין בקלות מראש. ארוחה שכוללת אורז מלא, ירקות צלויים ועוף טריאקי. האורז החום הוא פחמימה בריאה ומורכבת שתספק לכם אנרגיה לאורך זמן. הירקות הצלויים הם דרך מצוינת לקבל את המינון היומי של ויטמינים ומינרלים, והעוף טריאקי הוא אפשרות טעימה ועשירה בחלבון. גם את הארוחה הזו קל מאוד להכין. פשוט מבשלים את האורז החום, צולים את הירקות ומבשלים את העוף טריאקי. אחרי שכל המרכיבים מבושלים, מחלקים אותם לקופסאות של הכנת ארוחות ושומרים במקרר. אז תוכלו לקחת קופסה ולצאת לדרך בבקרים העמוסים! אם אתם מחפשים ארוחה בריאה וטעימה שאפשר להכין בקלות מראש, זו אופציה מצוינת. הוא עשיר בחומרי הזנה ובטעם, ואין ספק שהוא ישאיר אתכם שבעים ומרוצים. שתהיה לכם הכנת ארוחות בריאה וטעימה! |
אם אתם מתקשים לקבל את הפלט הרצוי מהנחיות שמשתמשות בקובצי מדיה, יש כמה אסטרטגיות שיכולות לעזור לכם לקבל את התוצאות הרצויות. בקטעים הבאים מפורטות גישות עיצוב וטיפים לפתרון בעיות שיעזרו לכם לשפר הנחיות שמשתמשות בקלט רב-אופני.
כדי לשפר את ההנחיות הרב-מודאליות, מומלץ לפעול לפי השיטות המומלצות הבאות:
-
היסודות של תכנון הנחיות
- הוראות ספציפיות: חשוב לנסח הוראות ברורות ותמציתיות, שלא משאירות מקום לפרשנות מוטעית.
- להוסיף כמה דוגמאות להנחיה: כדאי להשתמש בכמה דוגמאות ריאליסטיות כדי להמחיש את מה שרוצים להשיג.
- פירוט שלבים: חלוקת משימות מורכבות למשימות משנה קלות יותר לניהול, והנחיית המודל בתהליך.
- מציינים את פורמט הפלט: בהנחיה, מבקשים שהפלט יהיה בפורמט הרצוי, כמו markdown, JSON, HTML ועוד.
- בהנחיות עם תמונה אחת, כדאי להוסיף את התמונה לפני הטקסט: Gemini יכול לעבד קלט של תמונה וטקסט בכל סדר, אבל בהנחיות עם תמונה אחת, יכול להיות שהביצועים יהיו טובים יותר אם התמונה (או הסרטון) תופיע לפני הנחיית הטקסט. עם זאת, בהנחיות שבהן צריך לשלב תמונות עם טקסטים בצורה הדוקה כדי שההנחיה תהיה ברורה, כדאי להשתמש בסדר הכי טבעי.
-
פתרון בעיות בהנחיה מולטימודלית
- אם המודל לא שואב מידע מהחלק הרלוונטי בתמונה: כדאי להוסיף רמזים לגבי ההיבטים של התמונה שמהם רוצים שההנחיה תשלוף מידע.
- אם הפלט של המודל גנרי מדי (לא מותאם מספיק לקלט של התמונה או הסרטון): בתחילת ההנחיה, כדאי לבקש מהמודל לתאר את התמונות או הסרטון לפני שמספקים את הוראת המשימה, או לבקש מהמודל להתייחס למה שמופיע בתמונה.
- כדי לפתור בעיות בחלק מסוים: מבקשים מהמודל לתאר את התמונה או להסביר את ההיגיון שלו, כדי להבין מה הייתה ההבנה הראשונית של המודל.
- אם ההנחיה שלכם מניבה תוכן הזוי: נסו להפחית את הגדרת הטמפרטורה או לבקש מהמודל תיאורים קצרים יותר, כדי שהסיכוי שהוא יסיק פרטים נוספים יהיה נמוך יותר.
- שינוי הפרמטרים של הדגימה: כדאי להתנסות בהגדרות שונות של טמפרטורה ובבחירות שונות של top-k כדי לשנות את היצירתיות של המודל.
ההוראות צריכות להיות ספציפיות
ההנחיות הכי יעילות הן הנחיות ברורות ומפורטות. אם יש לכם פלט ספציפי בראש, עדיף לכלול את הדרישה הזו בהנחיה כדי לקבל את הפלט הרצוי.
אם תבקשו מהמודל רק "לתאר את התמונה הזו" של לוח בשדה תעופה, יכול להיות שתקבלו תיאור כללי. אם אתם רוצים שהמודל ינתח את השעה והעיר מהתמונה, אתם יכולים לכלול את הבקשה הזו ישירות בהנחיה.
| הנחיה | תשובה של מודל |
|---|---|
 מה מופיע בתמונה? | תמונה של לוח טיסות נכנסות ויוצאות בשדה תעופה. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
Parse the time and city from the airport board shown in this image into a list. |
מוסיפים כמה דוגמאות
מודל Gemini יכול לקבל כמה קלטים, שאותם הוא יכול להשתמש כדוגמאות כדי להבין את הפלט שאתם רוצים. הוספת הדוגמאות האלה יכולה לעזור למודל לזהות את הדפוסים ולהחיל את הקשר בין התמונות והתשובות שצוינו על הדוגמה החדשה. השיטה הזו נקראת גם למידה עם מספר קטן של דוגמאות.
בדוגמה שלמטה, הפלט הראשוני כתוב בצורת משפט, והוא כולל גם את המדינה (ברזיל). נניח שאתם רוצים שהפלט יהיה בפורמט או בסגנון אחר, ושהוא יכלול רק את העיר ולא את המדינה. הוספה של דוגמאות להנחיה יכולה לעזור למודל להגיב בצורה הרצויה.
| הנחיה | תשובה של מודל |
|---|---|
 צריך לקבוע את העיר שבה נמצא ציון הדרך. | האתר המפורסם הוא פסל ישו הגואל בריו דה ז'ניירו, ברזיל. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
| צריך לקבוע את העיר שבה נמצא ציון הדרך.  | city: Rome, landmark: the Colosseum. |
 | עיר: בייג'ינג, ציון דרך: העיר האסורה |
| | city: Rio de Janeiro, landmark: Christ the Redeemer statue |
הסבר מפורט
במשימות מורכבות שדורשות גם הבנה חזותית וגם חשיבה, כדאי לפצל את המשימה לשלבים קטנים ופשוטים יותר. אפשרות נוספת היא לבקש מהמודל ישירות בהנחיה 'לחשוב שלב אחרי שלב'.
| הנחיה | תשובה של מודל |
|---|---|
 מתי ייגמר לי נייר הטואלט? | בקרוב, יישארו לך רק 3 גלילים. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
|
|
בעיות מתמטיות או סוגים אחרים של בעיות מילוליות הן דוגמאות מצוינות לתרחישים שבהם כדאי לבקש מהמודל לחשוב שלב אחר שלב.
| הנחיה | תשובה |
|---|---|
מהו האיבר הרביעי בסדרה? | -135 |
התשובה מהמודל שגויה. כדי לשפר את התשובה, אפשר לבקש מהמודל לנתח את הבעיה לפני שהוא עונה על ההנחיה.
| הנחיה | תשובה |
|---|---|
קודם מנתחים את הנוסחה שבתמונה. לאחר מכן, על סמך הנוסחה, ענה על השאלה 'מה האיבר הרביעי בסדרה?'. | כדי להרחיב את התוצאה, לוחצים כאן$$ b(n) = b(n-1) * (-3) $$ $$ b(1) = 15 $$
$$ b(4) = b(4-1) * (-3) $$ $$ b(4) = b(3) * (-3) $$ $$ b(3) = b(3-1) * (-3) $$ $$ b(3) = b(2) * (-3) $$ $$ b(2) = b(2-1) * (-3) $$ $$ b(2) = b(1) * (-3) $$ $$ b(2) = 15 * (-3) $$ $$ b(2) = -45 $$ $$ b(3) = b(2) * (-3) $$ $$ b(3) = -45 * (-3) $$ $$ b(3) = 135 $$ $$ b(4) = b(3) * (-3) $$ $$ b(4) = 135 * (-3) $$ $$ b(4) = -405 $$ לכן, האיבר הרביעי בסדרה הוא -405. |
התשובה של המודל נכונה. כדי שהתשובה תהיה תמציתית יותר, אפשר לבקש מהמודל לחשוב שלב אחר שלב.
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
| מהו האיבר הרביעי בסדרה? חושבים שלב אחר שלב. | האיבר הראשון הוא 15. האיבר השני הוא b(1) * (-3) = 15 * (-3) = -45. האיבר השלישי הוא b(2) * (-3) = -45 * (-3) = 135. האיבר הרביעי הוא b(3) * (-3) = 135 * (-3) = -405. |
ציון פורמט הפלט
בעיה נפוצה היא הצורך שפלט המודל יהיה בפורמט מסוים (למשל, markdown, JSON, HTML), במיוחד אם צריך להזין את פלט המודל למשימה בהמשך. אתם יכולים לנסות ליצור פלט בפורמט הזה על ידי מתן הנחיה למודל לעשות זאת. בהמשך מופיעות שתי דוגמאות:
| הנחיה | תשובה של מודל |
|---|---|
 תנתח את הטבלה בתמונה הזו לפורמט Markdown | | נושא | סטטוס | שעה | תאריך התחלה | תאריך יעד | | ------- | ------ | ---- | ---------- | ------ | | מתמטיקה | בוצע | שעה וחצי | 29/11/2023 | 1/12/2023 | | גיאוגרפיה | בוצע | 30 דקות | 2/12/2023 | 4/12/2023 | | פיזיקה | בביצוע | שעתיים | 3/12/2023 | 5/12/2023 | | ביולוגיה | לא התחיל | 6 שעות | 2/11/2016 | 6/12/2023 | |
| הנחיה | תשובה של מודל |
|---|---|
 צריך לציין את כל המאפיינים הבאים: רכיבים, סוג המטבח, צמחוני או לא, בפורמט JSON |
|
כשמזינים הנחיות ליצירת תמונה אחת, כדאי להוסיף את התמונה קודם
Gemini יכול לפרש תמונה וטקסט בכל סדר בהנחיה, אבל יכול להיות שמיקום של תמונה אחת לפני הנחיית הטקסט יוביל לתוצאות טובות יותר. בדוגמאות הבאות אפשר לראות שהתמונה מופיעה לפני הטקסט בכל הנחיה.
פתרון בעיות בהנחיה מרובת-אופנים
אם התשובה שקיבלתם לא מועילה, יכול להיות שתצטרכו לפתור בעיות בהנחיה. הנה כמה אסטרטגיות שאפשר לנסות.
אם המודל לא שואב מידע מהחלק הרלוונטי בתמונה
כדי לקבל תשובה ספציפית יותר, אפשר לציין אילו היבטים של התמונה רוצים שההנחיה תתייחס אליהם כדי לספק תשובה.
| הנחיה | תשובה של מודל |
|---|---|
 כמה ימים יספיקו החיתולים האלה לתינוק? | החיתולים יספיקו ל-198 ימים לפני שיגמרו. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
| כמה זמן יספיקו החיתולים האלה עד שאצטרך לקנות חדשים? משתמשים במשקל שמופיע על האריזה כדי לקבוע את גיל הילד, ומשתמשים במספר הכולל של החיתולים באריזה. מחלקים את המספר הכולל במספר החיתולים שהילד או הילדה משתמשים בהם ביום. | הקופסה מכילה 198 חיתולים. על הקופסה מצוין שהחיתולים מיועדים לילדים במשקל 10-17 ק"ג. הגיל הממוצע של ילדים בטווח המשקל הזה הוא בדרך כלל בין שנה לשנתיים. ילד בן שנתיים משתמש בדרך כלל ב-6 חיתולים ביום, ולכן החיתולים יספיקו לכ-33 ימים (198 חלקי 6). |
אם הפלט של המודל גנרי מדי ולא מותאם מספיק לקלט של התמונה
כדי לעזור למודל להתאים את התשובה שלו לתמונות, כדאי לבקש ממנו לתאר את התמונות לפני שהוא מבצע את משימת ההסקה.
| הנחיה | תשובה של מודל |
|---|---|
   מה המשותף לתמונות האלה? | כל ארבע התמונות הן דוגמאות לצילום נוף. |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
| קודם כל, תתאר בפירוט מה רואים בכל תמונה. מה המשותף לתמונות האלה? | בתמונה הראשונה מוצג אדם אורז מזוודה. בתמונה השנייה מוצג מסדרון ריק בקניון. בתמונה השלישית מוצג גליל נייר טואלט. בתמונה הרביעית מוצג ים סוער וכהה. המשותף לכל התמונות האלה הוא שהן דוגמאות למרחבים לימינליים. מרחבים לימינליים הם מקומות או מצבים שנמצאים בין שני מקומות או מצבים אחרים. לרוב, הן מתאפיינות בתחושת חוסר ודאות או דו-משמעות. בתמונה הראשונה רואים את האדם בין הבית לבין הנסיעה. התמונה השנייה מראה את המסדרון בין שתי חנויות. התמונה השלישית היא של נייר טואלט, שיכול לייצג חדר אמבטיה. חדר אמבטיה הוא מרחב מעבר בין תחומים פרטיים לציבוריים. זה מקום שבו אנחנו מתכוננים להיכנס לעולם החיצוני או לצאת ממנו. בתמונה הרביעית מוצג הים במצב רגוע ובמצב סוער. מרחבים לימינליים יכולים להיות מרגשים ומטרידים בו-זמנית. הם יכולים להיות מקום של התחלות חדשות או מקום של סיומים. הם יכולים להיות מקום למחשבה או מקום לפעולה. |
אפשר גם לנסות לבקש מהמודל באופן מפורש להתייחס למה שמופיע בתמונה.
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
| מה המשותף לתמונות האלה? התשובה תתייחס למה שרואים בתמונות. | כל התמונות קשורות לנסיעות. בתמונה הראשונה רואים אדם אורז מזוודה, בתמונה השנייה רואים מסדרון ריק בקניון, בתמונה השלישית רואים ערימה של נייר טואלט ובתמונה הרביעית רואים ים סוער וחשוך. כל התמונות האלה קשורות לנסיעות כי הן מציגות דברים שאנשים צריכים או משתמשים בהם כשהם נוסעים. בתמונה הראשונה רואים אדם אורז מזוודה, וזה משהו שאנשים עושים כשהם נוסעים לטיול. בתמונה השנייה מוצג מסדרון ריק בקניון, שהוא מקום שאנשים לרוב הולכים אליו כדי לקנות דברים לנסיעות שלהם. בתמונה השלישית מוצגת ערימה של נייר טואלט, שזה משהו שאנשים משתמשים בו לעיתים קרובות כשהם נוסעים. בתמונה הרביעית מוצג ים סוער וחשוך, שזה משהו שאנשים נתקלים בו לעיתים קרובות כשהם נוסעים. |
אותם טיפים רלוונטיים גם ליצירת קריאייטיב מתמונות. בדוגמה הבאה עם הארנב, בקשה מפורשת מהמודל לכלול היבטים מהתמונה יכולה לשפר את הפלט.
| הנחיה | תשובה של מודל |
|---|---|
 תכתוב לי שיר על התמונה הזו? | ארנב קטן, רך וחום, אתה מכרסם את העשב, כל כך ירוק ומתוק, |
| הנחיה מעודכנת | תשובה משופרת |
|---|---|
| תכתוב לי בבקשה שיר תיאורי ודרמטי על התמונה הזו, ותציין את המיקום. | ארנב קטן על הדשא הירוק, Is it the ocean blue, ארנב קטן, תגיד לי את האמת, אולי זה הגודל של הכול, ארנב קטן, מעניין מה חלמת, לא משנה מה זה, ארנב קטן, |
פתרון בעיות שקשורות לחלקים בהנחיה
יכול להיות שקשה לדעת אם ההנחיה נכשלה כי המודל לא הבין את התמונה מלכתחילה, או שהוא הבין את התמונה אבל לא ביצע את שלבי הנימוק הנכונים לאחר מכן. כדי להבחין בין הסיבות האלה, אפשר לבקש מהמודל לתאר את מה שמופיע בתמונה.
בדוגמה הבאה, אם המודל משיב עם חטיף שנראה מפתיע בשילוב עם תה (למשל, פופקורן), אפשר קודם לפתור את הבעיה כדי לקבוע אם המודל זיהה נכון שהתמונה מכילה תה.
| הנחיה | הנחיה לפתרון בעיות |
|---|---|
 איזה נשנוש אפשר להכין בדקה שיתאים לזה? | מה רואים בתמונה? |
אסטרטגיה נוספת היא לבקש מהמודל להסביר את ההיגיון שלו. כך תוכלו לצמצם את האפשרויות ולזהות איזה חלק מההסבר לא תקין, אם יש כזה.
| הנחיה | הנחיה לפתרון בעיות |
|---|---|
| איזה נשנוש אפשר להכין בדקה שיתאים לזה? | איזה נשנוש אפשר להכין בדקה שיתאים לזה? נשמח לקבל הסבר. |
המאמרים הבאים
- אתם יכולים לנסות לכתוב הנחיות מולטימודאליות משלכם באמצעות Google AI Studio.
- מידע על השימוש ב-Gemini Files API להעלאת קובצי מדיה ולצירוף שלהם להנחיות זמין במדריכים בנושא Vision, Audio ועיבוד מסמכים.
- הנחיות נוספות לעיצוב הנחיות, כמו כוונון פרמטרים של דגימה, זמינות בדף אסטרטגיות לכתיבת הנחיות.