שאלות נפוצות, תשובות מומלצות וטיפים מקצועיים
עבדתי עם BERT, GPT ו-T5 לפרויקטים שונים. ב-fine-tuning של BERT לסיווג טקסט בעברית, הגעתי ל-F1 של 0.92. לאחרונה עבדתי עם LLMs דרך APIs ו-fine-tuning עם LoRA/QLoRA. בניתי גם RAG system עם sentence transformers לחיפוש סמנטי.
אני משתמש ב-ChatGPT API.
עברית מאתגרת בגלל מורפולוגיה עשירה, כיוון כתיבה RTL וחוסר ניקוד. אני משתמש ב-tokenizers מותאמים, מודלים שאומנו על עברית כמו AlephBERT, ומבצע preprocessing מותאם. בפרויקט NER בעברית השתמשתי ב-character-level features שהעלו את הביצועים ב-15%.
אני מתרגם לאנגלית, מריץ את המודל, ומתרגם בחזרה.
Transformer מבוסס על self-attention mechanism שמאפשר למודל להסתכל על כל החלקים של ה-input במקביל. יש encoder ו-decoder עם multi-head attention, positional encoding, feed-forward layers ו-layer normalization. BERT משתמש רק ב-encoder, GPT רק ב-decoder. ה-attention חישוב QKV הוא הליבה.
זה deep learning מתקדם שעובד טוב על טקסט.
תלוי במשימה: BLEU/ROUGE לסיכום וטרנסלציה, F1/precision/recall לסיווג ו-NER, perplexity ל-language models. מעבר למדדים אוטומטיים, אני מקיים human evaluation עם annotation guidelines ברורים ו-inter-annotator agreement. בנוסף, בודק bias ו-fairness.
אני בודק accuracy על ה-test set.
Fine-tuning מלא מעדכן את כל המשקולות של המודל — יקר מבחינת compute ו-memory. שיטות PEFT כמו LoRA מוסיפות שכבות קטנות שניתנות לאימון ומקפיאות את המודל המקורי. זה חוסך 90%+ ב-memory ומאפשר fine-tuning של מודלים גדולים על GPU אחד. בפרויקט האחרון השתמשתי ב-QLoRA ל-fine-tuning של LLaMA 7B עם 4-bit quantization.
LoRA זה כמו fine-tuning רגיל רק יותר מהיר.
שיטת STAR: Situation, Task, Action, Result — הדרך הטובה ביותר לענות על שאלות התנהגותיות.
חברת legaltech רצתה מערכת שמסכמת מסמכים משפטיים ארוכים בעברית, אבל המודלים הקיימים לא הבינו את השפה המשפטית
הייתי צריך לבנות מערכת סיכום אוטומטי למסמכים משפטיים בעברית עם דיוק של 90%+ לפי הערכת עורכי דין
יצרתי dataset של 5,000 מסמכים עם סיכומים מאנשי מקצוע, fine-tuned מודל T5 על הדומיין המשפטי העברי, ובניתי pipeline שמפרק מסמכים ארוכים ומסכם היררכית
המערכת קיבלה ציון 4.3 מתוך 5 מעורכי דין, חסכה 3 שעות עבודה למסמך, ואומצה על ידי 50+ משרדי עורכי דין
הכר את הארכיטקטורות המובילות: Transformer, BERT, GPT, T5 ומשפחותיהן
הכן דוגמאות של פרויקטי NLP עם מדדים ברורים
היה מוכן לשאלות מעמיקות על attention mechanism ו-tokenization
הכר את האתגרים הייחודיים של NLP בעברית
עקוב אחרי מאמרים עדכניים — תשאלו על מגמות חדשות
היה מוכן לאתגר קידוד — fine-tuning, preprocessing, evaluation
לא להבין את המתמטיקה מאחורי attention ו-transformers
ניסיון רק עם APIs בלי הבנה של המודלים עצמם
חוסר ידע ב-evaluation metrics מתאימים לכל משימה
לא להכיר את האתגרים של NLP בשפות לא אנגליות
להתעלם מנושאי bias ו-fairness במודלי שפה
לבוש קז׳ואל של הייטק. ג׳ינס וחולצה נוחה. NLP engineers עובדים בסביבה אקדמית-טכנולוגית שמאוד קז׳ואלית.
מאוד מומלץ. NLP הוא תחום עם בסיס אקדמי חזק, ורוב התפקידים דורשים לפחות MSc ב-CS או NLP. תואר שלישי הוא יתרון גדול, במיוחד במעבדות מחקר. אבל ניסיון מעשי חזק יכול לפצות.
Hugging Face Transformers (חובה), PyTorch, spaCy, NLTK, LangChain. בנוסף, Weights & Biases למעקב ניסויים, ו-annotation tools כמו Label Studio. ידע ב-distributed training עם DeepSpeed הוא יתרון.