משרת Senior Inference Systems Engineer בLightbits Labs בכפר סבא. משרה מלאה.

רוצים לדעת אם המשרה מתאימה לכם? מזי בודקת בשבילכם באפליקציה
מה תעשו
- תכנון ופיתוח תשתיות ניהול KV cache לשירות LLM בקנה מידה גדול
- אופטימיזציה של רנטיים כמו vLLM ו-SGLang
- פיתוח רכיבים בעלי ביצועים גבוהים ב-Rust, C++ ו-CUDA
תנאי המשרה
עבודה מהמשרד
דרישות
- ניסיון מעשי ב-CUDA ואופטימיזציית GPU
- הבנה עמוקה של transformer inference ו-KV cache
- ניסיון עם vLLM או SGLang
- תכנות מערכות ב-Rust, C++ או CUDA
יתרון
- ניסיון עם TensorRT-LLM או Triton Inference Server
- ניסיון בתכנון מערכות KV cache