משרת Data Engineer בSpieron בCenter District. משרה מלאה.

רוצים לדעת אם המשרה מתאימה לכם? מזי בודקת בשבילכם באפליקציה
מה תעשו
- בנייה והפעלת צינורות Batch ו-Streaming למעבר נתונים למערך Lakehouse.
- הובלת תהליכים מקצה לקצה: ingestion, אימות, ניקוי והטלה לטבלאות Iceberg.
- תחזוקה, אופטימיזציה ופתרון תקלות ב-pipelines, תוך עבודה מול צוותי הלקוח.
תנאי המשרה
עבודה מהמשרד
דרישות
- ניסיון בפיתוח יישומי Apache Spark (PySpark או Scala)
- ניסיון בבניית צינורות ingestion ו-streaming עם Apache Kafka
- היכרות עם טבלאות Apache Iceberg ומאגר Iceberg
- שליטה חזקה ב-SQL וב-Python
- ידע בסיסי ב-Linux, shell, לוגים ותהליכים