מהי מערכת Dremio?
Dremio היא פלטפורמת Data Lakehouse חדשנית המאפשרת גישה מהירה,
מאובטחת וישירה לנתונים גולמיים המאוחסנים ב־Data Lakes
(כגון Amazon S3, Azure Data Lake, HDFS ועוד), תוך שימוש בשפת SQL ובכלי BI.
המערכת נועדה לבטל את הצורך בשכפול, תזמון או העברת נתונים אל מחסני נתונים
(Data Warehouses) ובכך מפשטת את תשתית הדאטה הארגונית ומצמצמת עלויות משמעותית.
הייחוד של Dremio טמון ביכולת Query Acceleration שלה, תודות למנוע Apache Arrow Flight
ולמנגנון Reflection אשר מאחסן מראש תוצאות ביניים ומאיץ את ביצוע השאילתות.
מודולים עיקריים במערכת Dremio
Semantic Layer (Data Catalog & Virtualization):
מאפשר יצירת שכבת אבסטרקציה על גבי מקורות הנתונים.
תמיכה בניהול וירטואלי של טבלאות, joinים, views וסכמות עסקיות.
מאפשר למשתמשים לעבוד ב־SQL על מקורות שונים כאילו היו מקור אחיד.
Reflections (Query Acceleration):
מנגנון ייחודי ליצירת תצוגות מקדימות (Materializations) אוטומטיות.
מאיץ שאילתות בצורה משמעותית על ידי שימוש חכם בזיכרון ובמטמון.
Dremio Sonar:
מנוע SQL מבוסס Apache Arrow המיועד לביצועים גבוהים בשאילתות אנליטיות.
תמיכה בשאילתות על קבצי Parquet, ORC, JSON ועוד.
Dremio Arctic:
שירות Data-as-Code המאפשר ניהול גרסאות (Git-like) של טבלאות Lakehouse
באמצעות Apache Iceberg.
תמיכה ב־Branching, Reproducibility ו־Audit של שינויים בדאטה.
Data Governance & Security:
ניהול הרשאות רול-בייסי (RBAC), אימות זהות, תיעוד גישה.
אינטגרציה עם LDAP, SSO, OAuth וספקי זהות ארגוניים.
Audit trail מלא לכל פעולה.
Integration & Connectivity:
תמיכה מלאה ב־BI tools כמו Power BI, Tableau, Looker, Qlik ועוד.
חיבורי JDBC, ODBC, REST API.
מודלים של תמחור
Dremio מציעה מספר מסלולים:
Dremio Cloud – גרסה מנוהלת:
Community Edition (חינמית): מתאימה לפרויקטים קטנים,
כולל בסיס של יכולות Sonar.
Enterprise Edition:
תמחור לפי שימוש (Pay-as-you-go) על פי משאבים:
חישוב לפי שעה עבור consumption engines.
אחסון Reflection.
תוספים נוספים כמו Arctic מתומחרים לפי נפח.
Dremio Software (On-premises / Self-hosted):
רישוי לפי core/hour או instance-based.
דרישה להסכם מסחרי (contact sales).
שאלות ותשובות בנושא Dremio
ש: איך Dremio מתמודדת עם שאילתות כבדות על Data Lakes לעומת Data Warehouses קלאסיים?
ת: Dremio משתמשת במנגנון Reflections המייצר Materialized Views על בסיס שאילתות נפוצות או כבדים.
המערכת בוחרת אוטומטית את הדרך המהירה ביותר להריץ כל שאילתה.
המערכת מבוססת על Apache Arrow ו־Arrow Flight ל־in-memory columnar transport,
המאפשר עיבוד מהיר משמעותית ביחס ל־Redshift או BigQuery.
ש: מה ההבדל בין Dremio Sonar ל־Arctic?
ת: Sonar הוא מנוע שאילתות SQL מואץ הפועל מעל קבצי Data Lake ומבצע אינטראקציה מהירה עם כלים חיצוניים.
Arctic הוא מנגנון ניהול גרסאות לטבלאות הנתונים (Data as Code) המבוסס על Apache Iceberg,
ומיועד לניהול שינויים, שילובים ו־branching בדאטה בדומה ל־Git.
ש: האם Dremio תומכת בניתוחים רטרוספקטיביים או Time Travel?
ת: כן, כאשר עובדים עם Arctic ופורמט Apache Iceberg, ניתן לבצע שאילתות על מצבי עבר של טבלאות,
לבצע rollback לגרסאות קודמות, ולעקוב אחרי שינויים, תכונה קריטית לארגונים הנתונים לרגולציה.
ש: האם אפשר להשתמש ב־Dremio כמחליף ל־ETL?
ת: Dremio לא מחליפה באופן מלא מערכות ETL קלאסיות, אך מפחיתה משמעותית את הצורך בהן ע”י Data Virtualization.
במקום להעביר ולשכפל נתונים, ניתן לבצע join על־גבי מקורות שונים בצורה וירטואלית, מה שמייעל את הפיתוח האנליטי.
ש: איך Dremio משתלבת עם Apache Iceberg?
ת: Dremio תומכת באופן מלא ב־Iceberg ומאפשרת שאילתות ישירות על טבלאות Iceberg,
כולל תמיכה בתכונות כמו schema evolution, partition pruning, time travel ועוד.
Arctic מוסיפה שכבת ניהול גרסאות וסניפים מעל Iceberg ומאפשרת ניהול תהליכי ELT ו־CI/CD עבור דאטה.
