שאלת ראיון: הסבר אילו פרוטוקולים עובדים בטכנולוגיות SAN בעולם האחסון?

אתם בראיון לתפקיד System Administrator. עד עכשיו דיברתם על Active Directory, DNS ו־GPO, והכול זרם. ואז המראיין פותח שרטוט של חוות שרתים ושואל: ״הסבר אילו פרוטוקולים עובדים בטכנולוגיות SAN בעולם האחסון״.

זו שאלה שמסננת מהר. מועמד שמכיר רק את המחשב שמולו יגיד ״זה דיסק ברשת״. מועמד שחשב על תשתית יודע להסביר מה עובר בכבל, על איזו רשת, ומה זה אומר לביצועים ולתפעול.

רגע לפני הפרוטוקולים: מה זה בכלל SAN?

SAN, כלומר Storage Area Network, היא רשת שמחברת שרתים למערכי אחסון ומעבירה בלוקים, לא קבצים. זה ההבדל החשוב מול NAS: ב־NAS השרת מבקש קובץ דרך SMB או NFS, ומערכת הקבצים יושבת על התקן האחסון. ב־SAN השרת מקבל ״דיסק גולמי״, מאתחל אותו, ומערכת הקבצים שלו, NTFS, ext4, XFS או VMFS, מנהלת אותו בעצמה.

• ▸Initiator: הצד שיוזם את הבקשה, בדרך כלל השרת או ה־Host של VMware.
• ▸Target: הצד שמספק את האחסון, בדרך כלל ה־Storage Controller של המערך.
• ▸LUN: יחידת אחסון לוגית שהמערך מציג לשרת. מבחינת השרת זה דיסק.
• ▸Fabric: הרשת שמחברת בין ה־Initiators ל־Targets, כולל המתגים.
• ▸Multipath (MPIO): כמה נתיבים פיזיים לאותו LUN, לשרידות ולפעמים גם לחלוקת עומס.

Fibre Channel: הוותיק, היציב והייעודי

Fibre Channel הוא הפרוטוקול הקלאסי של עולם ה־SAN. הוא רץ על רשת נפרדת לגמרי מרשת הנתונים: בשרת יש כרטיס HBA, ביניהם מתגי FC ייעודיים, ובצד השני בקרי המערך. הרשת תוכננה מראש לאחסון, עם בקרת זרימה מבוססת Credits כך שמסגרות לא נשלחות כשאין מקום לקבל אותן. התוצאה היא התנהגות צפויה והשהיה נמוכה.

• ▸זיהוי: כל פורט מזוהה לפי WWN, ובפרט WWPN, מזהה ייחודי בדומה ל־MAC.
• ▸Zoning: מוגדר במתגי ה־FC וקובע אילו Initiators יכולים לראות אילו Targets.
• ▸LUN Masking: מוגדר במערך וקובע איזה שרת מקבל גישה לאיזה LUN.
• ▸תכנון נפוץ: שני Fabrics נפרדים, A ו־B, כך שכשל של מתג שלם לא מפיל את הגישה.
• ▸חיסרון: ציוד ייעודי, עלות גבוהה וצורך בידע ייחודי.

iSCSI: האחסון שרץ על הרשת שכבר יש לכם

iSCSI עוטף פקודות SCSI בתוך TCP/IP. כלומר אותם מתגי Ethernet, אותם כרטיסי רשת ואותו ידע ברשתות תקשורת. זו הסיבה שהוא כל כך נפוץ בארגונים בינוניים, במעבדות ובסביבות וירטואליזציה. מבחינת מערכת ההפעלה, אחרי ההתחברות ל־Target, ה־LUN מופיע כדיסק רגיל.

• ▸זיהוי: כל Initiator ו־Target מזוהים לפי IQN, למשל iqn.1991-05.com.microsoft:srv01.
• ▸פורט ברירת מחדל: TCP 3260.
• ▸אבטחה: CHAP לאימות, ובנוסף הפרדה ל־VLAN או רשת ייעודית לאחסון.
• ▸המלצה מהשטח: לא לערבב תעבורת iSCSI עם תעבורת משתמשים, ולהשתמש בשני כרטיסים ובשתי רשתות עם MPIO במקום Teaming על אותה כתובת.
• ▸Jumbo Frames: יכולים לעזור, אבל רק אם MTU מוגדר עקבית לכל אורך הנתיב. MTU לא תואם הוא מקור קלאסי לתקלות מוזרות.

Start-Service MSiSCSI
Set-Service MSiSCSI -StartupType Automatic
New-IscsiTargetPortal -TargetPortalAddress 10.10.50.10
Get-IscsiTarget
Connect-IscsiTarget -NodeAddress <IQN-of-target> -IsPersistent $true -IsMultipathEnabled $true
Get-Disk | Where-Object PartitionStyle -eq 'RAW'

FCoE: Fibre Channel בתוך Ethernet

FCoE לוקח מסגרות Fibre Channel ושם אותן ישירות בתוך מסגרות Ethernet, בלי IP ובלי TCP. הרעיון היה לאחד את הכבלים: כרטיס CNA אחד בשרת שמעביר גם רשת נתונים וגם אחסון. הבעיה היא ש־Fibre Channel מצפה לרשת שלא מאבדת מסגרות, ו־Ethernet רגיל כן מאבד. לכן FCoE דורש Data Center Bridging, ובמיוחד Priority Flow Control, ומתגים שתומכים בכך.

בפועל FCoE נפוץ פחות היום. הוא מופיע בעיקר בסביבות שנבנו סביב ציוד מתאים, ובחלק מפתרונות ה־Blade וה־Converged. בראיון חשוב לדעת להסביר מה הוא ולמה הוא מסובך, לא להעמיד פנים שהוא הבחירה הנפוצה.

NVMe ו־NVMe over Fabrics: הדור של ה־Flash

כל הפרוטוקולים הקודמים מעבירים פקודות SCSI, שפה שנולדה בעידן הדיסקים המסתובבים. NVMe נבנה לזיכרון Flash: הרבה תורים מקבילים, הרבה פקודות בכל תור ופחות תקורה. בתוך השרת NVMe עובד על PCIe. כדי להביא את היתרונות האלה לאחסון משותף ברשת קיים NVMe over Fabrics, או בקיצור NVMe-oF.

• ▸NVMe/FC: פקודות NVMe על תשתית Fibre Channel קיימת. מאפשר שדרוג בלי להחליף את כל הרשת, בתנאי שה־HBA, המתגים והמערך תומכים.
• ▸NVMe/RDMA: על RoCE או InfiniBand. השהיה נמוכה מאוד, אבל דורש תכנון רשת קפדני.
• ▸NVMe/TCP: על Ethernet ו־TCP רגילים. פשוט יחסית לפריסה, ונחשב ליורש הטבעי של iSCSI בסביבות רבות.
• ▸מושגים: במקום LUN מדברים על Namespace, ובמקום IQN על NQN.

טבלת השוואה לשליפה מהירה

• ▸FC: פקודות SCSI, רשת FC ייעודית, זיהוי WWN, ביצועים צפויים ועלות גבוהה.
• ▸iSCSI: פקודות SCSI, Ethernet ו־TCP/IP, זיהוי IQN, זול ונגיש ודורש הפרדה ותכנון רשת.
• ▸FCoE: מסגרות FC, Ethernet Lossless עם DCB, איחוד כבלים ותפעול מורכב.
• ▸NVMe-oF: פקודות NVMe, על FC, RDMA או TCP, זיהוי NQN, השהיה נמוכה למערכי All-Flash.

איך זה נראה ביום עבודה של איש סיסטם?

נניח שבבוקר מגיעה קריאה מה־Help Desk: ״השרת של הנהלת החשבונות איטי נורא״. איש סיסטם שמבין SAN לא עוצר במעבד ובזיכרון. הוא בודק את השהיית הדיסק, אם כל הנתיבים של MPIO פעילים, אם אחד הכרטיסים נפל לנתיב בודד, אם יש שגיאות CRC בפורט במתג, ואם ה־Datastore ב־VMware מתקרב לגבול. ההבנה של השכבה הזו היא בדיוק מה שמבדיל בין טכנאי לבין מנהל תשתיות.

# Windows
mpclaim -s -d
Get-IscsiSession
Get-PhysicalDisk | Select FriendlyName, HealthStatus

# Linux
multipath -ll
iscsiadm -m session
lsblk

# VMware ESXi
esxcli storage core path list
esxcli storage nmp device list

שאלות המשך שהמראיין עשוי לשאול

• ▸מה ההבדל בין SAN ל־NAS? SAN מספק בלוקים והשרת מנהל את מערכת הקבצים. NAS מספק קבצים דרך SMB או NFS.
• ▸מה ההבדל בין Zoning ל־LUN Masking? Zoning מוגדר ב־Fabric וקובע מי רואה את מי. Masking מוגדר במערך וקובע איזה LUN מוצג לאיזה שרת. משתמשים בשניהם.
• ▸למה לא להשתמש ב־NIC Teaming ל־iSCSI? כי MPIO מנהל נתיבים לאחסון ברמת הפרוטוקול ומטפל טוב יותר בכשלים ובחלוקת עומס.
• ▸מה קורה אם שני שרתים כותבים לאותו LUN בלי תיאום? סכנה של השחתת נתונים. לכן משתמשים במערכת קבצים אשכולית כמו VMFS או CSV ב־Failover Cluster.
• ▸מתי תבחר ב־iSCSI ומתי ב־FC? iSCSI לתקציב ולפשטות על Ethernet קיים. FC לסביבות קריטיות שכבר יש בהן תשתית FC וצוות שמכיר אותה. ל־All-Flash חדש בודקים גם NVMe-oF.