Le protocole iSCSI est un protocole mis au point en 1998 (date du 1er prototype). Ce protocole sert à fournir une interface standardisée pour transporter du SCSI sur de l’IP (iSCSI = Internet Small Computer System Interface).

1° – Introduction

Appuyé par Cisco & IBM, ils soumettent à l’IETF une proposition de normalisation du protocole en se basant sur les recherches effectuées chez IBM en 2000 mais il faudra attendre 2004 pour que l’IETF valide la norme. Il s’agit donc d’un protocole d’encapsulation : il sert à transporter un protocole de plus haut niveau, le protocole SCSI. Il permet donc d’assurer le transfert de blocs de données à haute vitesse sur un réseaux Ethernet IP. Son plus gros concurrent est le Channel Fiber (beaucoup plus onéreux). L’ iSCSI est utilisé principalement dans le cadre d’une baie de stockage SAN ou d’un serveur NAS voir un DAS.

2° – Un peu de vocabulaire et le contexte !

Alors bien que ça ne nous servira pas des masses ici, qu’est ce qu’un SAN, NAS et DAS :

• SAN (Storage Area Network) : Réseau dédié au stockage . Il permet la mutualisation des systèmes de stockage sur un réseau dédié ne permettant que le transport des informations par blocs (SCSI)
• NAS (Network Attached Storage) : Périphérique de stockage relié à un réseau dans la fonction principale est le stockage centralisé de gros volumes de données. Il partage le même réseau que les serveurs contrairement au SAN qui est sur un réseau dédié.
• DAS (Direct Attached Storage) : Système de disque en attachement direct, par opposition au NAS qui est en attachement réseau. En effet, seuls les ordinateurs auquel il est raccordé y accède, le plus souvent grâce au protocole iSCSI

Ensuite voici la terminologie concernant notre affaire, c’est à dire l’iSCSI :

• Target : Serveur cible qui contient les disques réseau. Autrement dit, celui qui va gérer l’espace de stockage. Il est aussi appelé « Cible ».
• Initiator : Client qui va accueillir le disque réseau qui sera fourni par la « target »

Voici un petit schéma bien plus parlant pour poser le contexte : Mise en garde importante :

• Étant donné que le protocole iSCSI est un protocole réseau en mode block et qu’il est vu comme local par le système, il n’est pas possible de partager un même volume entre plusieurs machines (sauf avec un système de fichier distribué tèl que GFS.
• Ici, même principe que le SAN : il faudra au minimum autant de volume que d’initiateur

Ce que j’appelle « VOLUME » peut être :

• Un fichier en mode block créé avec DD par exemple (cf exemple plus bas)
• Un volume LVM
• Un périphérique disque tel que /dev/sdb ou /dev/sdb1 par exemple

3° – Installation sur le « NAS » ou « SAN » enfin celui qui a les disques :

Dans le monde de l’Open Source, le protocole iSCSI est fournit par l’utilitaire iSCSI Enterprise Target appelé iscsitarget ou daemon « ietd ». Voici la procédure d’installation sur Debian et sur CentOS.

A – Sur debian

 

 # apt-get install iscsitarget iscsitarget-modules-`uname -r`

Il faut ensuite charger le module :

# modprobe iscsi_trgt
iSCSI Enterprise Target Software - version 0.4.15
iotype_init(92) register fileio
iotype_init(92) register blockio
iotype_init(92) register nullio

Puis démarrer le service iSCSI :

# /etc/init.d/iscsitarget start

Pour vérifier si le service est bien démarré :

# /etc/init.d/iscsitarget status
iSCSI enterprise target is running at pid 9855

 

B – Sur CentOS

La, va falloir compiler le module à la mano !! mais ne prenons pas peur :p Tout d’abord, on installe l’environnement nécessaire à la compilation :

# yum install kernel-devel openssl-devel gcc rpm-build

Ensuite, nous allons créer le répertoire qui va nous servir à la compilation et se positionner dedans :

# mkdir /usr/src/iscsitarget# cd /usr/src/iscsitarget

Nous pouvons maintenant récupérer les sources et les dé-tarrer :

# wget [http://dfn.dl.sourceforge.net/sourceforge/iscsitarget/iscsitarget-0.4.15.tar.gz->http://dfn.dl.sourceforge.net/sourceforge/iscsitarget/iscsitarget-0.4.15.tar.gz]
# tar xvf iscsitarget-0.4.15.tar.gz

Enfin il ne reste plus qu’a se placer dans le répertoire contenant les sources et de lancer la compilation :

# cd iscsitarget-0.4.15
# make
# make install

Nous pouvons maintenant charger le driver :

# modprobe iscsi_trgt
iSCSI Enterprise Target Software - version 0.4.15
iotype_init(92) register file
ioiotype_init(92) register blockio
iotype_init(92) register nullio

 

4° – Configuration de la « target » ou Cible !! :p

On considèrera ici que nos périphériques iSCSI sont des images sur un disque. Ces images ont été créé par exemple comme suit :

# dd if=/dev/zero of=disk.img bs=1k count=1000

Les fichiers de configuration du démon IET (iSCSI Entreprise Target) se trouvent ici :

• /etc/ietd.conf : fichier contenant la description des différents volumes.
• /etc/initiators.allow : fichier contenant les hôtes autorisés à se connecter
• /etc/default/iscsitarget : sur debian uniquement, pour activer le démarrage du service

Tout d’abord le fichier /etc/ietd.conf. Ce fichier contient donc la description de chaque ressource iSCSI. Voici sa structure :

Target iqn.2010-04.fr.freenux:storage.serveur1.root
#IncomingUser Utilisateur monmotdepasse
Lun 0 Path=/home/vmfs/serveur1/disk.img,Type=fileio
Alias serveur1.root
HeaderDigest CRC32C,None
DataDigest CRC32C,None
MaxConnections 1
InitialR2T No
ImmediateData Yes
MaxRecvDataSegmentLength 8192
MaxXmitDataSegmentLength 8192
MaxBurstLength 262144
FirstBurstLength 65536
MaxOutstandingR2T 8
HeaderDigest CRC32C,None
DataDigest CRC32C,None
Wthreads 8

Détaillons un peu plus précisément cette déclaration : Target iqn.2010-04.fr.freenux:storage.serveur1.root Le 1er paramètre, le nom du périphérique ou plutôt son adresse normalisé sous le nom. Il en existe 2 formats :

• Le format IQN (iSCSI Qualified Name). Il est constitué selon le modèle suivant : iqn . Date ( format AAAA-MM) . Domaine . Chaîne unique identifiant le noeud.Par exemple : iqn.2010-04.fr.freenux:storage.serveur1.root
• Le format eui (Enterprise Unique Identifier). Il est constitué de la façon suivante : eui . 16 chiffres hexadécimauxPar exemple : eui.a7502b8efa5903c0

IncomingUser Utilisateur monmotdepasse : Permet de spécifier un login / mot de passe pour accèder à la ressource. (voir 4° Petites notes) Lun 0 Path=/home/vmfs/serveur1/disk.img,Type=fileio : Chemin vers le volume, le périphérique de stockage, ou un périphérique de type LVM.

• Le Type fileio permet de faire le mappage entre le Lun et un périphériques de bloc de type sdX ou hdX ou encore un périphérique de bloc virtuel comme LVM ou même un fichier régulier.
• Le Type blockio lui va effectuer des I/O directs sans passer par le « page-cache » pour tout les opération de lecture / écriture. Cela permet des traitements plus efficace durant le transfert des secteurs dans un environnement virtualisé.

Alias serveur1.root : Optionnel : définition d’un alias afin d’avoir un nom plus « sexy » Les autres options sont les suivantes : MaxConnections 1 : Spécifie le nombre maximum de connexion simultané InitialR2T No : Positionner à YES, l’initiateur doit attendre la target pour être solicité avant d’envoyer les données. En le positionnant à NO, on autorise l’initiateur à envoyer une rafale de bit non sollicité avec une commande avant ou après (en fonction de l’option ImmediateData) afin d’envoyer les données. Afin d’amélioré les performances, le positionner à NO. ImmediateData Yes : Permet à l’initiateur d’envoyer de données non solicité à une commande. Afin d’améliorer les performances, le possionner à Yes MaxRecvDataSegmentLength 8192 Définit la taille maximum du segment de donnée qui peut être reçut. Le valeur devrait être fixé avec un multiples de PAGE_SIZE. La configuration d’une valeur trop grandes peut entraîner des problèmes d’allocation mémoire. La valeur par defaut est de 8 192 MaxXmitDataSegmentLength 8192 Définit la taille maximum du segment de donnée qui peut être envoyé. Même principe que ci-dessus MaxBurstLength 262144 Définit la valeur maximal qu’un message sollicité ou non peut envoyer en un seul burst. FirstBurstLength 65536 Définit la quantité de données non sollicitées que l’initiateur peut transmettre à la première rafale soit avec la commande ou juste après, en fonction des paramètres de InitialR2T et ImmediateData MaxOutstandingR2T 8 Contrôle le nombre maximum de transferts de données que la cible peut demander à la fois HeaderDigest CRC32C,None Active le checksum du header afin de valider son intégrité. DataDigest CRC32C,None Active le checksum des données afin de valider son intégrité wthreads 8 La cible iSCSI utilise plusieurs threads pour exécuter les fonctions d’entrée et sortie sur le périphérique de bloc. En fonction du matériel et de la charge induite, le nombre de ces fils peuvent être soigneusement réglée. 8 semble suffisant dans la majorité des cas Passons ensuite le fichier /etc/initiators.allow. Ce fichier contient les hôtes autorisés, un peu à la manière du fichiere host.allow. Voici un extrait :

iqn.2001-04.com.example:storage.disk1.sys1.xyz ALL
iqn.2001-04.com.example:storage.disk1.sys2.xyz 192.168.12.2, 192.168.3.0/24, 192.167.1.16/28
iqn.2001-04.com.example:storage.disk1.sys4.xyz [3ffe:302:11:1:211:43ff:fe31:5ae2], [3ffe:505:2:1::]/64
ALL ALL

L’exemple parle de lui même. On y met l’adresse IQN du périphérique iSCSI, puis l’adress IP v4 ou v6 de l’hôte autorisé ou un plage réseau entière, séparé entre eux par une virgule. Il est possible également de mettre ALL ALL comme ça tout le monde y’ a le droit !!! Pas très sécure en tout cas ! Bref Une fois ces fichiers correctement configurés, il suffit de redémarrer le service iSCSI : IET (iSCSI Entreprise Target) :

# /etc/init.d/iscsitarget restart

Pour vérifier si les volumes apparaisent bien :

# cat /proc/net/iet/volume
tid:5 name:iqn.2010-04.fr.freenux:storage.srv2.swap
lun:0 state:0 iotype:fileio iomode:wt path:/home/vmfs/srv2/swap.img
tid:4 name:iqn.2010-04.fr.freenux:storage.srv2.home
lun:0 state:0 iotype:fileio iomode:wt path:/home/vmfs/srv2/home.img
tid:3 name:iqn.2010-04.fr.freenux:storage.srv2.root
lun:0 state:0 iotype:fileio iomode:wt path:/home/vmfs/srv2/disk.img
tid:2 name:iqn.2010-04.fr.freenux:storage.srv1.swap
lun:0 state:0 iotype:fileio iomode:wt path:/home/vmfs/srv2/swap.img
tid:1 name:iqn.2010-04.fr.freenux:storage.srv1.root
lun:0 state:0 iotype:fileio iomode:wt path:/home/vmfs/srv2/disk.img

Nous pouvons voir ici 5 volumes déclarés.

5° – Installation de l’initiateur (client)

Sous Debian, l’installation de l’initiateur est très simple :

# apt-get install open-iscsi iscsitarget-modules-`uname -r`

Les fichiers de configuration se trouvent dans le répertoire /etc/iscsi. Tout d’abord, donnons un petit nom à l’initiateur :

emacs /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2010-04.fr.frenux.srv1:01:ae1ab85a3718

Le nom se compose comme suit, selon la norme IQN définit plus haut : iqn . Date (format AAAA-MM) . Le nom du serveur à l’envers : un id unique Ensuite il ne reste plus qu’a lancer la découverte des périphérique iSCSI en donnant l’adresse de la TARGET via le mode « SendTargets », seul mode implémenté sous linux aujourd’hui. Les autres modes sont le mode SLP (utilisé par CUPS par ex) et le mode iSNS (comme le SNS pour le fiber channel) :

# iscsiadm -m discovery -t st -p 192.168.1.1192.168.1.1:3260,1 iqn.2010-04.fr.freenux:storage.srv2.home192.168.1.1:3260,1 iqn.2010-04.fr.freenux:storage.srv2.swap192.168.1.1:3260,1 iqn.2010-04.fr.freenux:storage.srv2.root192.168.1.1:3260,1 iqn.2010-04.fr.freenux:storage.srv1.home192.168.1.1:3260,1 iqn.2010-04.fr.freenux:storage.srv1.root

La découverte se passe ainsi :

• L’initiator effectue des requêtes de découverte (SendTargets) vers les targets qu’il connait grâce au fichier de configuration.
• Chaque target iSCSI retourne les noms des cibles disponibles à l’initiateur.
• L’initiateur essaye de se connecter et reçoit les ID des cibles.
• L’initiateur iSCSI demande les infos pour chaque périphérique.
• Il crée enfin une table des périphériques disponibles.

Enfin il ne reste plus qu’a rattacher le périphérique à l’initiateur :

# iscsiadm -m node -T iqn.2010-04.fr.freenux:storage.srv1.root -p 192.168.1.1 -l

Pour vérifier s’il est bien vu par l’OS, dans les logs du noyau vous devez voir ceci :

dmesg | less
[41.246371] scsi 2:0:0:0: Direct-Access IET VIRTUAL-DISK 0 PQ: 0 ANSI: 4
[41.246371] sd 2:0:0:0: [sdb] 2097152 512-byte hardware sectors (1074 MB)
[41.250383] sd 2:0:0:0: [sdb] Write Protect is off
[41.250383] sd 2:0:0:0: [sdb] Mode Sense: 77 00 00 08
[41.250383] sd 2:0:0:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
[41.250383] sd 2:0:0:0: [sdb] 2097152 512-byte hardware sectors (1074 MB)
[41.250383] sd 2:0:0:0: [sdb] Write Protect is off[41.250383] sd 2:0:0:0: [sdb] Mode Sense: 77 00 00 08
[41.250383] sd 2:0:0:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
[41.250383] sdb: unknown partition table
[41.257320] sd 2:0:0:0: [sdb] Attached SCSI disk

Obtenir des infos sur le périphérique iSCSI :

# udevinfo -q symlink -n /dev/sdb
block/8:16 disk/by-id/scsi-14945540000000000000000000600000011a0650301008000 disk/by-path/ip-192.168.1.20:3260-iscsi-iqn.2010-04.fr.freenux:storage.srv1.swap-lun-0 disk/by-uuid/089a79df-2cd1-470f-b470-8d5ebb2a64b2

Lister les périphériques vu par le système :

# cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 00 Id: 00 Lun: 00
Vendor: ATA Model: Maxtor 6L080M0 Rev: BANC
Type: Direct-Access ANSI SCSI revision: 05

Host: scsi2 Channel: 00 Id: 00 Lun: 00
Vendor: IET Model: VIRTUAL-DISK Rev: 0
Type: Direct-Access ANSI SCSI revision: 04

Host: scsi4 Channel: 00 Id: 00 Lun: 00
Vendor: IET Model: VIRTUAL-DISK Rev: 0
Type: Direct-Access ANSI SCSI revision: 04

Pour démonter le disque :

# iscsiadm –m node –T iqn.2010-04.fr.freenux:storage.srv1.root –p 192.168.1.1 -u

 

6° – Petites notes

Pour tout déconnecter d’un seul coup :

# iscsiadm -m node -p 192.168.1.1 -u

Pour tout connecter d’un seul coup :

# iscsiadm -m node -p 192.168.1.1 -l

A priori, à chaque reboot, on aimerait bien que les volumes soient de nouveau la ! Pour faire cela, il faut rendre le montage des volumes persistant :

# iscsiadm -m node -T iqn.2010-04.fr.freenux:storage.srv1.root -p 192.168.1.1 -o update -n 'node.conn[0].startup' -v automatic

Il est important de refaire un discover à chaque ajout de volume sur la target :

# iscsiadm --mode discovery --type sendtargets --portal 192.168.1.1

Pour voir les sessions lancées sur la TARGET :

# cat /proc/net/iet/session

Pour avoir des infos sur le périphérique vu par l’initiateur :

# iscsiadm -m node -T iqn.2010-04.fr.freenux:storage.srv2.home -p 192.168.1.1
node.name = iqn.2010-04.fr.freenux:storage.srv2.home node.tpgt = 1
node.startup = automaticiface.hwaddress = default
iface.iscsi_ifacename = default
iface.net_ifacename = default
iface.transport_name = tcp
iface.initiatorname =
node.discovery_address = 192.168.1.1
node.discovery_port = 3260
node.discovery_type = send_targets
node.session.initial_cmdsn = 0
node.session.initial_login_retry_max = 8
node.session.cmds_max = 128
node.session.queue_depth = 32
node.session.auth.authmethod = None
node.session.auth.username =
node.session.auth.password =
node.session.auth.username_in =
node.session.auth.password_in =
node.session.timeo.replacement_timeout = 120
node.session.err_timeo.abort_timeout = 15
node.session.err_timeo.lu_reset_timeout = 20
node.session.err_timeo.host_reset_timeout = 60
node.session.iscsi.FastAbort = Yes
node.session.iscsi.InitialR2T = No
node.session.iscsi.ImmediateData = Yes
node.session.iscsi.FirstBurstLength = 262144
node.session.iscsi.MaxBurstLength = 16776192
node.session.iscsi.DefaultTime2Retain = 0
node.session.iscsi.DefaultTime2Wait = 2
node.session.iscsi.MaxConnections = 1
node.session.iscsi.MaxOutstandingR2T = 1
node.session.iscsi.ERL = 0
node.conn[0].address = 192.168.1.1
node.conn[0].port = 3260
node.conn[0].startup = manual
node.conn[0].tcp.window_size = 524288
node.conn[0].tcp.type_of_service = 0
node.conn[0].timeo.logout_timeout = 15
node.conn[0].timeo.login_timeout = 15
node.conn[0].timeo.auth_timeout = 45
node.conn[0].timeo.noop_out_interval = 5
node.conn[0].timeo.noop_out_timeout = 5
node.conn[0].iscsi.MaxRecvDataSegmentLength = 131072
node.conn[0].iscsi.HeaderDigest = None
node.conn[0].iscsi.DataDigest = None
node.conn[0].iscsi.IFMarker = No
node.conn[0].iscsi.OFMarker = No

Connexion d’un volume avec authentification : Si vous avez renseigner dans le fichier de conf de la target un IncomingUser avec login / mot de passe, vous devez vous identifier auprès de la Target :

# iscsiadm -m node -T iqn.2010-04.fr.freenux:storage.srv1.root -p 192.168.1.1 -o update -n node.session.auth.authmethod -v CHAP
# iscsiadm -m node -T iqn.2010-04.fr.freenux:storage.srv1.root -p 192.168.1.1 -o update -n node.session.auth.username -v utilisateur
# iscsiadm -m node -T iqn.2010-04.fr.freenux:storage.srv1.root -p 192.168.1.1 -o update -n node.session.auth.password -v monmotdepasse

Informations à partir de l’initiateur sur un volume :

# iscsiadm -m session -r 2 --stats
Stats for session [sid: 2, target: iqn.2010-04.fr.freenux:storage.srv1.home, portal : 192.168.1.1,3260]
iSCSI SNMP:
txdata_octets: 1995827400
rxdata_octets: 267972740
noptx_pdus: 0
scsicmd_pdus: 249551
tmfcmd_pdus: 0
login_pdus: 0
text_pdus: 0
dataout_pdus: 87558
logout_pdus: 0
snack_pdus: 0
noprx_pdus: 0
scsirsp_pdus: 249551
tmfrsp_pdus: 0
textrsp_pdus: 0
datain_pdus: 32906
logoutrsp_pdus: 0
r2t_pdus: 35420
async_pdus: 0
rjt_pdus: 0
digest_err: 0
timeout_err: 0
iSCSI Extended:
tx_sendpage_failures: 0
rx_discontiguous_hdr: 0
eh_abort_cnt: 0

Pour tout les périphériques :

# iscsiadm -m session --stats

Pour avoir des infos sur les sessions établies :

# iscsiadm -m session
tcp: [1] 192.168.1.1:3260,1 iqn.2010-04.fr.freenux:storage.srv1.swap
tcp: [2] 192.168.1.1:3260,1 iqn.2010-04.fr.freenux:storage.srv1.root
tcp: [3] 192.168.1.1:3260,1 iqn.2010-04.fr.freenux:storage.srv2.swap
tcp: [4] 192.168.1.1:3260,1 iqn.2010-04.fr.freenux:storage.srv2.root
tcp: [5] 192.168.1.1:3260,1 iqn.2010-04.fr.freenux:storage.srv2.home

 

7° – Udev pour fixer le nom des volumes

Le souci c’est qu’en fonction de l’ordre ou les périphériques sont détecté, le nom peut varier d’un reboot à l’autre. Afin de fixer cela, on va demander à Udev de renommer le périphérique de sorte qu’a chaque reboot, il garde son petit nom. Pour faire ceci, créez le fichier suivant :

# emacs /etc/udev/rules.d/95-iscsi.rules

Et ajoutez dedans :

KERNEL=='sd*', BUS=='scsi', PROGRAM='/lib/udev/iscsidev.sh %b', SYMLINK+='iscsi/%c{1}'

Ensuite nous allons ajouter le script iscsidev.sh :

# emacs /lib/udev/iscsidev.sh

Voici le script en question :

#!/bin/sh

BUS=${1}
HOST=${BUS%%:*}
file='/sys/class/scsi_host/host${HOST}/device/session*/iscsi_session*/targetname'
target_name=`echo $(cat ${file}) | sed -r -e 's/(^.*-[^-]*)$/\1/'`
if [ -z '${target_name}' ]; then
exit 1
fi
echo '${target_name}'

On n’oublie pas de rendre le script exécutable :

# chmod 711 /lib/udev/iscsidev.sh

Et de redémarrer udev et l’initiateur :

# /etc/init.d/udev restart && /etc/init.d/open-iscsi restart

On peut maintenant lister les divers périphériques iSCSI dans le répertoire /dev/iscsi :

# ls /dev/iscsi/
iqn.2010-04.fr.freenux:storage.srv1.root iqn.2010-04.fr.freenux:storage.srv1.home iqn.2010-04.fr.freenux:storage.srv2.root iqn.2010-04.fr.freenux:storage.srv1.swap iqn.2010-04.fr.freenux:storage.srv2.home iqn.2010-04.fr.freenux:storage.srv2.swap

 

8° – Conclusion

Voilou un petit tour d’horizon rapide de l’implémentation du protocole iSCSI sur une plate-forme Linux. Tout les aspects n’ont pas été abordés dans cette article. En effet le sujet est bien plus vaste et l’implémentation d’un tel protocole se fait dans un contexte bien particulier en général (infrastructure réseau avec redondance et tolérance de panne).

---

Article lu 3302 fois