Voir la source de Nvme-of - linux

[[Category:Réseaux_linux]]
[[Category:RDMA]]

Le Non-Volatile Memory express over Fabric (''NVMe-oF'') est un protocole permettant d'attacher un volume ''NVMe'' (un ''SSD PCIe'') via le réseau (à l'image du [[Iscsi|iSCSI]]). Cette technologie a l'avantage, en plus de sa simplicité de mise en service, d'avoir des performances de dingue. En effet, le ''NVMe-of'' s’appuie sur le ''Remote Direct Memory Access'' (''RDMA'') ''over Converged Ethernet'' (''RCoE''). Il encapsule donc des trames ''Infiniband'' sur de l'''Ethernet'' en exploitant les spécificités d'accès direct à la mémoire de l'hôte. Il en résulte des temps d'accès très proche d'une connexion standard au bus ''PCIe'' mais depuis le réseau... Ceci induit toutefois inconvénient d'obliger le recours à un matériel prenant en charge le ''RDMA''. Oubliez donc le contrôleur réseau intégré à votre carte mère ainsi que toute les cartes additionnelles grand publique...

Pour cette documentation j'utilise deux ordinateurs équipés d'une carte réseau ''Mellanox Connectx 3'' 10Gbe chacun et connectés par l'intermédiaire d'un commutateur Cisco 3560CX-12PD-S (une connexion direct entre les deux machines revient au même).

{{info| Les deux machines doivent impérativement faire partie du même ''LAN''. Le couple ''IP/port'' définit plus loin dans la partie serveur ne sert que d'identifiant à la communication ''Infiniband''. Le protocole ''IP'' n'est jamais utilisé avec ''RDMA'' et donc le routage ne peut fonctionner.}}

=Définitions=
Avant de commencer, nous allons définir quelques termes afin de savoir où nous mettons les pieds.

* '''NVMe''': [https://fr.wikipedia.org/wiki/NVMe Non-Volatile Memory express] est un protocole réservé aux périphériques de stockage exploitant un bus ''PCI express'' et destiné aux volumes ''Solid State Drive'' (''SSD'') en lieu et place du [https://fr.wikipedia.org/wiki/Serial_ATA Serial Advanced Technology Attachment] (''SATA''). Exploitant la bande passante de celui-ci et utilisant des instructions adaptés aux mémoires flashs, il est bien plus performant que ce dernier
* '''RDMA''': l'accès direct à la mémoire à distance ou [https://en.wikipedia.org/wiki/Remote_direct_memory_access Remote Direct Memory Access] permet de donner accès à la mémoire d'un hôte distant sans passer par le noyau de celui-ci (c'est l'adaptateur réseau qui communique avec la mémoire). Les informations n’étant pas copiées entre la mémoire d'application et les tampons de données du système d'exploitation (ainsi que toute fonction comme le pare-feu ou la ''QoS''), une mise en réseau à haut débit et à faible latence est rendue possible
* '''RCoE''': l'accès direct à la mémoire à distance sur ''Ethernet'' convergent ou [https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet RDMA over Converged Ethernet] est un protocole de niveau 2 ''OSI'' permettant l'accès direct à la mémoire à distance (''RDMA'') sur un réseau Ethernet. Cette opération est rendue possible en encapsulant une trame de transport ''Infiniband'' sur l'''Ethernet''.
* '''Sous système''': un sous système ''NVM'' (''subsystem''), est un groupe définissant les paramètres du partage ''NVMe'' (contrôleur, port, type d'interface, espace de nom...). C'est l'ensemble de la configuration pour un ''SSD'' donné. Il y a donc un sous système par disque à partager en ''NVMe-oF''
* '''Espace de noms''': la notion d'[https://nvmexpress.org/resources/nvm-express-technology-features/nvme-namespaces/ espaces de noms NVMe] (à ne pas confondre avec les [https://en.wikipedia.org/wiki/Linux_namespaces espaces de noms Linux]) permet d'adresser un ensemble de blocs logiques dans un groupe accessible au logiciel hôte (pilote ''NVMe''). Elle présente au système une décomposition du support de stockage en autant de volume que d'espaces définis. Cela permet de segmenter un ''SSD'' afin d'en réserver des fractions pour divers usages comme l'isolation logique, le [https://fr.wikipedia.org/wiki/Multi-tenant multi-tenant], l'isolation de sécurité (chiffrement par espace de noms), la protection en écriture d'un espace de noms à des fins de récupération ou encore le [https://www.kingston.com/france/fr/ssd/overprovisioning sur-provisionnement] (pour améliorer les performances et l'endurance en écriture). Sous Linux, ils apparaissent chacun avec un identifiant unique dans les périphériques. Par exemple, ''/dev/nvme0n1'' concerne le contrôleur ''0'' et l'espace de noms ''1'')

=Partie serveur=
Le serveur est également appelé "cible" (''target'').

==Mise en œuvre==
Une cible ''NVMe-oF'' se configure en créant un sous système lié à un ''SSD''. En plus du module noyau gérant le ''NVMe'' (chargé de base), il faudra activer celui gérant le sujet de cette documentation.

'''Activation des modules noyau'''

 modprobe nvmet-rdma

''Note: le module gérant le NVMe s'active avec la commande <source lang="bash" inline>modprobe nvme</source> si celui ci n'est pas chargé automatiquement.''

'''Création d'un sous système'''

 mkdir /sys/noyau/config/nvmet/subsystems/toto
 echo 1 > /sys/noyau/config/nvmet/subsystems/toto/attr_allow_any_host

'''Création de l'espace de noms dans le sous système'''

 mkdir /sys/noyau/config/nvmet/subsystems/toto/namespaces/1
 echo -n /dev/nvme0n1 > /sys/noyau/config/nvmet/subsystems/toto/namespaces/1/device_path
 echo 1 > /sys/noyau/config/nvmet/subsystems/toto/namespaces/1/enable

'''Arborescence à ce stade'''

 tree /sys/noyau/config/nvmet/

<source lang="bash">
/sys/noyau/config/nvmet/
├── hosts
├── ports
└── subsystems
    └── toto
        ├── allowed_hosts
        ├── attr_allow_any_host
        ├── attr_serial
        ├── attr_version
        └── namespaces
            └── 1
                ├── ana_grpid
                ├── buffered_io
                ├── device_nguid
                ├── device_path
                ├── device_uuid
                └── enable

7 répertoires, 9 fichiers
</source>

'''Création d'un port'''

Cette étape permet de définir les paramètres de connexion à la cible.

<source lang="bash">
mkdir /sys/noyau/config/nvmet/ports/1
echo "ipv4" > /sys/noyau/config/nvmet/ports/1/addr_adrfam
echo "rdma" > /sys/noyau/config/nvmet/ports/1/addr_trtype
# Adresse du serveur
echo 192.168.1.32 > /sys/noyau/config/nvmet/ports/1/addr_traddr
echo 4420 > /sys/noyau/config/nvmet/ports/1/addr_trsvcid
</source>

'''Activation du partage'''

 ln -s /sys/noyau/config/nvmet/subsystems/toto/ /sys/noyau/config/nvmet/ports/1/subsystems/

''Note: pour désactiver momentanément le partage, il suffit de supprimer ce lien.''

'''Arborescence à ce stade'''

 tree /sys/noyau/config/nvmet/

<source lang="bash">
/sys/noyau/config/nvmet/
├── hosts
├── ports
│   └── 1
│       ├── addr_adrfam
│       ├── addr_traddr
│       ├── addr_treq
│       ├── addr_trsvcid
│       ├── addr_trtype
│       ├── ana_groups
│       │   └── 1
│       │       └── ana_state
│       ├── param_inline_data_size
│       ├── referrals
│       └── subsystems
│           └── toto -> ../../../../nvmet/subsystems/toto
└── subsystems
    └── toto
        ├── allowed_hosts
        ├── attr_allow_any_host
        ├── attr_serial
        ├── attr_version
        └── namespaces
            └── 1
                ├── ana_grpid
                ├── buffered_io
                ├── device_nguid
                ├── device_path
                ├── device_uuid
                └── enable

13 répertoires, 16 fichiers
</source>

Le volume est acccible via le réseau.

==Suppression du sous système==
Pour revenir à l'état initial et donc supprimer notre sous système, il faut effectuer les quelques étapes suivantes:

 rm -f /sys/noyau/config/nvmet/ports/1/subsystems/toto

''Note: il ne faut surtout pas mettre le dernier <source lang="bash" inline>/</source> à la fin du répertoire "toto" sinon la commande <source lang="bash" inline>rm</source> refusera de le supprimer. De plus, le paramètre <source lang="bash" inline>-r</source> ne doit pas être précisé car le noyau l'interdit.''

 rmdir /sys/noyau/config/nvmet/ports/1/
 rmdir /sys/noyau/config/nvmet/subsystems/toto/namespaces/1/
 rmdir /sys/noyau/config/nvmet/subsystems/toto/

Le déchargement du module noyau peut se faire de la façon suivante mais se fera de toute façon au redémarrage:

 rmmod nvmet-rdma

Il ne reste plus aucune trace de notre partage.

=Partie cliente=
Le client est aussi appelé "initiateur" (''initiator'').

==Connexion à la cible==
'''Activation du module et installation'''

Il est nécessaire d'activer le module noyau suivant:
 modprobe nvme-rdma

et d'installer le paquet permettant la gestion du ''NVMe'':
 apt install nvme-cli

Pour voir les périphériques ''NVMe'' reconnus pas le système:
 nvme list

''Note: le disque partage n’apparaît pas.''

'''Connexion à la cible'''
 nvme connect -t rdma -a 192.168.1.32 -s 4420 -n toto

Un nouveau listage montre le disque fraîchement ajouté:
 nvme list

Il est visible et utilisable au niveau blocs comme s'il était branché directement à la carte mère:
 lsblk

==Déconnexion de la cible==
 nvme disconnect -n toto

ou

 nvme disconnect -d /dev/nvme0n1

=Sources=
* Vidéo de la [https://academy.mellanox.com/en/videos/ Mellanox Academy] sur le sujet: https://vimeo.com/222075518 mise en cache [https://{{SERVERNAME}}/fichiers/réseaux/rdma/nvme-of/NVMe-oF_Configuration.mp4 ici]
* Documentation de [https://access.redhat.com/documentation/fr-fr/red_hat_enterprise_linux/8/html/ Red Hat]: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/pdf/managing_storage_devices/managing-storage-devices.pdf mise en cache [https://{{SERVERNAME}}/fichiers/réseaux/rdma/nvme-of/Red_Hat_Enterprise_Linux-8-Managing_storage_devices-en-US.pdf ici]