#1 2020-08-17 12:52:10

HandcockAngel
Member
From: Denmark, Kobenhavn V
Registered: 2020-08-17
Posts: 1

Устанавливаем VMware ESXi-7.0.0

В связи с выходом VMware vSphere 7.0 стала доступна технология NVMe over Fabric (NVMe-oF) для управления операциями с накопителями и передачи данных по протоколу NVMe вместо SCSI.

Dmitriy Shevchenko прислал инструкцию

которую мы сегодня и публикуем.
Перечень оборудования и ПО Система хранения: Netapp AFF A320; версия ПО: ONTAP Release 9.7P1.

Коммутаторы сети хранения данных: Brocade 6505 16Gb 24 Port 2 шт

; FOS FW 8.2.1c.

Сервер: Fujitsu PRIMERGY RX2530 M5 c FC-адаптерами Broadcom (EMULEX) LPe32002

версия FW 12.4.243.17 (рекомендованная в матрице совместимости Netapp).

Гипервизор: ESXi-7.0.0-15843807

Схема подключения:  Предварительная подготовка:  Обновляем Netapp AFF A320 до рекомендуемой версии ПО, на момент написания инструкции это версия ONTAP 9.7P1.

Обновляем FW на коммутаторах Brocade

на момент написания мануала это версия Fabric OS v2.1c.
Проверяем, .

Что N_Port ID virtualization (NPIV) на порту включен

Для этого заходим на интерфейс управления командной строкой коммутаторов Brocade и запускаем команду, например, для 3 порта: portcfgshow 3 Если не включен используем команду: portCfgNPIVPort   Mode Meaning: 0 Disable the NPIV capability on the port, 1 Enable the NPIV capability on the port Пример: portCfgNPIVPort 3 1 Подключаем всё оборудование по схеме, указанной выше.
Используем, как минимум, 1 коммутатор.
Устанавливаем VMware ESXi-7.0.0.

Скачиваем и устанавливаем драйвера на FC HBA

Файл имеет вид Broadcom-ELX-brcmnvmefc6.228.4-1OEM.700.1.0.15525992_16014670-package.zip (при попытки найти драйвера на сайте https://www.broadcom.com/products/storage/fibre-channel-host-bus-adapters/lpe32002-m2 и скачать вас ждёт сюрприз.
Скачивается txt-файл с содержимым: This driver is available at the following link:   ESXi 7.0 NVMe — https://my.vmware.com/en/group/vmware/details?downloadGroup=DT-ESXI_70-BROADCOM-BRCMNVMEFC-1262284&productId=974  И второй драйвер (без него не взлетело): ESXi 7.0 LPFC — https://my.vmware.com/en/group/vmware/details?downloadGroup=DT-ESXI_70-BROADCOM-LPFC-262284&productId=974 Копируем скаченный драйвер на наш сервер через SCP-клиент (например, Winscp) в /tmp, предварительно запустив службы.
После чего подключаемся к хосту по ssh через любой клиент.
Смотрим, что же стоит у нас по умолчанию: esxcli software vib list | grep lpfc  esxcli software vib list | grep brcmnvmefc  Из коробки драйвер как бы есть, но nvme мы не видим.
Переходим к обновлению драйверов:  Распакуем архив: LPFC unzip Broadcom-ELX-lpfc_12.6.228.4-1OEM.700.1.0.15525992_16014644-package (1).zip  esxcli software vib update --maintenance-mode -d file:///tmp/lpfc/Broadcom-ELX-lpfc_12.6.228.4-1OEM.700.1.0.15525992_16014644.zip  NVMe unzip Broadcom-ELX-brcmnvmefc_12.6.228.4-1OEM.700.1.0.15525992_16014670-package.zip  Устанавливаем командой esxcli software vib update --maintenance-mode -d file:///tmp/Broadcom-ELX-brcmnvmefc_12.6.228.4-1OEM.700.1.0.15525992_16014670.zip  Как видим, всё прошло успешно.
Так же перед перезагрузкой необходимо установить параметр lpfc_enable_fc4_type=3 esxcli system module parameters set -p lpfc_enable_fc4_type=3 -m lpfc  Если необходимо прошить HBA, то следует выполнить следующие шаги.

Скачиваем последнюю firmware для HBA с www.broadcom.com

И устанавливаем следующей командой: esxcli elxmgmt hba firmware download -w  -f  Перезагружаем сервер (reboot).
После перезагрузки мы увидим ещё 2 адаптера   Подключение к СХД и раздача namespace’оф  Подключаемся к нашему хосту по SSH для получения Host NQN: esxcli nvme info get  Дальнейшие действия необходимо выполнить на стороне СХД.
Необходимо создать SVM:  После данного шага необходимо настроить зоны на коммутаторах Brocade, так как при создании SVM также создаются и виртуальные NWWN, и PWWN.

Создаём наш NVMe Subsystem:  Создаём Namespace:  Примечание: для VMware block—size=512B

Если всё сделано правильно, то вы должны увидеть namespace:  Пути подключения:  Настройки multipathing:   Ð¡Ð¾Ð·Ð´Ð°Ñ‘м Datastore:   ÐŸÐµÑ€ÐµÑ…одим к настройкам виртуальной машины Добавляем NVMe контроллер:  Добавляем непосредственно сам диск:  Готово.
Дополнительные материалы vSphere 7.0 Storage Emulex® Drivers for VMware ESXi https://docs.broadcom.com/doc/12398084 Emulex® NVMe over Fibre Channel on VMware ESXi 7.0 https://docs.broadcom.com/doc/12398269 TR-4766: NetApp E-Series and NVMe Over Fabrics Support https://www.netapp.com/us/media/tr-4766.pdf Implementing and Configuring Modern SANs with NVMe/FC https://www.netapp.com/us/media/tr-4684.pdf NetApp, VMware, and Broadcom Verified Architecture Design Edition: With MS Windows Server 2019 and MS SQL Server 2017 Workloads https://www.netapp.com/us/media/nva-1145-design.pdf Вебинары Pro SDDC.
Гости – Broadcom and Mellanox.
NVMe over Fabric (NVMeoF).
https://prosddc.ru/event/pro-sddc-гости-broadcom-and-mellanox-nvme-over-fabric-nvmeof/ Новости Brocade.

NVMe и NVMe-over-Fabrics – текущее состояние и перспективы

https://gateway.on24.com/wcc/eh/1474757/lp/2214472/fc.

Offline

W88top

Board footer

Powered by FluxBB