Public:TargetCLI

TargetCLI

документация

targetcli - утилита для управления экспортом дисков по сети. Позволяет подцепить файлы или блочные устройства с одной стороны к интерфейсам взаимодействия с другими серверами - с другой.

Мы пробуем её использовать в самом производительном, но и самом мучительном в начальной настройке режиме - ib_srpt - это, по сути, iSCSI через RDMA. Благо infiniband-коммутатор завёлся, стесняться нам нечего.

Устанавливается оно по мануалам, с тем только примечанием на полях, что /var/target/fabric/probe-ib_srpt.sh в апстриме битый и надо поправить. (см. Pull-Request)

Готовим площадку:

pvcreate /dev/sda
 Physical volume "/dev/sda" successfully created
vgcreate kvp2targets /dev/sda
 Volume group "kvp2targets" successfully created
lvcreate -L 1T -n erlyvideo kvp2targets
 Logical volume "erlyvideo" created

Работаем с самим targetcli

targetcli
 targetcli 3.0.pre4.5~ga125182 (rtslib 3.0.pre4.9~g6fd0bbf)
 Copyright (c) 2011-2014 by Datera, Inc.
 All rights reserved.

/>ls
 o- / ............................................................................................................ [...]
  o- backstores ................................................................................................. [...]
  | o- fileio ...................................................................................... [0 Storage Object]
  | o- iblock ...................................................................................... [0 Storage Object]
  | o- pscsi ....................................................................................... [0 Storage Object]
  | o- rd_mcp ...................................................................................... [0 Storage Object]
  o- ib_srpt .............................................................................................. [0 Targets]
  o- iscsi ................................................................................................ [0 Targets]
  o- loopback ............................................................................................. [0 Targets]
  o- vhost ................................................................................................ [0 Targets]
/> /backstores/iblock create name=iblock_erlyvideo dev=/dev/kvp2targets/erlyvideo
Created iblock storage object iblock_erlyvideo using /dev/kvp2targets/erlyvideo.

Объясняем, где у нас сетевые интерфейсы:

/> /ib_srpt create
Created target 0xfe800000000000000021280001fcc1fd.
/> /ib_srpt create
Created target 0xfe800000000000000021280001fcc1fe.

(Выходим, смотрим, кто есть кто)

/> exit
Comparing startup and running configs...
Some changes need saving.
Save configuration? [Y/n]: Y
Performing backup of startup configuration: /var/target/backup-2018-06-22_18:52:33.lio
Saving new startup configuration

# ibstat
CA 'mlx4_0'
       CA type: MT26428
       Number of ports: 2
       Firmware version: 2.11.2010
       Hardware version: b0
       Node GUID: 0x0021280001fcc1fc
       System image GUID: 0x0021280001fcc1ff
       Port 1:
               State: Down
               Physical state: Polling
               Rate: 10
               Base lid: 0
               LMC: 0
               SM lid: 0
               Capability mask: 0x02590868
               Port GUID: 0x0021280001fcc1fd
               Link layer: InfiniBand
       Port 2:
               State: Active
               Physical state: LinkUp
               Rate: 40
               Base lid: 5
               LMC: 0
               SM lid: 1
               Capability mask: 0x02590868
               Port GUID: 0x0021280001fcc1fe
               Link layer: InfiniBand

Видим, что провод у нас в порту 2 (LinkUp)

Снова лезем в targetcli, создаем LUN:

/> cd /iscsi/iqn.2003-01.org.linux-iscsi.kvp2.x8664:sn.ab9cb450f954/tpg1/luns/
/> create /backstores/iblock/iblock_erlyvideo 
Selected LUN 0.
Created LUN 0.

Всё, SCSI-LUN готов. Осталось разрешить к нему цепляться и можно работать.

Теперь уже работаем с хостами, которые будут подцепляться по iSCSI:

root@vm1:~# cat /sys/class/infiniband/*/ports/*/gids/0 | sed -e s/fe80/0x0000/ -e 's/\://g'
0x0000000000000000f4521403007edd61

Разрешим ему приходить к нам в гости:

/iscsi/iqn.20...954/tpg1/acls> create 0x0000000000000000f4521403007edd61
Created Node ACL for 0x0000000000000000f4521403007edd61
Created mapped LUN 0.
/iscsi/iqn.20...954/tpg1/acls> cd /
/> saveconfig
Save configuration? [Y/n]: y
Performing backup of startup configuration: /var/target/backup-2019-02-28_16:01:07.lio
Saving new startup configuration
/> exit

(Тут следую за тредом на serverfault)

Опять на хосте, поднимаем нужный модуль:

modprobe ib_umad
modprobe ib_uverbs
modprobe ib_srp

Выясняем, чем кормить ядро:

root@vm1:~/vm/etc# ibsrpdm -c -d /dev/infiniband/umad0
id_ext=0021280001fcc1fc,ioc_guid=0021280001fcc1fc,dgid=fe800000000000000021280001fcc1fe,pkey=ffff,service_id=0021280001fcc1fc

Кормим ядро:

root@vm1:~/vm/etc# echo "id_ext=0021280001fcc1fc,ioc_guid=0021280001fcc1fc,dgid=fe800000000000000021280001fcc1fe,pkey=ffff,service_id=0021280001fcc1fc" > /sys/class/infiniband_srp/srp-mlx4_0-1/add_target 

По идее, в dmesg должно появиться такое примерно:

[3568070.424106] scsi host7: SRP.T10:0021280001FCC1FC
[3568070.425153] scsi 7:0:0:0: Direct-Access     LIO-ORG  IBLOCK           4.0  PQ: 0 ANSI: 5
[3568070.426033] scsi 7:0:0:0: alua: supports implicit and explicit TPGS
[3568070.426550] scsi 7:0:0:0: alua: device naa.6001405cb016f5f890546f2a52e48992 port group 0 rel port 1
[3568070.427302] sd 7:0:0:0: Attached scsi generic sg16 type 0
[3568070.427419] sd 7:0:0:0: [sdo] 2147483648 512-byte logical blocks: (1.10 TB/1.00 TiB)
[3568070.427421] sd 7:0:0:0: [sdo] 4096-byte physical blocks
[3568070.427451] sd 7:0:0:0: [sdo] Write Protect is off
[3568070.427452] sd 7:0:0:0: [sdo] Mode Sense: 43 00 10 08
[3568070.427505] sd 7:0:0:0: [sdo] Write cache: enabled, read cache: enabled, supports DPO and FUA
[3568070.429277] sd 7:0:0:0: [sdo] Attached SCSI disk
[3568070.430672] scsi host7: ib_srp: new target: id_ext 0021280001fcc1fc ioc_guid 0021280001fcc1fc pkey ffff service_id 0021280001fcc1fc sgid fe80:0000:0000:0000:f452:1403:007e:dd61 dgid 
fe80:0000:0000:0000:0021:2800:01fc:c1fe
[3568070.436201] sd 7:0:0:0: alua: transition timeout set to 60 seconds
[3568070.436788] sd 7:0:0:0: alua: port group 00 state A non-preferred supports TOlUSNA
[3568070.772228] sd 7:0:0:0: alua: port group 00 state A non-preferred supports TOlUSNA

Что говорит нам, что в системе появился новый диск - /dev/sdo