tongsiying

阅读|运动|自律

0%

BlockStorage-功能

发表于 更新于 分类于
本文字数： 5.7k 阅读时长 ≈ 5 分钟

# 扩容

http://wiki.cnsuning.com/pages/viewpage.action?pageId=39381729#id-21%E9%80%9A%E8%BF%87LIBVIRT%E4%BD%BF%E7%94%A8SNBS-%E6%89%A9%E5%AE%B9%E5%87%86%E5%A4%87

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
  在线扩容
（1）capacity=53687091200(byte)-----size=当前容量+你想扩的容量
扩容卷：
curl -X POST "http://127.0.01:8686/region/pool/vol?volume=test1&size=204800000"
（2）在iscis服务端执行洗下面命令查看块所属gateway：
查询target 和lun信息
tgtadm -L iscsi -o show -m target
 tgtadm --lld iscsi --op expand --mode target --tid 1 --lun 1    --------对该lun进行扩容
（3）iscsi客户端重新扫盘：iscsiadm -m session -R
------------在fdisk -l  确认下容量是否正确再执行resize2fs
（4）客户端文件系统扩容：resize2fs /dev/xxx

在线扩容 2019114
（1）capacity=53687091200(byte)-----size=当前容量+你想扩的容量
扩容卷：
curl -X POST "http://127.0.01:8686/region/pool/vol?volume=test1&size=204800000"
（2）在iscis服务端执行洗下面命令查看块所属gateway：
查询target 和lun信息
tgtadm -L iscsi -o show -m target
 tgtadm --lld iscsi --op expand --mode target --tid 1 --lun 1    --------对该lun进行扩容
（3）查看虚机磁盘信息
# virsh list
Id Name State
----------------------------------------------------
224 instance-0000557d running
226 instance-0000557a running

# virsh domblklist instance-0000557d
------------------------------------------------
hda /os_instance/cf9b8cf1-4619-450f-b32a-ab54e62d5d47/disk.config
vda iqn.2002-01.com.suning:storage.snbstest.data009/1
（4）扩容磁盘
#virsh blockresize instance-0000557d vda --size 200G
如果已格式化并挂载需要做以下额外操作
# resize2fs /dev/sda


--------------------------------------------------------------------------------
1、500G扩容到1T，里面数据大概130G
curl -X POST "http://127.0.0.1:8686/region/pool/vol?volume=data001&size=1099511627776"	
tgtadm --lld iscsi --op expand --mode target --tid 2 --lun 1  
resize2fs /dev/sda
curl -X POST "http://127.0.0.1:8686/region/pool/vol?volume=data009&size=2199023255552"

500G扩容大600G：
curl -X POST "http://127.0.0.1:8686/region/pool/vol?volume=data002&size=644245094400"
tgtadm --lld iscsi --op expand --mode target --tid 4 --lun 1
virsh blockresize dev-17 vda --size 600G
resize2fs /dev/sda

600G扩容到2T
2199023255552
curl -X POST "http://127.0.0.1:8686/region/pool/vol?volume=data002&size=2199023255552"
tgtadm --lld iscsi --op expand --mode target --tid 4 --lun 1
virsh blockresize dev-17 vdb --size 2048G

[root@xgto01n0102442544 ~]# virsh domblklist dev-17
Target     Source
------------------------------------------------
vda        iqn.2002-01.com.suning:storage.snbstest.sys002/1
vdb        iqn.2002-01.com.suning:storage.snbstest.data002/1

resize2fs /dev/sda
iops变成0，1分钟左右结束，恢复正常


500G扩容大600G：
curl -X POST "http://127.0.0.1:8686/region/pool/vol?volume=data004&size=644245094400"
tgtadm --lld iscsi --op expand --mode target --tid 8 --lun 1
virsh blockresize dev-19 vdb --size 600G
resize2fs /dev/sda
fio运行2分钟左右resize

600G扩容到2T：
curl -X POST "http://127.0.0.1:8686/region/pool/vol?volume=data004&size=2199023255552"
tgtadm --lld iscsi --op expand --mode target --tid 8 --lun 1
virsh blockresize dev-19 vdb --size 2048G
resize2fs /dev/sda


fio_generate_plots bw


2T扩容到2.1T
2308974418330
curl -X POST "http://127.0.0.1:8686/region/pool/vol?volume=data004&size=2308974418330"
tgtadm --lld iscsi --op expand --mode target --tid 8 --lun 1
virsh blockresize dev-19 vdb --size 2150.4G
resize2fs /dev/sda
1分钟

2.1T扩容到3T：
3298534883328
curl -X POST "http://127.0.0.1:8686/region/pool/vol?volume=data004&size=3298534883328"
tgtadm --lld iscsi --op expand --mode target --tid 8 --lun 1
virsh blockresize dev-19 vdb --size 3072G
resize2fs /dev/sda
1分钟

data002 2.0T~3T
卷扩容：
curl -X POST "http://127.0.0.1:8686/region/pool/vol?volume=data002&size=3298534883328"
lun扩容：
tgtadm --lld iscsi --op expand --mode target --tid 4 --lun 1
计算节点（cinder）
virsh blockresize dev-17 vdb --size 3072G
虚机里面
resize2fs /dev/sda
resize会影响iops，iops出现0的现象

16:31:13.045
16:32:22.046




[root@xgto01n0102442544 ~]# virsh domblklist dev-17
Target     Source
------------------------------------------------
vda        iqn.2002-01.com.suning:storage.snbstest.sys002/1
vdb        iqn.2002-01.com.suning:storage.snbstest.data002/1

resize2fs /dev/sda
iops变成0，1分钟左右结束，恢复正常







/fio -filename=/dev/vda -direct=1 -iodepth=1 -thread -rw=read ioengine=psync -bs=8k -size=80G -numjobs=1 -runtime=60 -group_reporting name=vda-8k-sr
fio -ioengine=libaio -bs=4k -direct=1 -thread -rw=randwrite -size=2G -directory=/usr/share/nginx/html/ -name="4KB randwrite test" -iodepth=32 -runtime=60

测试4K块的随机写：
fio --bs=4k --ioengine=libaio --iodepth=128 --direct=1 --rw=randwrite --time_based --runtime=600  --refill_buffers --norandommap --randrepeat=0 --group_reporting --name=fio-write --size=1G --filename=/dev/vdb  -write_bw_log=rww -write_lat_log=rww -write_iops_log=rw







44环境创建卷：
curl -X PUT "http://10.243.0.134:8686/region/pool/vol?pool=SNPOOL001&volume=sys005&size=85899345920"
curl -X PUT "http://10.243.0.134:8686/region/pool/vol?pool=SNPOOL001&volume=data005&size=107374182400"
sys005


time qemu-img convert -S 8k -f qcow2 -O raw /os_data/moban/CentOS7U3_beijing.qcow2 /mnt/data1/Snbsfuse/SNPOOL001/sys005



        tgtadm --lld iscsi --op new --mode target --tid 9 -T iqn.2002-01.com.suning:storage.snbstest.sys005
        tgtadm --lld iscsi --op new --mode logicalunit --tid 9 --lun 1 -b sys005
        tgtadm --lld iscsi --op show --mode target
        tgtadm --lld iscsi --op bind --mode target --tid 9 -I ALL


        tgtadm --lld iscsi --op new --mode target --tid 10 -T iqn.2002-01.com.suning:storage.snbstest.data005
        tgtadm --lld iscsi --op new --mode logicalunit --tid 10 --lun 1 -b data006
        tgtadm --lld iscsi --op show --mode target
        tgtadm --lld iscsi --op bind --mode target --tid 10 -I ALL

iscsi://10.243.0.135:3260/iqn.2002-01.com.suning%3Astorage.snbstest.data005



Target 9: iqn.2002-01.com.suning:storage.snbstest.sys005
Target 10: iqn.2002-01.com.suning:storage.snbstest.data005


iqn.2002-01.com.suning:storage.snbstest.sys005




file=iscsi://10.243.0.135:3260/iqn.2002-01.com.suning%3Astorage.snbstest.data005/1
赞赏一下吧～