tongsiying

阅读|运动|自律

0%

dd

前言

dd 是用指定大小的块拷贝一个文件,并在拷贝的同时进行指定的转换。
注意:指定数字的地方若以下列字符结尾,则乘以相应的数字: 注意:指定数字的地方若以下列字符结尾乘以相应的数字:b=512, c=1, k=1024, w=2, xm=number m,kB=1000,K=1024,MB=10001000,M=10241024,GB=100010001000,G=102410241024

1.dd 语法格式

1
dd if=path/to/input_file of=/path/to/output_file bs=block_size count=number_of_blocks

2.使用方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
主要选项(指定数字的地方若以下列字符结尾乘以相应的数字: b=512, c=1, k=1024, w=2, xm=number m): 
if=file:输入文件名,缺省为标准输入
of=file:输出文件名,缺省为标准输出
ibs=bytes:一次读入 bytes 个字节(即一个块大小为 bytes 个字节)
obs=bytes:一次写 bytes 个字节(即一个块大小为 bytes 个字节)
bs=bytes:同时设置读写块的大小为 bytes ,可代替 ibs 和 obs
cbs=bytes:一次转换 bytes 个字节,即转换缓冲区大小
skip=blocks:从输入文件开头跳过 blocks 个块后再开始复制
seek=blocks:从输出文件开头跳过 blocks 个块后再开始复制。(通常只有当输出文件是磁盘或磁带时才有效)
count=blocks:仅拷贝 blocks 个块,块大小等于 ibs 指定的字节数
conv=ASCII:把EBCDIC码转换为ASCIl码。
conv=ebcdic:把ASCIl码转换为EBCDIC码。
conv=ibm:把ASCIl码转换为alternate EBCDIC码。
conv=block:把变动位转换成固定字符。
conv=ublock:把固定位转换成变动位。
conv=ucase:把字母由小写转换为大写。
conv=lcase:把字母由大写转换为小写。
conv=notrunc:不截短输出文件。
conv=swab:交换每一对输入字节。
conv=noerror:出错时不停止处理。
conv=sync:把每个输入记录的大小都调到ibs的大小(用NUL填充)。


conv 转换参数:
ascii                  转换 EBCDIC 为 ASCII。
ebcdic                转换 ASCII 为 EBCDIC。
ibm                   转换 ASCII 为 alternate EBCDIC.
block                  把每一行转换为长度为 cbs 的记录,不足部分用空格填充。
unblock                 使每一行的长度都为 cbs ,不足部分用空格填充。
lcase                  把大写字符转换为小写字符。
ucase                  把小写字符转换为大写字符。
swab                  交换输入的每对字节。
noerror                 出错时不停止。
notrunc                 不截短输出文件。sync                   把每个输入块填充到ibs个字节,不足部分用空(NUL)字符补齐。



iflag=FLAGS:指定读的方式FLAGS,参见“FLAGS参数说明”
oflag=FLAGS:指定写的方式FLAGS,参见“FLAGS参数说明”
FLAGS参数说明:
append -append mode (makes sense only for output; conv=notrunc sug-gested)
direct:读写数据采用直接IO方式;
directory:读写失败除非是directory;
dsync:读写数据采用同步IO;
sync:同上,但是针对是元数据
fullblock:堆积满block(accumulate full blocks of input )(iflag only);
nonblock:读写数据采用非阻塞IO方式
noatime:读写数据不更新访问时间

3.time+dd 测磁盘读写速度

①先熟悉两个特殊的设备及一些相关参数:

1
2
3
4
5
6
1) time有计时作用,dd用于复制,从if读出,写到of;
2) if=/dev/zero(产生字符)不产生IO,因此可以用来测试纯写速度;
3) 同理of=/dev/null(回收站、无底洞)不产生IO,可以用来测试纯读速度;
4) 将/tmp/test拷贝到/var则同时测试了读写速度;
5) bs是每次读或写的大小,即一个块的大小,count是读写块的数量。
当写入到驱动盘的时候,我们简单的从无穷无用字节的源 /dev/zero 读取,当从驱动盘读取的时候,我们读取的是刚才的文件,并把输出结果发送到无用的 /dev/null。在整个操作过程中, DD 命令会跟踪数据传输的速度并且报告出结果。

②测试磁盘写能力

1
time dd if=/dev/zero of=/testw.dbf bs=4k count=100000

因为/dev//zero是一个伪设备,它只产生空字符流,对它不会产生IO,所以,IO都会集中在of文件中,of文件只用于写,所以这个命令相当于测试磁盘的写能力。命令结尾添加oflag=direct将跳过内存缓存,添加oflag=sync将跳过hdd缓存。

③测试磁盘读能力

1
time dd if=/dev/sdb of=/dev/null bs=4k

因为/dev/sdb是一个物理分区,对它的读取会产生IO,/dev/null是伪设备,相当于黑洞,of到该设备不会产生IO,所以,这个命令的IO只发生在/dev/sdb上,也相当于测试磁盘的读能力。(Ctrl+c终止测试)

④测试同时读写能力

1
time dd if=/dev/sdb of=/testrw.dbf bs=4k

在这个命令下,一个是物理分区,一个是实际的文件,对它们的读写都会产生IO(对/dev/sdb是读,对/testrw.dbf是写),假设它们都在一个磁盘中,这个命令就相当于测试磁盘的同时读写能力。

⑤测试纯写入性能

1
dd if=/dev/zero of=test bs=8k count=10000 oflag=direct

⑥测试纯读取性能

1
dd if=test of=/dev/null bs=8k count=10000 iflag=direct

注意:dd 只能提供一个大概的测试结果,而且是连续 I/O 而不是随机 I/O,理论上文件规模越大,测试结果越准确。 同时,iflag/oflag 提供 direct 模式,direct 模式是把写入请求直接封装成 I/O 指令发到磁盘,非 direct 模式只是把数据写入到系统缓存就认为 I/O 成功,并由操作系统决定缓存中的数据什么时候被写入磁盘。(参考链接: http://www.360doc.com/content/15/0906/17/8737500_497292503.shtml)

4.备份的数据文件

要备份的数据文件:30720KB
block 0 =8 KB.
raw offset 64 KB.
设定 bs=8k

①从raw设备备份到raw设备

1
dd if=/dev/rsd1b of=/dev/rsd2b bs=8k skip=8 seek=8 count=3841

②裸设备到文件系统

1
dd if=/dev/rsd1b of=/backup/df1.dbf bs=8k skip=8 count=3841

③文件系统到裸设备

1
dd if=/backup/df1.dbf of=/dev/rsd2b bs=8k seek=8

④文件系统到文件系统,你可以为了提升I/O把bs设为较高的数值

1
dd if=/oracle/dbs/df1.dbf of=/backup/df1.dbf bs=1024k

⑤备份/dev/hdx全盘数据,并利用gzip工具进行压缩,保存到指定路径(bzip2工具也一样可使用)

1
dd  if=/dev/hdx  |  gzip > /path/to/image.gz

⑥生成1G的虚拟块设备Sparse File(稀疏文件)

1
2
dd if=/dev/zero of=1G.img bs=1M seek=1000 count=0 
Sparse File是什么,稀疏文件,也就是说,是一个拥有空的空间的文件,磁盘块将并没分配给这些文件。如果这些空的空间填满ASCII的NULL字符,那么文件才会是实际的大小。

⑦拷贝光盘数据到backup文件夹下,并保存为cd.iso文件,再进行刻录

1
2
dd  if=/dev/cdrom  of=/backup/cd.iso
cdrecord -v cd.iso

⑧将内存里的数据拷贝到backup目录下的mem.bin文件

1
dd if=/dev/mem of=/backup/mem.bin bs=1024

⑨将软驱数据备份到当前目录的disk.img文件

1
dd if=/dev/fd0 of=disk.img count=1 bs=1440k

⑩将备份文件恢复到指定盘

1
dd if=/backup/df1.dbf of=/dev/rsd1b

⑪ 将压缩的备份文件恢复到指定盘

1
gzip -dc /path/to/image.gz | dd of=/dev/hdx

⑫测试磁盘写能力

1
2
time dd if=/dev/zero of=/test.dbf bs=8k count=300000 
因为/dev/zero是一个伪设备,它只产生空字符流,对它不会产生IO,所以,IO都会集中在of文件中,of文件只用于写,所以这个命令相当于测试磁盘的写能力。

⑬测试磁盘读能力

1
2
time dd if=/dev/sdb1 of=/dev/null bs=8k 
因为/dev/sdb1是一个物理分区,对它的读取会产生IO,/dev/null是伪设备,相当于黑洞,of到该设备不会产生IO,所以,这个命令的IO只发生在/dev/sdb1上,也相当于测试磁盘的读能力。

⑭测试同时读写能力

1
2
time dd if=/dev/sdb1 of=/test1.dbf bs=8k 
这个命令下,一个是物理分区,一个是实际的文件,对它们的读写都会产生IO(对/dev/sdb1是读,对/test1.dbf是写),假设他们都在一个磁盘中,这个命令就相当于测试磁盘的同时读写能力

⑮备份磁盘开始的512Byte大小的MBR信息到指定文件

1
2
3
dd  if=/dev/hdx  of=/path/to/image  count=1  bs=512 
16、恢复MBR
dd if=/mnt/windows/linux.lnx of=/dev/hda bs=512 count=1

⑯得到最恰当的block size。 通过比较dd指令输出中所显示的命令执行时间(选时间最少的那个),即可确定系统最佳的block size大小

1
2
3
4
dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file
dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file
dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file
dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file

5.Oracle数据库的dd备份

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
说明,以下实验操作系统版本为RHEL 5.4没有offset 
Raw offset
在一些os上,在裸设备上的文件的开头是被os使用的。这些存储空间被叫做raw offset,Oracle不会备份和恢复这些内容(字节)。因此,备份的时候要跳过含有offset的字节。 目前只有AIX和Tru64系统的裸设备存在offset,详细信息如下
UNIX     OS Reserved Size
------------ ----------------
SUN Solaris        0
HP-UX          0
IBM AIX         4k
Tru64 UNIX        64k
Linux           0

在 Aix环境中,如果是使用了原始VG,或者是Big VG,但是创建LV的时候没有指定-T O标签,创建出来的LV都带有4K保留空间,如果把这些LV作为裸设备使用,则需要注意这个4K的问题。如果是使用了Scalable-type VG,或者是使用Big VG,而且在创建VG的时候使用了-T O标签,则创建的LV没有4K保留空间,称为DS_LVZ类型的LV。

在AIX平台下,我们可以使用$ORACLE_HOME/bin路径下的dbfsize命令确认裸设备是否包含offset
下面是包含offset的裸设备
#dbfsize /dev/rlv_data01_10g
Database file: /dev/rlv_data01_10g
Database file type:raw device
Database file size: 1048448 8192 byte blocks
下面是不包含offset的裸设备
#dbfsize /dev/rlv_data01_10g
Database file: /dev/rlv_data01_10g
Database file type:raw device without 4K starting offset
Database file size: 1048448 8192 byte blocks
block 0
在 每个oracle文件的开头,os系统放置了一个块叫做block 0。 这个块的大小和其所在数据文件的oracle块大小相同。 一般的oracle 代码不能识别这个块,但是这个块是包含在os上的文件大小里面的。就是说oracle认为datafile1大小为100块,但是os看来,datafile1大小为101块(100+block 0). 注意,利用dd备份时,需要包含block 0。因为block 0位于offset之后,而block 0是所有数据文件都需要的,无论它是基于裸备还是文件系统,且block 0的大小只与oracle的block size有关,所以,把block 0也dd出来是必要的,不需要skip数据文件的block 0。

计算数据文件的占用的实际空间大小
实际的数据文件大小是在dba_data_files中的bytes + 1* blocksize
SQL> select file_name,bytes from dba_data_files;
FILE_NAME BYTES BLOCKSIZE
---------------------------------------- ---------- ----------
/opt/oracle/oradata/test1/system01.dbf 360710144 8192
在操作系统查看文件大小:
# ls -l system01.dbf
-rw-r--r-- 1 oracle oinstall 360718336 Nov 15 11:53 system01.dbf
360718336 = 360710144 + 8192 (8192是数据文件所在表空间的blocksize)
那么一个裸设备的数据文件最多可以是多大?
这个和具体的操作系统和数据文件所在表空间的blocksize有关。
假设裸设备的大小是r,操作系统裸设备的offset为f,数据文件所在表空间的blocksize是b,则数据文件的最大大小为:
d=r – f – b*1 (1为block 0)
如裸设备大小为1008k,offset为0,表空间的blocksize为4k,则在此裸设备的数据文件的最大大小为:
d=1008-0-1*4=1004(k)

实例测试
从裸设备到裸设备拷贝ORACLE数据文件
1、创建裸设备
# fdisk /dev/sdd
The number of cylinders for this disk is set to 25856.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
(e.g., DOS FDISK, OS/2 FDISK)

Command (m for help): n
Command action
l logical (5 or over)
p primary partition (1-4)
l
First cylinder (4201-4485, default 4201):
Using default value 4201
Last cylinder or +size or +sizeM or +sizeK (4201-4485, default 4485): +10M

Command (m for help): n
Command action
l logical (5 or over)
p primary partition (1-4)
l
First cylinder (4212-4485, default 4212):
Using default value 4212
Last cylinder or +size or +sizeM or +sizeK (4212-4485, default 4485): +20M

Command (m for help): n
Command action
l logical (5 or over)
p primary partition (1-4)
l
First cylinder (4232-4485, default 4232):
Using default value 4232
Last cylinder or +size or +sizeM or +sizeK (4232-4485, default 4485): +30M

Command (m for help): n
Command action
l logical (5 or over)
p primary partition (1-4)
l
First cylinder (4262-4485, default 4262):
Using default value 4262
Last cylinder or +size or +sizeM or +sizeK (4262-4485, default 4485): +40M



Command (m for help): p

Disk /dev/sdd: 27.1 GB, 27111981056 bytes
64 heads, 32 sectors/track, 25856 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes

Device Boot Start End Blocks Id System
/dev/sdd1 1 3816 3907568 83 Linux
/dev/sdd4 3817 4485 685056 5 Extended
/dev/sdd5 3817 3912 98288 83 Linux
/dev/sdd6 3913 4008 98288 83 Linux
/dev/sdd7 4009 4104 98288 83 Linux
/dev/sdd8 4105 4200 98288 83 Linux
/dev/sdd9 4201 4211 11248 83 Linux
/dev/sdd10 4212 4231 20464 83 Linux
/dev/sdd11 4232 4261 30704 83 Linux
/dev/sdd12 4262 4300 39920 83 Linux

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
The new table will be used at the next reboot.
Syncing disks.

# partprobe

# raw /dev/raw/raw3 /dev/sdd9
/dev/raw/raw3: bound to major 8, minor 57
# raw /dev/raw/raw4 /dev/sdd10
/dev/raw/raw4: bound to major 8, minor 58
# raw /dev/raw/raw5 /dev/sdd11
/dev/raw/raw5: bound to major 8, minor 59
# raw /dev/raw/raw6 /dev/sdd12
/dev/raw/raw6: bound to major 8, minor 60

2、基于裸设备创建表空间
SQL>create tablespace mytest datafile '/dev/raw/raw3' size 5m,'/dev/raw/raw6' size 10m;
Tablespace created.

3、从小裸设备到大裸设备
# dd if='/dev/raw/raw3' of='/dev/raw/raw4'
22496+0 records in
22496+0 records out
11517952 bytes (12 MB) copied, 104.599 seconds, 110 kB/s

4、从大裸设备到小裸设备,但数据文件比小裸设备小
# dd if='/dev/raw/raw6' of='/dev/raw/raw5' bs=1024k count=12
12+0 records in
12+0 records out
12582912 bytes (13 MB) copied, 3.34273 seconds, 3.8 MB/s
注意:这里bs*count要大于原裸设备上的数据文件尺寸

5、重启数据库至mount状态
SQL> shutdown immediate;
Database closed.
Database dismounted.
ORACLE instance shut down.
SQL> startup mount;
ORACLE instance started.
Total System Global Area 369098752 bytes
Fixed Size 1219472 bytes
Variable Size 125830256 bytes
Database Buffers 239075328 bytes
Redo Buffers 2973696 bytes
Database mounted.

6、重命名数据文件,并打开数据库
SQL> alter database rename file '/dev/raw/raw3' to '/dev/raw/raw4';
Database altered.
SQL> alter database rename file '/dev/raw/raw6' to '/dev/raw/raw5';
Database altered.
SQL> alter database open;
Database altered.

从这个测试可以看出:
1、从小裸设备到大裸设备,只需把小裸设备的所有数据块dd到大裸设备即可
2、 是否可以把大裸设备上的数据文件dd到小裸设备,取决于位于大裸设备上的数据文件尺寸(+block 0)是否比小裸设备小。如果数据文件小于小裸设备,则可以把数据文件从大裸设备dd到小裸设备上,在dd过程中不需要太准确计算原来数据文件的大小,只要 保证dd的总量大于数据文件并小于小裸设备的尺寸即可。
3、如果数据文件大于小裸设备的尺寸,则肯定不能把它从大裸设备拷贝到小裸设备上
4、 裸设备之间拷贝数据文件比裸设备到文件系统之间拷贝的优点在于:不需要精确计算要拷贝多少数据,只需要保证覆盖了数据文件+block 0即可;而从裸设备到文件系统拷贝数据文件时,必须准确计算出要拷贝的数据量(数据文件+block 0),dd多一点或者少一点都会报错。
5、 如果有offset的话,在裸设备之间拷贝数据文件的时候都要考虑(skip、seek)

从文件系统到裸设备拷贝ORACLE数据文件
继续上面的实验,首先要保证裸设备的大小要大于等于oracle数据文件大小+ block 0,如果裸设备需要offset的话,则要保证更大,然后直接用dd就可以。
1、创建表空间,数据文件大小为5m

SQL> create tablespace mytest1 datafile '/home/oracle/mytest1.dbf' size 5m;
Tablespace created.
# ls -l /home/oracle/mytest1.dbf
-rw-r----- 1 oracle oinstall 5251072 Dec 16 21:37 /home/oracle/mytest1.dbf

2、dd文件到裸设备上
# dd if='/dev/zero' of='/dev/raw/raw3' bs=1024k
dd: writing `/dev/raw/raw3': No space left on device
11+0 records in
10+0 records out
11517952 bytes (12 MB) copied, 7.63555 seconds, 1.5 MB/s
# dd if=/home/oracle/mytest1.dbf of=/dev/raw/raw3
10256+0 records in
10256+0 records out
5251072 bytes (5.3 MB) copied, 35.9816 seconds, 146 kB/s
注意:从文件系统到裸设备不用设置count

3、重命名数据文件,打开数据库
SQL> alter database rename file '/home/oracle/mytest1.dbf' to '/dev/raw/raw3';
Database altered.
SQL> alter database open;
Database altered
从裸设备到文件系统拷贝ORACLE数据文件

这里不并不是所有情况都能把整个裸设备拷贝到文件中,要看裸设备是否有offset,如果有offset,则肯定不能全拷贝出来,需要使用skip参数跳过offset,以下演示没有offset的情况

1、在mytest1表空间上创建表,并填充数据,然后将整个裸设备备份到文件系统
SQL> create table test tablespace mytest1
2 as
3 select * from dba_users;
Table created.

#dd if='/dev/raw/raw3' of='/home/oracle/mytest2.dbf' bs=512k
21+1 records in
21+1 records out
11517952 bytes (12 MB) copied, 0.804403 seconds, 14.3 MB/s

2、重启数据库,并充命名数据文件
SQL> shutdown immediate;
Database closed.
Database dismounted.
ORACLE instance shut down.
SQL> startup mount;
ORACLE instance started.
Total System Global Area 369098752 bytes
Fixed Size 1219472 bytes
Variable Size 134218864 bytes
Database Buffers 230686720 bytes
Redo Buffers 2973696 bytes
Database mounted.
SQL> alter database rename file '/dev/raw/raw3' to '/home/oracle/mytest2.dbf';
Database altered.
SQL> alter database open;
alter database open
*
ERROR at line 1:
ORA-01113: file 9 needs media recovery
ORA-01110: data file 9: '/home/oracle/mytest2.dbf'
可以看到数据库无法打开,这是因为裸设备已被数据文件使用部分的逻辑块与未使用部分的逻辑块大小不一致。这种情况下,只能拷贝裸设备中数据文件大小 + block 0部分。这里用到两个工具
dbfsize 求出在裸设备或者文件系统上的oracle数据文件的大小,由oracle提供。
blockdev 求出裸设备的大小,操作系统自带。
要计算出要要拷贝的大小,否则报错,如:
$ dbfsize /dev/raw/raw3
Database file: /dev/raw/raw3
Database file type: raw device
Database file size: 640 8192 byte blocks

$ blockdev --getsize /dev/raw/raw3
22496

一般一个OS BLOCK大小是512字节,所以22496*512/1024/1024= 10.9(m) 就是裸设备的大小。

$ rm /home/oracle/mytest2.dbf
$ dd if='/dev/raw/raw3' of='/home/oracle/mytest2.dbf' bs=8k count=641
SQL> alter database open;
Database altered

6.如何真正写磁盘

1
dd if=/dev/zero of=test bs=64k count=16k

这个是不准确的,因为命令结束的时候数据还没有真正写到磁盘上去,因为对磁盘的写,我们一般是先写到了缓存就返回了。

我们来看dd的帮助页面对于一些参数的解释:

the FLAG 参数(完整的看手册哦,这里假设你是知道iflag跟oflag的)

1
2
3
4
-dsync
Use synchronized I/O for data. For the output file, this forces a physical write of output data on each write. For the input file, this flag can matter when reading from a remote file that has been written to synchronously by some other process. Metadata (e.g., last-access and last-modified time) is not necessarily synchronized.

-sync likewise, but also for metadata

the CONV参数

1
2
-fsync 
Synchronize output data and metadata just before finishing. This forces a physical write of output data and metadata

dsync跟sync比较好理解,前者是只同步写数据,sync同时写元数据

但是感觉-dsync与 -fsync怎么感觉有些一样? 网上的说法是 dd if=/dev/zero of=test bs=64k count=4k oflag=dsync 这个可以当成是模拟数据库插入操作,所以很慢,但还是没太明白。

后来自己认真的抠了这英文用词:

conv=fsync Synchronize output data and metadata just before finishing 意思也就是在dd命令结束前同步data和metadata,那就是不是每一次写都同步一次咯,也就是如果我们在dd命令中写了100次,他可能是等到最后的时候才把他们同步到磁盘。而oflag=dsync是说Use synchronized I/O for data. For the output file, this forces a physical write of output data on each write,注意这里边用词 a physical write of output data on each write,那就是他是每一次写都得等到这一次写写到了磁盘才进行下一个写,也就是如果我们使用dd写100次,他每次写都是写到磁盘后才进行下一次写的。所以这样当然要比conv=fsync慢一些吧。那么自己感觉如果只是写一次的话,两者应该是差别不大的,后来做了下小实验,证实确实是这样的。

img

在第一个图中,我们只写1块,然后使用oflag=sync与conv=fsync 测出来一个是32.1kb/s 一个是37.8kb/s 差别不大。但是下一个我写1000个,conv=fsync就明显的比oflag=dsync/sync快很多了,所以觉得上面自己扣的英文的理解应该是正确的。

所以在用dd做读或者写的时候,应该要注意自己的使用场景,如果需要将数据写入磁盘的话

dd if=/dev/zero of=test bs=64k count=16k 是不准确的,

而 dd if=/dev/zero of=test bs=64k count=16k conv=fsync 比较准确,他在dd结束前会写到磁盘,

而dd if=/dev/zero of=test bs=64k count=4k oflag=dsync或者sync 是真正的每写一次就写一次磁盘,所以其实可以听到磁盘啪啪啪的响的。

7.dd如何绕开cache

如果要规避掉文件系统cache,直接读写,不使用buffer cache,需做这样的设置

1
2
3
4
5
6
iflag=direct,nonblock
oflag=direct,nonblock
iflag=cio
oflag=cio
direct 模式就是把写入请求直接封装成io 指令发到磁盘
非direct 模式,就把数据写入系统缓存,然后就认为io 成功,并由操作系统决定缓存中的数据什么时候被写入磁盘

8.seek和skip用法

  假如我有一个文件abc.gz,大小为83456k,我想用dd命令实现如下备份 结果:首先将备份分成三个部分,第一部分为备份文件abc.gz的前10000k,第二部分为中间的70000k,最后备份后面的3456k.  

备份方法如下三条命令:  

1
2
3
4
5
dd if=abc.gz of=abc.gz.bak1 bs=1k count=10000  

dd if=abc.gz of=abc.gz.bak2 bs=1k skip=10000 count=70000  

dd if=abc.gz of=abc.gz.bak3 bs=1k skip=80000

恢复方法如下:  

1
2
3
4
5
dd if=abc.gz.bak1 of=abc.gz  

dd if=abc.gz.bak2 of=abc.gz bs=1k seek=10000  

dd if=abc.gz.bak3 of=abc.gz bs=1k seek=80000

这时你查看一下恢复的文件将和你原来的文件一模一样,说明备份成功!  

理解说明:skip=xxx是在备份时对if 后面的部分也就是原文件跳过多少块再开始备份;seek=xxx则是在备份时对of 后面的部分也就是目标文件跳过多少块再开始写

https://jingyan.baidu.com/article/4b07be3c7cc93348b380f3dd.html

9./dev/null和/dev/zero的区别

https://www.cnblogs.com/ginvip/p/6370836.html

/dev/null,外号叫无底洞,你可以向它输出任何数据,它通吃,并且不会撑着!

/dev/zero,是一个输入设备,你可你用它来初始化文件。该设备无穷尽地提供0,可以使用任何你需要的数目——设备提供的要多的多。他可以用于向设备或文件写入字符串0。

/dev/null——它是空设备,也称为位桶(bit bucket)。任何写入它的输出都会被抛弃。如果不想让消息以标准输出显示或写入文件,那么可以将消息重定向到位桶。

1
2
3
4
5
heng@me:if=/dev/zero of=./test.txt bs=1k count=1
heng@me:ls –l
total 4
-rw-r--r-- 1 oracle dba 1024 Jul 15 16:56 test.txt
heng@me:find / -name access_log 2>/dev/null

使用/dev/nul

把/dev/null看作”黑洞”, 它等价于一个只写文件,所有写入它的内容都会永远丢失.,而尝试从它那儿读取内容则什么也读不到。然而, /dev/null对命令行和脚本都非常的有用

禁止标准输出

1
heng@me:cat $filename >/dev/null #文件内容丢失,而不会输出到标准输出.

禁止标准错误

1
heng@me:rm $badname 2>/dev/null #这样错误信息[标准错误]就被丢到太平洋去了

禁止标准输出和标准错误的输出

1
heng@me:cat $filename 2>/dev/null >/dev/null

如果”$filename”不存在,将不会有任何错误信息提示;如果”$filename”存在, 文件的内容不会打印到标准输出。因此,上面的代码根本不会输出任何信息。当只想测试命令的退出码而不想有任何输出时非常有用。

使用/dev/zero

像/dev/null一样, /dev/zero也是一个伪文件, 但它实际上产生连续不断的null的流(二进制的零流,而不是ASCII型的)。 写入它的输出会丢失不见, 而从/dev/zero读出一连串的null也比较困难, 虽然这也能通过od或一个十六进制编辑器来做到。

/dev/zero主要的用处是用来创建一个指定长度用于初始化的空文件,就像临时交换文件。

用/dev/zero创建一个交换临时文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
#!/bin/bash
# 创建一个交换文件.
ROOT_UID=0 # Root 用户的 $UID 是 0.
E_WRONG_USER=65 # 不是 root?
FILE=/swap
BLOCKSIZE=1024
MINBLOCKS=40
SUCCESS=0
# 这个脚本必须用root来运行.
if [ "$UID" -ne "$ROOT_UID" ]
then
echo; echo "You must be root to run this script."; echo
exit $E_WRONG_USER
fi
blocks=${1:-$MINBLOCKS} # 如果命令行没有指定,
#+ 则设置为默认的40块.
# 上面这句等同如:
# --------------------------------------------------
# if [ -n "$1" ]
# then
# blocks=$1
# else
# blocks=$MINBLOCKS
# fi
# --------------------------------------------------
if [ "$blocks" -lt $MINBLOCKS ]
then
blocks=$MINBLOCKS # 最少要有 40 个块长.
fi
echo "Creating swap file of size $blocks blocks (KB)."
dd if=/dev/zero of=$FILE bs=$BLOCKSIZE count=$blocks # 把零写入文件.
mkswap $FILE $blocks # 将此文件建为交换文件(或称交换分区).
swapon $FILE # 激活交换文件.
echo "Swap file created and activated."
exit $SUCCESS

关于 /dev/zero 的另一个应用是为特定的目的而用零去填充一个指定大小的文件, 如挂载一个文件系统到环回设备 (loopback device)或”安全地” 删除一个文件。

创建ramdisk

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
#!/bin/bash
# ramdisk.sh
# "ramdisk"是系统RAM内存的一段,
#+ 它可以被当成是一个文件系统来操作.
# 它的优点是存取速度非常快 (包括读和写).
# 缺点: 易失性, 当计算机重启或关机时会丢失数据.
#+ 会减少系统可用的RAM.
# 10 # 那么ramdisk有什么作用呢?
# 保存一个较大的数据集在ramdisk, 比如一张表或字典,
#+ 这样可以加速数据查询, 因为在内存里查找比在磁盘里查找快得多.
E_NON_ROOT_USER=70 # 必须用root来运行.
ROOTUSER_NAME=root
MOUNTPT=/mnt/ramdisk
SIZE=2000 # 2K 个块 (可以合适的做修改)
BLOCKSIZE=1024 # 每块有1K (1024 byte) 的大小
DEVICE=/dev/ram0 # 第一个 ram 设备
username=`id -nu`
if [ "$username" != "$ROOTUSER_NAME" ]
then
echo "Must be root to run "`basename $0`"."
exit $E_NON_ROOT_USER
fi
if [ ! -d "$MOUNTPT" ] # 测试挂载点是否已经存在了,
then #+ 如果这个脚本已经运行了好几次了就不会再建这个目录了
mkdir $MOUNTPT #+ 因为前面已经建立了.
fi
dd if=/dev/zero of=$DEVICE count=$SIZE bs=$BLOCKSIZE

# 把RAM设备的内容用零填充.
# 为何需要这么做?
mke2fs $DEVICE # 在RAM设备上创建一个ext2文件系统.
mount $DEVICE $MOUNTPT # 挂载设备.
chmod 777 $MOUNTPT # 使普通用户也可以存取这个ramdisk.
# 但是, 只能由root来缷载它.
echo ""$MOUNTPT" now available for use."
# 现在 ramdisk 即使普通用户也可以用来存取文件了.
# 注意, ramdisk是易失的, 所以当计算机系统重启或关机时ramdisk里的内容会消失.
# 拷贝所有你想保存文件到一个常规的磁盘目录下.
# 重启之后, 运行这个脚本再次建立起一个 ramdisk.
# 仅重新加载 /mnt/ramdisk 而没有其他的步骤将不会正确工作.
# 如果加以改进, 这个脚本可以放在 /etc/rc.d/rc.local,
#+ 以使系统启动时能自动设立一个ramdisk.
# 这样很合适速度要求高的数据库服务器.
exit 0

10.其它例子

例1

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@localhost ~]# dd if=/dev/hdx of=/dev/hdy          #将本地的/dev/hdx整盘备份到/dev/hdy

[root@localhost ~]# dd if=/dev/hdx of=/path/to/image #将/dev/hdx全盘数据备份到指定路径的image文件

[root@localhost ~]# dd if=/dev/hdx | gzip >/path/to/image.gz #备份/dev/hdx全盘数据,并利用gzip工具进行压缩,保存到指定路径

[root@localhost ~]# dd if=/path/to/image of=/dev/hdx # 将备份文件恢复到指定盘

[root@localhost ~]# gzip -dc /path/to/image.gz | dd of=/dev/hdx #将压缩的备份文件恢复到指定盘

[root@localhost ~]# dd if=/dev/hdx of=/path/to/image count=1 bs=512 #备份磁盘开始的512Byte大小的MBR信息到指定文件

[root@localhost ~]# dd if=/dev/cdrom of=/root/cd.iso #拷贝光盘数据到root文件夹下,并保存为cd.iso文件

例2

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
1.将本地的/dev/hdb整盘备份到/dev/hdd
# dd if=/dev/hdb of=/dev/hdd

2.将/dev/hdb全盘数据备份到指定路径的image文件
# dd if=/dev/hdb of=/root/image

3.将备份文件恢复到指定盘
# dd if=/root/image of=/dev/hdb

4.备份/dev/hdb全盘数据,并利用gzip工具进行压缩,保存到指定路径
# dd if=/dev/hdb | gzip > /root/image.gz

5.将压缩的备份文件恢复到指定盘
# gzip -dc /root/image.gz | dd of=/dev/hdb

6.备份与恢复MBR
备份磁盘开始的512个字节大小的MBR信息到指定文件:
# dd if=/dev/hda of=/root/image count=1 bs=512
count=1指仅拷贝一个块;bs=512指块大小为512个字节。
恢复:
# dd if=/root/image of=/dev/had
将备份的MBR信息写到磁盘开始部分

7.备份软盘
# dd if=/dev/fd0 of=disk.img count=1 bs=1440k (即块大小为1.44M)

8.拷贝内存内容到硬盘
# dd if=/dev/mem of=/root/mem.bin bs=1024 (指定块大小为1k)

9.拷贝光盘内容到指定文件夹,并保存为cd.iso文件
# dd if=/dev/cdrom(hdc) of=/root/cd.iso

10.增加swap分区文件大小
第一步:创建一个大小为256M的文件:
# dd if=/dev/zero of=/swapfile bs=1024 count=262144
第二步:把这个文件变成swap文件:
# mkswap /swapfile
第三步:启用这个swap文件:
# swapon /swapfile
第四步:编辑/etc/fstab文件,使在每次开机时自动加载swap文件:
/swapfile swap swap default 0 0

11.销毁磁盘数据
# dd if=/dev/urandom of=/dev/hda1
注意:利用随机的数据填充硬盘,在某些必要的场合可以用来销毁数据。

12.测试硬盘的读写速度
# dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file
# dd if=/root/1Gb.file bs=64k | dd of=/dev/null
通过以上两个命令输出的命令执行时间,可以计算出硬盘的读、写速度。

13.确定硬盘的最佳块大小:
# dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file
# dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file
# dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file
# dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file
通过比较以上命令输出中所显示的命令执行时间,即可确定系统最佳的块大小。

14.修复硬盘:
# dd if=/dev/sda of=/dev/sda 或dd if=/dev/hda of=/dev/hda
当硬盘较长时间(一年以上)放置不使用后,磁盘上会产生magnetic flux point,当磁头读到这些区域时会遇到困难,并可能导致I/O错误。
当这种情况影响到硬盘的第一个扇区时,可能导致硬盘报废。上边的命令有可能使这些数 据起死回生。并且这个过程是安全、高效的。

例3

1
2
3
4
5
6
7
8
9
10
11
12
13
14
1、测试磁盘写能力
# time dd if=/dev/zero of=/test.dbf ibs=8k count=300000
因为/dev/zero是一个伪设备,它只产生空字符流,对它不会产生IO,所以,
IO都会集中在of文件中,of文件只用于写,所以这个命令相当于测试磁盘的写能力。

2、测试磁盘读能力
# time dd if=/dev/sdb1 of=/dev/null obs=8k
因为/dev/sdb1是一个物理分区,对它的读取会产生IO,/dev/null是伪设备,相当于黑洞,of到该设备不会产生IO,
所以,这个命令的IO只发生在/dev/sdb1上,也相当于测试磁盘的读能力。

3、测试同时读写能力
# time dd if=/dev/sdb1 of=/test1.dbf bs=8k
这个命令下,一个是物理分区,一个是实际的文件,对它们的读写都会产生IO(对/dev/sdb1是读,对/test1.dbf是写),
假设他们都在一个磁盘中,这个命令就相当于测试磁盘的同时读写能力

引用:
http://smilejay.com/2012/08/qemu-img-details/
https://blog.csdn.net/menogen/article/details/38059671
https://www.cnblogs.com/sylar5/p/6649009.html
https://www.cnblogs.com/ginvip/p/6370836.html

赞赏一下吧~