全球主机交流论坛

标题: 最近比较了一下 ESXi 和 Proxmox 的磁盘性能 [打印本页]
作者: hotsnow    时间: 2015-5-23 10:56
标题: 最近比较了一下 ESXi 和 Proxmox 的磁盘性能
本帖最后由 hotsnow 于 2015-5-23 11:03 编辑

测试环境均为完全一样的机器：

DELL R710
32G 内存
2颗4核 E5606
DELL SAS 6/IR 阵列卡 （无电池，无缓存，无 BBU）
两块  富士通 10K SAS 146G

首先说明一下，这个阵列卡很烂的，木有 BBU，特地选了这种卡来测试，
是因为目前很多便宜的服务器木有硬RAID卡，或者即使有也是木有 BBU 的，这种环境比较有代表性

这个卡是 LSI 的卡，可以通过 lsiutil 强制打开写缓存，但是呢，卡本身是木有缓存的，
所以打开和关闭的情况下在没有虚拟化的环境下应该没啥区别，但是在虚拟化的环境下貌似会起点作用，
至少好象可以欺骗虚拟机？实际测试中可以证明这一点，

Proxmox 估计采用了某种机制，肯定是玩什么缓存的手段了，打开缓存作用显著，虽然这个缓存是假的

测试结果可以看出，如果是木有 BBU 的阵列卡，ESXi 是非常蛋疼的，
根据 VMWARE 官方资料，如果阵列卡木有 BBU，或者即使有 BBU，但是电池有问题的情况下，
ESXi 会强制使用 Write Through 模式，而且不会有任何缓存，
这个测试结果也证明了这一点，因此，如果你们用的也是这种木有 BBU 的卡，就别玩 ESXi 了，太蛋疼了。。。

作者: hotsnow    时间: 2015-5-23 10:57
本帖最后由 hotsnow 于 2015-5-25 09:03 编辑

更新1：Proxmox ZFS RAID1 测试结果在23楼
更新2：Windows 测试结果在24楼

有图有真相

服务器都是全新安装的最新 Proxmox 和 ESXi，装完后都升级到最新版本补丁，每台服务器只开一个小鸡，2G/20G/2CPU

proxmox 开小鸡用的 VirtIO，Cache 默认是 Default (No cache)，这个也是官方推荐的最优选项，其他也全是默认，

ESXi 开小鸡全部默认选项

操作系统均为 netinst iso 全新安装的 Debian 8 x64，每项测试均使用以下命令连续测试30次，取平均值

  1. dd if=/dev/zero of=test bs=64k count=16k conv=fsync
复制代码
作者: 阵阵海波    时间: 2015-5-23 10:57
有图有真相  没图MJJ
作者: cmse    时间: 2015-5-23 11:10
Proxmox 高好多。。。还有开多点的vps 看看速度
作者: fengpioaxue    时间: 2015-5-23 11:11
开了几个小鸡？  
Proxmox选Write back还是什么？
具体的测试IO的方法呢？
作者: hotsnow    时间: 2015-5-23 11:12
cmse 发表于 2015-5-23 11:10
Proxmox 高好多。。。还有开多点的vps 看看速度

嗯，我估计肯定玩什么技术手段了，实际测试连续复制1G的大文件，基本上都是最多3秒一次，看来速度不低
作者: hotsnow    时间: 2015-5-23 11:15
本帖最后由 hotsnow 于 2015-5-23 11:18 编辑
fengpioaxue 发表于 2015-5-23 11:11
开了几个小鸡？  
Proxmox选Write back还是什么？
具体的测试IO的方法呢？


每个服务器都是只开一个小鸡，2G/20G/2CPU

操作系统均为iso全新安装的 Debian 8，每项测试均使用以下命令连续测试30次，取平均值

proxmox 开小鸡用的 VirtIO，Cache 默认是 Default (No cache)，这个也是官方推荐的最优选项，其他也全是默认，

  1. dd if=/dev/zero of=test bs=64k count=16k conv=fsync
复制代码
作者: eatdao    时间: 2015-5-23 11:22
哦，知道了
作者: fengpioaxue    时间: 2015-5-23 11:39
本帖最后由 fengpioaxue 于 2015-5-23 11:41 编辑
hotsnow 发表于 2015-5-23 11:15
每个服务器都是只开一个小鸡，2G/20G/2CPU

操作系统均为iso全新安装的 Debian 8，每项测试均使用以下命 ...


专业~！
我的Proxmox用的WriteBack，其实都不懂是什么意思。
只是因为第一次开小鸡时瞎选的这个选项，以后也就都用这个了
作者: hotsnow    时间: 2015-5-23 11:44
有时间再做个 Windows 虚拟机下的测试
作者: 雨宫音羽    时间: 2015-5-23 11:52
fengpioaxue 发表于 2015-5-23 11:39
专业~！
我的Proxmox用的WriteBack，其实都不懂是什么意思。
只是因为第一次开小鸡时瞎选的这个选项 ...

writeback=写缓存

写缓存有个问题是 虽然能提高硬盘的IOPS 但是一旦意外掉电就会有东西损坏。。

所以RAID卡没有BBU 一般是禁止writeback的。某些工具可以强制开启。。
作者: heyzzx    时间: 2015-5-23 12:29
hotsnow  proxmox安装中，那个硬盘选项zfs raid0是软raid吗？我装了以后，开的小鸡全打不开
作者: 我是人    时间: 2015-5-23 12:36
阵列卡没BBU/FBU的确非常。。。

那个。。。

不好玩。

作者: qxwo    时间: 2015-5-23 12:48
我自己在电脑上装了,运行了xp,不如xenserver快,不知道是什么原因
作者: hotsnow    时间: 2015-5-23 12:58
heyzzx 发表于 2015-5-23 12:29
hotsnow  proxmox安装中，那个硬盘选项zfs raid0是软raid吗？我装了以后，开的小鸡全打不开 ...

没玩过软 RAID，建议仔细看看官方文档
作者: h0stl0c    时间: 2015-5-23 19:01
在centos下用libvirt试试啊。。
作者: lvyao    时间: 2015-5-23 19:15
heyzzx 发表于 2015-5-23 12:29
hotsnow  proxmox安装中，那个硬盘选项zfs raid0是软raid吗？我装了以后，开的小鸡全打不开 ...

进BIOS，看cpu的虚拟化开启了没。
作者: hotsnow    时间: 2015-5-23 19:42
h0stl0c 发表于 2015-5-23 19:01
在centos下用libvirt试试啊。。

centos 俺不熟，一直用 Debian 来着
作者: hotsnow    时间: 2015-5-23 20:11
一会测试一下 Proxmox ZFS RAID1 看看性能如何，这个适合木有 RAID卡 的机器
作者: heyzzx    时间: 2015-5-23 20:45
hotsnow 发表于 2015-5-23 20:11
一会测试一下 Proxmox ZFS RAID1 看看性能如何，这个适合木有 RAID卡 的机器

看来这个ZFS非常好了，我继续用它做raid0~

反正跑坏了那3、4万小时的硬盘再说~
作者: sfsren    时间: 2015-5-23 21:02
hotsnow 发表于 2015-5-23 11:15
每个服务器都是只开一个小鸡，2G/20G/2CPU

操作系统均为iso全新安装的 Debian 8，每项测试均使用以下命 ...

请教debian8怎么安装Proxmox，我安装总是出错
作者: hotsnow    时间: 2015-5-23 21:56
sfsren 发表于 2015-5-23 21:02
请教debian8怎么安装Proxmox，我安装总是出错


没玩过，我是直接用的 Proxmox 官方ISO

我这个测试里说的 Debian 8 是指小鸡的 OS
作者: hotsnow    时间: 2015-5-23 22:36
本帖最后由 hotsnow 于 2015-5-23 22:51 编辑

Proxmox ZFS RAID1 测试结果出来了，下面是最后5次 dd测试结果

  1. root@debian:~# dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  2. 16384+0 records in
  3. 16384+0 records out
  4. 1073741824 bytes (1.1 GB) copied, 9.78458 s, 110 MB/s
  5. root@debian:~# dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  6. 16384+0 records in
  7. 16384+0 records out
  8. 1073741824 bytes (1.1 GB) copied, 7.33572 s, 146 MB/s
  9. root@debian:~# dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  10. 16384+0 records in
  11. 16384+0 records out
  12. 1073741824 bytes (1.1 GB) copied, 9.50926 s, 113 MB/s
  13. root@debian:~# dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  14. 16384+0 records in
  15. 16384+0 records out
  16. 1073741824 bytes (1.1 GB) copied, 7.95339 s, 135 MB/s
  17. root@debian:~# dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  18. 16384+0 records in
  19. 16384+0 records out
  20. 1073741824 bytes (1.1 GB) copied, 5.50562 s, 195 MB/s
复制代码


基本上性能不错，目前发现唯一不爽的是 ZFS 占用内存很高，当然这一点在技术文档里提到过，ZFS 极度依赖内存
32G内存，只开一个2G小鸡，不用 ZFS 内存占用是 8%，ZFS 内存占用是 15%...

  1. ZFS depends heavily on memory, so you need at least 4GB to start. In practice, use as much you can get for your hardware/budget. To prevent data corruption, the use of high quality ECC RAM is very recommended.
复制代码


这里也提到了，ZFS 的内存占用是有多少榨干多少，所以最好限制一下 ZFS 的内存使用，限制为 50%-70%，否则。。。

  1. It is good to use max 50-70 percent of the system memory for ZFS arc to prevent performance shortage of the host. ZFS will uses all available memory.
复制代码
作者: hotsnow    时间: 2015-5-25 08:56
本帖最后由 hotsnow 于 2015-5-25 09:00 编辑

Windows 的测试来了，测试环境均为：Windows 2012 R2，4G/30G/2CPU，
分别用 HDTune Pro，ATTO，CrystalDiskMark 三种软件测试

三种测试环境分别如下：
1、ESXi，LSI SAS 磁盘类型，安装 VmTools
2、ESXi，VMWare 虚拟磁盘类型，安装 VmTools
3、Proxmox，VirtIO 磁盘类型

测试结果貌似很奇怪，在 Debian 下测试很差的 ESXi 这次异军突起，貌似成绩超好，
并且其中采用了 VMWare 虚拟磁盘的貌似比默认的 LSI SAS 要好一些，但是不如 LSI SAS 稳定

环境1测试结果：

(, 下载次数: 11)

(, 下载次数: 1)

(, 下载次数: 3)

环境2测试结果：

(, 下载次数: 5)

(, 下载次数: 1)

(, 下载次数: 1)

环境3测试结果：

(, 下载次数: 2)

(, 下载次数: 1)

(, 下载次数: 1)
作者: hotsnow    时间: 2015-5-25 09:02
测试结果貌似很奇怪，在 Debian 下测试很差的 ESXi 这次异军突起，貌似成绩超好，
有技术帝能给解释一下么，难道 ESXi 对 Windows 做了特别优化？



欢迎光临 全球主机交流论坛 (https://hostloc.gdisk.cf/) Powered by Discuz! X3.4