在Archlinux上使用FlashCache

由于Archlinux总是使用最新的linux内核，最好从最新的 Flashcache 源代码进行编译安装。

git clone https://github.com/facebook/flashcache.git
cd flashcache
make
sudo make install

sudo insmod /lib/modules/`uname -r`/extra/flashcache/flashcache.ko

• 修复挂载错误

  insmod: ERROR: could not insert module /lib/modules/3.19.3-3-ARCH/extra/flashcache/flashcache.ko: Unknown symbol in module

  通过 dmesg | grep flashcache 可以看到以下错误信息：

  [ 2130.514615] flashcache: Unknown symbol dm_put_device (err 0)
  [ 2130.514654] flashcache: Unknown symbol dm_io_client_create (err 0)
  [ 2130.514693] flashcache: Unknown symbol dm_kcopyd_client_create (err 0)
  [ 2130.514738] flashcache: Unknown symbol dm_unregister_target (err 0)
  [ 2130.514774] flashcache: Unknown symbol dm_io_client_destroy (err 0)
  [ 2130.514798] flashcache: Unknown symbol dm_kcopyd_copy (err 0)
  [ 2130.514821] flashcache: Unknown symbol dm_register_target (err 0)
  [ 2130.514846] flashcache: Unknown symbol dm_kcopyd_client_destroy (err 0)
  [ 2130.514870] flashcache: Unknown symbol dm_table_get_mode (err 0)
  [ 2130.514895] flashcache: Unknown symbol dm_io (err 0)
  [ 2130.514915] flashcache: Unknown symbol dm_get_device (err 0)

  先挂载 dm-mod 模块再挂载 flashcache 模块即可：

  sudo modprobe dm-mod
  sudo insmod /lib/modules/`uname -r`/extra/flashcache/flashcache.ko
  

  参考：No entry for device-mapper found

参考：flashcache的实现与用法

• 创建SSD模拟设备

  使用内存文件模拟块设备（1G）

  dd if=/dev/zero of=/dev/shm/ssd.img bs=1024k count=1024
  sudo losetup /dev/loop1 /dev/shm/ssd.img
  

• 创建HDD模拟设备

  使用普通磁盘文件模拟块设备（5G）

  sudo dd if=/dev/zero of=/hdd.img bs=1024k count=5120
  sudo losetup /dev/loop2 /hdd.img
  

• 创建Flashcache混合设备

  sudo flashcache_create -p around cachedev /dev/loop1 /dev/loop2
  sudo mkfs.ext4 /dev/mapper/cachedev
  

• 挂载Flashcache混合设备

  sudo mkdir /data
  sudo mount /dev/mapper/cachedev /data
  

/data目录下的数据读写就已经在使用Flashcache了。

• 创建用来测试的数据文件（1G）

  dd if=/dev/urandom of=/dev/shm/test.dat bs=1024k count=1024
  

• 测算使用HDD写耗时

  sudo sh -c 'echo 1 > /proc/sys/vm/drop_caches; time cp /dev/shm/test.dat /'
  

  输出：

  real    0m4.751s
  user    0m0.000s
  sys 0m0.600s
  

• 测算使用HDD读耗时

  sudo sh -c 'echo 1 > /proc/sys/vm/drop_caches; time cp /test.dat /dev/shm/
  

  输出：

  real    0m10.580s
  user    0m0.010s
  sys 0m0.727s
  

• 测算使用Flashcache写耗时

  sudo sh -c 'echo 1 > /proc/sys/vm/drop_caches; time cp /dev/shm/test.dat /data/'
  

  输出：

  real    0m7.363s
  user    0m0.000s
  sys 0m0.760s
  

• 测算使用Flashcache读耗时

  第一轮测试（缓存预热）

  sudo sh -c 'echo 1 > /proc/sys/vm/drop_caches; time cp /data/test.dat /dev/shm/'
  

  输出：

  real    0m9.557s
  user    0m0.013s
  sys 0m1.157s
  

  第二轮测试（缓存生效）

  sudo sh -c 'echo 1 > /proc/sys/vm/drop_caches; time cp /data/test.dat /dev/shm/'
  

  输出：

  real    0m3.107s
  user    0m0.000s
  sys 0m0.850s
  

• 清除测试数据

  sudo rm /test.dat /dev/shm/test.dat /data/test.dat
  

• 结果分析

  • Flashcache读性能： 提升70%
  • Flashcache写性能： 降低55%

  因为使用了 Write-Around 方式，所以提升了读性能，降低了写性能。

• 清除模拟环境

  sudo umount /data
  sudo dmsetup remove cachedev
  sudo losetup -d /dev/loop1
  sudo rm /dev/shm/ssd.img
  sudo losetup -d /dev/loop2
  sudo rm /hdd.img
  sudo rmdir /data