[Sysadmins] Howto mount amazon's S3 ideas,tools?

Alexandr Ogurtsov iscander.alt на gmail.com
Пт Авг 7 07:40:04 UTC 2009


Доброго времени суток, коллеги!
Есть ли у кого нибудь успешный опыт использования Amazon S3 как
локальной точки монтирования? Поделитесь success story, пожалуйста.
При всём богатсве выбора FUSE  файловых систем, точнее проектов,
которые пытаются это реализовать остановился в итоге на двух:
http://code.google.com/p/s3fs/wiki/FuseOverAmazon
http://www.persistentfs.com/
остальные же, не смотря даже на возраст проектов либо очень сырые,
либо просто тестовые, либо даже не собираются работать.
Из двух выше перечисленых более менее приемлимая скорость работы у
persistentfs, тестировал обе как локально так и собственно на
виртуальной машине в Amazon Cloud.
Пройти тест bonnie  удалось только persistentfs  и то при достаточно
скромном размере файлов.
Запуск  bonnie -d /mnt/pstfs/test -u root -s 128 -r 64 -n 128
Результаты domU-*-*-*-*-*-78,128M,8860,18,21853,4,20580,9,15328,30,79339,8,6785.3,14,128,2555,6,11475,9,5821,10,2532,6,11257,11,3618,6
Запуск  bonnie -d /mnt/pstfs/test -u root -s 1024 -r 512 -n 128
Подавился выругавшись в лог:
090806-135937.672 [4064] *** WARNING: cache space exhausted; waiting
for modified blocks to flush

Более того persistentfs под какой то странной лицензией выпускается,
типа когда будет готов релиз мы скажем сколько это будет стоить, а
сейчас пользуйтесь тем что есть, а есть только статически собраная
elf32 - бинарь без сорцов. Да это лучшая из сущесвующих альтернатив
для FUSE + Amazon S3... Но как то даже на вопрос когда ждать релиз и
сколько денег, не отвечают....

 Пройти до конца bonnie  не удалось при использовании s3fs,
bonnie -d /mnt/s3/ -u root -s 128 -r 64 -n 4
Using uid:0, gid:0.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...Can't create file cFXx9RxEU0003757
Cleaning up test directory after error.

 даже хуже примнотировав bucket на виртуальной машине в AmazonCloud
(зона одна и та же) не получается даже распаковать архив с сорцами
ядра.
Вываливается с кучей ругани:
tar: linux-2.6.30.4/fs/ocfs2/aops.c: Cannot open: No such file or directory
tar: linux-2.6.30.4/include/crypto/scatterwalk.h: Cannot write: Bad
file descriptor
tar: linux-2.6.30.4/include/crypto/scatterwalk.h: Cannot close: Bad
file descriptor
tar: linux-2.6.30.4/include/linux/shmem_fs.h: Cannot open: No such
file or directory
tar: linux-2.6.30.4/kernel/irq/pm.c: Cannot write: Bad file descriptor
tar: linux-2.6.30.4/kernel/irq/pm.c: Cannot close: No such file or directory
tar: linux-2.6.30.4/kernel/irq/pm.c: Cannot utime: No such file or directory
tar: linux-2.6.30.4/kernel/irq/pm.c: Cannot change ownership to uid 0,
gid 0: No such file or directory
tar: linux-2.6.30.4/kernel/irq/pm.c: Cannot change mode to rw-rw-r--:
No such file or directory
tar: linux-2.6.30.4/lib/Kconfig.kgdb: Cannot close: No such file or directory
tar: linux-2.6.30.4/net/lapb/lapb_in.c: Cannot write: Bad file descriptor
tar: linux-2.6.30.4/net/lapb/lapb_in.c: Cannot close: Bad file descriptor
tar: linux-2.6.30.4/sound/soc/codecs/tlv320aic3x.h: Cannot open: No
such file or directory
tar: Error exit delayed from previous error
Это при том что смонтировано то более чем щадящим способом:
 s3fs test.perf /mnt/s3/ -o
allow_other,use_cache=/tmp,readwrite_timeout=15,connect_timeout=30,retries=5

И это при монтировании в "облаке" локально при 8Мбитном канале наружу
всё гораздо хуже.

Есть ли достойные альтернативы? Идеи?

--
Заранее благодарен,
Огурцов Александр


Подробная информация о списке рассылки Sysadmins