 |
http://www.astalavista.ru
Тематические форумы для компьютерных клубов
|
| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
eDeth
Зарегистрирован: 12.07.2004
Сообщения: 412
Откуда: Дубна
|
 Добавлено: Пт Сен 10, 2004 2:39 am Заголовок сообщения: Перезаливка клуба 3а 40-60 мин |
 |
|
Тут я уже писал о клонировании с помощью ka-tools (11-ое сообщение сверху). Здесь я хочу рассказать о небольшом усовершенствовании, идея которого возникла 2 дня назад и котороые успешено было воплощено в жизнь вчера ночью.
Итак, клонирование работает путем загрузки в память машин по BOOTP маленького линункса и выполнения пары программ: ka-d-server на станции-эталоне и ka-d-client - на клиентах. Сам поток данных организовывается простейшим способом:
* на эталоне он создается командой "dd if=/dev/hdaX", где X - клонируемый партишн,
* на клиенте поток ловится и передается на stdin команде "dd of=/dev/hdaX"
Эти 2 команды прописаны в обычном sh-ном скрипте, который уже вызывает ka-d-server и ka-d-client.
Как я, кажется, писал, скорость поток при 6 клиентах на свичеванной сетке составляет 10.5Mb/s. Т.е узким местом является сеть.
Возникает вопрос - а что если этот поток ещё и сжимать? Пессимисты и владельцы дохлых процов сразу скажут, что архивера, который бы выдавал не меньше 10Mb/s не бывает.
У нас процессоры - 2.8Ghz, поэтому я решил проверить обычный gzip. За что я Linux обожаю, так это за гибкость! Было сделано буквально следующее:
* на эталоне изменена команда на "dd if=/dev/hdaX | gzip -1 -c"
* на клиенте изменена команда на "gzip -d -c | dd of=/dev/hdaX"
Тестовое клонирование производилось на одну машину. Размер клонируемого HDD - 40Gb из которых клонировался партишн размером 31Gb.
Вообщем, резльутат положительный (хуже не стало), но и выигрыш нулевой:
* без gzip'a: средний поток - ~11Mb/s, время клонирования ~46-47 минут
* с gzip'ом: средний поток - ~7Mb/s, время клонирования ~46 минут
Т.е. узким местом стал сам gzip, даже в самом быстром моде ( -1). Поэтому я решил поискать более быстрые архиверы и, что не увидительно, нашел. Им оказался OpenSource'овый GNU-шный LZOP: http://www.lzop.org/
Сделал точно так же:
* на эталоне изменена команда на "dd if=/dev/hdaX | lzop -1 -c"
* на клиенте изменена команда на "lzop -d -c | dd of=/dev/hdaX"
На этот раз результат впечатлил нипадецки:
* с lzop'ом: средний поток остался максимальным всё время клонирования - 11Mb/s, время клонирования составило 33 минуты! Т.е. скорость копирования данных составила 15.7Mb/s!
Начал увеличивать степень сжатия и остановился на -3, дефолтовом значении. Время сократилось еще немного, но и поток начал чуть-чуть уменьшаться, т.е. был достигнут предел.
ВЫВОД:
Винт размером 40Gb клонируется за 40 минут.
Винт размером 60Gb клонируется за 60 минут, т.е. за 1 час.
Если кто сумеет склонировать на 100Mbit'ной дуплексной сетке быстрее - ставлю ящик пива! |
|
| Вернуться к началу |
|
 |
pilot
Зарегистрирован: 02.09.2004
Сообщения: 21
Откуда: Минск
|
| Добавлено: Вт Сен 14, 2004 8:00 pm Заголовок сообщения: Re: Перезаливка клуба 3а 40-60 мин |
|
|
Круто :super: Но есть пара вопросов :?:
| eDeth писал(а): |
Как я, кажется, писал, скорость поток при 6 клиентах на свичеванной сетке составляет 10.5Mb/s. Т.е узким местом является сеть.
|
Количество клиентов влияет на скорость потока? хоть как нибудь.
Очень интересны замеры софта именно реально работающего.
| eDeth писал(а): |
ВЫВОД:
Винт размером 40Gb клонируется за 40 минут.
Винт размером 60Gb клонируется за 60 минут, т.е. за 1 час.
|
1Gb в минуту=136.5 Mbps круто :dance:
Идея со сжатием отличная
Дело в том что я пишу такую же систему но под Win, скоро будут первые испытания. К сожалению Win не такая гибкая система как Линукс. Но зато софт способен работать, прямо во время работы клуба. И способна разбираться в инфе которую пишет. Ведь, согласись нет необходимости копировать целый раздел, для того чтобы раскинуть, к примеру новую игру. |
|
| Вернуться к началу |
|
|
eDeth
Зарегистрирован: 12.07.2004
Сообщения: 412
Откуда: Дубна
|
| Добавлено: Ср Сен 15, 2004 3:24 pm Заголовок сообщения: Re: Перезаливка клуба 3а 40-60 мин |
|
|
| Цитата: |
Количество клиентов влияет на скорость потока? хоть как нибудь.
|
В теории - не должно  Сетка ведь свичеванная и дуплексная,
а связь организуется по принципу:
Эталон <-> Клиент <-> Клиент <-> Клиент...
Но говорят, что после 200 компов возможны тормоза, однако проверить
это мне еще не представлялось возможности
| Цитата: |
Очень интересны замеры софта именно реально работающего.
|
В смысле? 10.5Mb/s - так сообщают ka-d-server & ka-d-client.
Кстати, в "комплект" ka-d входят сорсы multicast версии ka-d-server.
Возможно, если использовать её, скорость возрастет ещё, а схема
в этом случае, я полагаю, выглядит так:
| Код: |
<-> Клиент
Эталон <-> Клиент
<-> Клиент
...
|
Однако тот факт, что клубные свичи не поддерживают multicast вызывает
сомнения в целесообразности этого метода. (Клубные свичи multicast
превращают в broadcast, поэтому что ты клонируешь на один комп, что все сразу - сеть грузится одинаково).
| Цитата: |
| eDeth писал(а): |
ВЫВОД:
Винт размером 40Gb клонируется за 40 минут.
Винт размером 60Gb клонируется за 60 минут, т.е. за 1 час.
|
1Gb в минуту=136.5 Mbps круто :dance:
|
1024/60*8? А почему '8'? Там че нет служебных битов?
По-моему, нагляднее так: 1024/60=17MB/s
| Цитата: | Дело в том что я пишу такую же систему но под Win, скоро будут
первые испытания. К сожалению Win не такая гибкая система как
Линукс. Но зато софт способен работать, прямо во время работы клуба.
|
Ага, сидит тело, играет в Кантру, а на его комп пишется софт, загружая весь канал.
По-моему, тело может это неправильно истолковать и начать бузить.
Хотя, если тело по Сети ползает, ему возможно будет по-барану.
С другой стороны, то, что прога:
| Цитата: |
... способна разбираться в инфе которую пишет.
|
конечно, может сэкономить время. Но ведь и с помощью ka-d можно
заставить копировать не всё, а только то, что нужно. Так, например,
ka-d клонирует Linux, не тупым dd, архивером tar, со всеми
вытекающими. Однако, тут есть сложность: если используется NTFS (а это
так, если админ не идиот), то надо иметь ввиду, что в документации
к Linux-драйверу NTFS предостерегают от использования его
в режиме записи и советуют чекить диск после этого из самой Windows. |
|
| Вернуться к началу |
|
|
Гость
|
| Добавлено: Ср Сен 15, 2004 7:57 pm Заголовок сообщения: Re: Перезаливка клуба 3а 40-60 мин |
|
|
| eDeth писал(а): |
Но говорят, что после 200 компов возможны тормоза, однако проверить
это мне еще не представлялось возможности
|
Хм :? а почему?
| eDeth писал(а): |
Кстати, в "комплект" ka-d входят сорсы multicast версии ka-d-server.
Возможно, если использовать её, скорость возрастет ещё
|
Ух ты, я про такое и не слышал. Уже читаю :type:
| eDeth писал(а): |
Однако тот факт, что клубные свичи не поддерживают multicast
|
Кстати а кто нибудь знает switchi поддерживающие multicast
| eDeth писал(а): |
Ага, сидит тело, играет в Кантру, а на его комп пишется софт, загружая весь канал.
По-моему, тело может это неправильно истолковать и начать бузить.
Хотя, если тело по Сети ползает, ему возможно будет по-барану.
|
О как До меня эта мысль доходила пару дней
На самом деле здесь три проблеммы
1. процессорное время. Тут все просто. Когда-то умные люди придумали потоки, и их приоритеты. Закачкой занимается отдельный поток, которому в зависимости от загруженности проца выставляется соответствующий приоретет.
2. сетевой канал. Тут тоже все просто. Алгоритм ограничения трафика тоже придуман давно. И его тоже можно выставлять автоматом, но уже сложнее. Сетевой монитор писать не очень хочется. Но есть Tmeter, нужно поковырятся.
3. процесс записи считывания самого винта. Не самая большая, но неприятная проблемма. :cranky: Думаю
Нет ну NTFS конечно. Развивая эту тему можно заставить раскидывать обновления на игры. Наш клуб специализируется на OnLine играх. И их обновления из i-neta несколько досаждают. А так, поставил на отслеживание определенный каталог, и как только файлы появились, или изменились тут же на все компы обновление разольется. |
|
| Вернуться к началу |
|
|
pilot
Зарегистрирован: 02.09.2004
Сообщения: 21
Откуда: Минск
|
| Добавлено: Ср Сен 15, 2004 7:59 pm Заголовок сообщения: |
|
|
| Пардон это я |
|
| Вернуться к началу |
|
|
pilot
Зарегистрирован: 02.09.2004
Сообщения: 21
Откуда: Минск
|
| Добавлено: Ср Сен 15, 2004 8:08 pm Заголовок сообщения: |
|
|
Еще такой вопросик. Как машины разбираются кто за кем стоит в очереди (дереве). Рандомом, али некий механизм встроен в самом ka-d. Ведь если несколько switcheй тут уже думать придется, ka-d карту сети не знает?
И предложение, попробуй организовать дерево с числом ветвления 2 (1download, 2 upload), будет быстрее или нет? Просто на Winде если одна закачка, то выше 7-8 Mb/s не подымается, а вот если 2-е то 10-11. |
|
| Вернуться к началу |
|
|
Гость
|
| Добавлено: Ср Сен 15, 2004 8:47 pm Заголовок сообщения: |
|
|
sorry za latinicu
Sortiruet po ip-shnikam.
Nastchet predlozhenija - ok, v seldujuschijj raz poprobuju (eto sluchintja zavtra ili segodnja) |
|
| Вернуться к началу |
|
|
Гость
|
| Добавлено: Ср Сен 15, 2004 8:48 pm Заголовок сообщения: |
|
|
| eto byl ja - eDeth |
|
| Вернуться к началу |
|
|
eDeth
Зарегистрирован: 12.07.2004
Сообщения: 412
Откуда: Дубна
|
| Добавлено: Чт Сен 16, 2004 3:27 pm Заголовок сообщения: |
|
|
| pilot писал(а): | | Просто на Winде если одна закачка, то выше 7-8 Mb/s не подымается, а вот если 2-е то 10-11. |
т.е. 10-11/2=5-5.5 против 7-8 что-ли? И это что, круто? |
|
| Вернуться к началу |
|
|
LobziK™
Зарегистрирован: 13.02.2003
Сообщения: 60
|
| Добавлено: Чт Сен 16, 2004 6:41 pm Заголовок сообщения: |
|
|
| так ... мысли в слух ..А уменя перезаливка всего кафе занимает 3.30 - 4.00 часа ... и льются все сразу ...67 машин .. и потом еще порядка часа на привод в чуЙства (смена сида , регистрация в домене) и все. |
|
| Вернуться к началу |
|
|
vis
Site Admin
Зарегистрирован: 18.05.2002
Сообщения: 3830
|
| Добавлено: Пт Сен 17, 2004 7:52 am Заголовок сообщения: |
|
|
ну ты озвучь размер винта и скорость сетки
и стоимость сетевого оборудования  |
|
| Вернуться к началу |
|
|
LobziK™
Зарегистрирован: 13.02.2003
Сообщения: 60
|
| Добавлено: Пт Сен 17, 2004 9:25 am Заголовок сообщения: |
|
|
сорри .....
ОЗВУЧКА :
1. Хард 80 га сата
2. Сетка Гигабитка категория 5е
3. Свичи Nortel 5510-48T (5k за штуку) итого 2 штуки
4. Сервак с которого льеться SC5200 HudsonIII\Dual Xeon 2.4 533\2x512Mb Reg\IDE 36 GB WD360GD SATA150 10000 rpm\1Gb 3com940
5. На клиентах тоже 3com940
вроде все |
|
| Вернуться к началу |
|
|
pilot
Зарегистрирован: 02.09.2004
Сообщения: 21
Откуда: Минск
|
| Добавлено: Пт Сен 17, 2004 11:11 am Заголовок сообщения: |
|
|
Не плохо, а скорость винтов какая?
И сколько стоят Gigabit карточки? |
|
| Вернуться к началу |
|
|
LobziK™
Зарегистрирован: 13.02.2003
Сообщения: 60
|
| Добавлено: Пт Сен 17, 2004 2:20 pm Заголовок сообщения: |
|
|
Винты Баракуды 7200
А гигабитки на мамке ))) ASUS P4P800 Gold |
|
| Вернуться к началу |
|
|
eDeth
Зарегистрирован: 12.07.2004
Сообщения: 412
Откуда: Дубна
|
| Добавлено: Пт Сен 17, 2004 3:16 pm Заголовок сообщения: |
|
|
| LobziK™ писал(а): | | так ... мысли в слух ..А уменя перезаливка всего кафе занимает 3.30 - 4.00 часа ... и льются все сразу ...67 машин .. и потом еще порядка часа на привод в чуЙства (смена сида , регистрация в домене) и все. |
Против 80 минут с использованием ka-d. А может и быстрее - ведь сетка гигабитная.
Bопрос: какую максимльную скорость можно получить в дуплексе? |
|
| Вернуться к началу |
|
|
LobziK™
Зарегистрирован: 13.02.2003
Сообщения: 60
|
| Добавлено: Пт Сен 17, 2004 4:50 pm Заголовок сообщения: |
|
|
| Цитата: | | Bопрос: какую максимльную скорость можно получить в дуплексе? |
Порядка 30 метров в сек |
|
| Вернуться к началу |
|
|
eDeth
Зарегистрирован: 12.07.2004
Сообщения: 412
Откуда: Дубна
|
| Добавлено: Пт Сен 17, 2004 5:48 pm Заголовок сообщения: |
|
|
| LobziK™ писал(а): | | Порядка 30 метров в сек |
Ого! Круто. Полагаю узким местом становится HDD, а сжатие точно не нужно. |
|
| Вернуться к началу |
|
|
vis
Site Admin
Зарегистрирован: 18.05.2002
Сообщения: 3830
|
| Добавлено: Пт Сен 17, 2004 6:56 pm Заголовок сообщения: |
|
|
нуна еще на серваке pci64 ставить...
иначе упирается в скорость pci вся тема... |
|
| Вернуться к началу |
|
|
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
|
|
FAQ
Поиск
Пользователи
Группы
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
