Список форумов www.ice-graphics.com www.ice-graphics.com
Форум ICE-Graphics
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

ICE ECC - о размере Block size

 
Начать новую тему   Ответить на тему    Список форумов www.ice-graphics.com -> Предложения
Предыдущая тема :: Следующая тема  
Автор Сообщение
Kalex



Зарегистрирован: 23.08.2006
Сообщения: 19
Откуда: Ukraine, Odessa

СообщениеДобавлено: Ср Авг 23, 2006 3:09 pm    Заголовок сообщения: ICE ECC - о размере Block size Ответить с цитатой

Не совсем понятно мне вот это (из хелпа):
Цитата:
Remember, what using very large block sizes require a lot of RAM. Block size must be less than 20% of total RAM. If you are planning to recover your files on computer with small RAM, decrease block size.

Выбор возможных размеров Block size колеблется в пределах от 128690 до 32943184. В чём именно измеряется? В байтах, мегабайтах?

Если размер RAM целевого компьютера, на котором предполагается восстановление инфорамции, равен, напр., 256МБ, то, следуя рекомендациям хелпа, размер Block size должен быть менее 51,2МБ (256/5). Проясните, пожалуйста, ситуацию для недопонимающего Embarassed - какова максимальная цифра в описанном случае должна быть в поле Block size (или в поле Source Block count)?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
ICE Graphics
Site Admin


Зарегистрирован: 26.01.2003
Сообщения: 2751

СообщениеДобавлено: Ср Авг 23, 2006 8:46 pm    Заголовок сообщения: Re: ICE ECC - о размере Block size Ответить с цитатой

Kalex писал(а):
Выбор возможных размеров Block size колеблется в пределах от 128690 до 32943184. В чём именно измеряется? В байтах, мегабайтах?

В байтах

Kalex писал(а):
Если размер RAM целевого компьютера, на котором предполагается восстановление инфорамции, равен, напр., 256МБ, то, следуя рекомендациям хелпа, размер Block size должен быть менее 51,2МБ (256/5). Проясните, пожалуйста, ситуацию для недопонимающего Embarassed - какова максимальная цифра в описанном случае должна быть в поле Block size (или в поле Source Block count)?

Block size - должен быть меньше 256MB/5
Source Block count - может быть любым. В разумных пределах конечно. Вообще использовать для Source Block count величины больше 3000 крайне не рекомендуется. Процесс восстановления может занять часы или даже сутки только на расчёт матрицы.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Kalex



Зарегистрирован: 23.08.2006
Сообщения: 19
Откуда: Ukraine, Odessa

СообщениеДобавлено: Вт Авг 29, 2006 11:57 am    Заголовок сообщения: Ответить с цитатой

Странно... не вяжется как-то всё это, может я чего недопонимаю по скудости ума? Confused
Ведь Block size взаимосвязан с Source Block count.
Например, если Source Block count = 128, то Block size, even = 34912060, и если Source Block count = 32767, то Block size, even = 136380, т.е. если меняешь одно, то тут же сразу меняется и другое, как можно сделать иначе - я не понял.

Выставить значение поля Block size, even более 178888888 (около 170 МБ) GUI не позволяет, меньше можно, это фича?
Получается, что для машин (где предполагается запускать процесс восстановления) с RAM более 832 МБ смысл рекомендации из хелпа выставлять значение этого поля небольшим (менее 20% от общего объёма RAM) просто теряется? Ведь при таких больших объёмах памяти значение Block size, even всегда будет меньше, чем 20% от RAM, больше то выставить всё равно GUI не даёт.
А для машин (где предполагается запускать процесс восстановления) с небольшим объёмом RAM, напр. 256 МБ, при следовании рекомендациям, получается слишком малое прогнозируемое время вычисления, около полуминуты для проекта с файлами объёмом около 4 ГБ (выставляю Block size, even = 20% от 256 МБ = 53687091,2 (приблизительно = 53687092, нечётное значение GUI ввести не позволяет) байтам, при этом Source Block count выставляется в значение = 84). Теперь не вяжется с рекомендациями в хелпе оптимальное рекомендуемое время вычисления 45-60 минут (для проекта записи на DVD). Да и кол-во восстанавливаемых блоков при этом выходит слишком мало, считанные единицы Sad при нескольких небольших повреждених ничего восстановить не удастся Sad
Я правильно всё понимаю?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
ICE Graphics
Site Admin


Зарегистрирован: 26.01.2003
Сообщения: 2751

СообщениеДобавлено: Ср Авг 30, 2006 10:26 am    Заголовок сообщения: Ответить с цитатой

Kalex писал(а):
Ведь Block size взаимосвязан с Source Block count.

Рекомендации просты:

1. Размер блока должен быть меньше, чем одная пятая от RAM. RAM берётся минимальное значение, при котором нужно будет восстанавливать файлы.

2. Число блоков Recovery не рекомендуется делать больше 3000.

3. Остальные параметры подбираем из расчёта, сколько времени на создание ECC файлов не жалко.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Kalex



Зарегистрирован: 23.08.2006
Сообщения: 19
Откуда: Ukraine, Odessa

СообщениеДобавлено: Ср Авг 30, 2006 2:26 pm    Заголовок сообщения: Ответить с цитатой

Спасибо за разъяснения
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
persicum
BANNED


Зарегистрирован: 29.06.2007
Сообщения: 179

СообщениеДобавлено: Сб Ноя 03, 2007 11:12 am    Заголовок сообщения: Ответить с цитатой

Цитата:
Вообще использовать для Source Block count величины больше 3000 крайне не рекомендуется. Процесс восстановления может занять часы или даже сутки только на расчёт матрицы.


Да ладно стращать!!!
Матрица размером 8192х8192 оборачивается за три часа на одном ядре.

Кстати, в книжке "теория кодов, контролирующих ошибки" описано несколько методов быстрого декодирования кодов БЧХ и Рида-Соломона без обращения матрицы, которое требует n^3 операций.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
ICE Graphics
Site Admin


Зарегистрирован: 26.01.2003
Сообщения: 2751

СообщениеДобавлено: Сб Ноя 03, 2007 1:18 pm    Заголовок сообщения: Ответить с цитатой

persicum писал(а):
Да ладно стращать!!!
Матрица размером 8192х8192 оборачивается за три часа на одном ядре.

Это ICE ECC за 3 часа или каким другим софтом ?

persicum писал(а):
Кстати, в книжке "теория кодов, контролирующих ошибки" описано несколько методов быстрого декодирования кодов БЧХ и Рида-Соломона без обращения матрицы, которое требует n^3 операций.

Если не будет обращения матрицы, будет какая-то другая схема, которая по времени расчёта всё равно будет эквивалентна обращению матрицы. Впрочем и по сути они будет эквивалентна.

А для быстрого кодирования используют схему факторизации матриц. Но это только для кодирования. Для декодирования такая схема не применима. Впрочем и для кодирования от неё толку мало. Хоть она формально на порядок быстрее, накладные расходы съедят всё преимущество.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
persicum
BANNED


Зарегистрирован: 29.06.2007
Сообщения: 179

СообщениеДобавлено: Сб Ноя 03, 2007 4:51 pm    Заголовок сообщения: Ответить с цитатой

Цитата:
Это ICE ECC за 3 часа или каким другим софтом ?


В этом отношении все программы примерно одинаковы...
Вы ведь не конфигурировали обращение матрицы под кеш?

Цитата:
Если не будет обращения матрицы, будет какая-то другая схема, которая по времени расчёта всё равно будет эквивалентна обращению матрицы. Впрочем и по сути они будет эквивалентна.


Есть методы декодирования кодов Рида-Соломона, которые не требуют обращения матрицы за n^3 операций, и происходят значительно быстрее. С другой стороны, этот вопрос важен прежде всего для локального декодирования секторов, когда размер данных невелик, а матрицы все время разные.

У вас же глобальная обработка данных, матрица обращается только один раз, а потом она используется для декодирования огромного по объему количества информации.

Поэтому, согласен, в ICEECC ничего другого не нужно, подождать 3 минуты для матрицы 2000x2000 совсем не напряжно.
А вот для 16000x16000 таки-да, и суток может не хватить.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов www.ice-graphics.com -> Предложения Часовой пояс: GMT + 3
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Powered by phpBB © 2001, 2005 phpBB Group