Список форумов www.ice-graphics.com www.ice-graphics.com
Форум ICE-Graphics
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Некузявости в ICE ECC
На страницу Пред.  1, 2, 3, 4 ... 11, 12, 13  След.
 
Начать новую тему   Ответить на тему    Список форумов www.ice-graphics.com -> Ошибки и проблемы
Предыдущая тема :: Следующая тема  
Автор Сообщение
valepakh



Зарегистрирован: 04.12.2007
Сообщения: 10

СообщениеДобавлено: Пн Дек 17, 2007 8:12 pm    Заголовок сообщения: Ответить с цитатой

ICE Graphics писал(а):
valepakh писал(а):
Всё-таки не совсем исправили
Что-то он ещё оттуда читает большое

Так механизм сканирования файлов на предмет поиска блоков и не отключался. Такое поведение возможно, если встречаются ECC файлы старого образца, созданных версиями ранее v1.1. ICE ECC поддерживает оба формата, но пропуск блоков для старых ECC файлов не сделан.


Нет, эти файлы сделаны текущей версией
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
persicum
BANNED


Зарегистрирован: 29.06.2007
Сообщения: 179

СообщениеДобавлено: Ср Янв 30, 2008 9:13 am    Заголовок сообщения: Ответить с цитатой

Решил проверить, как ICEECC ведет себя с файлами, имена к которым утрачены. Лечебных блоков было 128, файловых блоков было 256, а число файлов было небольшим. Так вот, заRARил я все файлы без сжатия в один архив, все файлы удалил, кроме архива и ECC. Пробую - файловых блоков нифига не находит. Ну ладно, думаю, имеет право. Тогда я приклеил (приаппендил) архив к ECC. Прога опять нашла только лечебные блоки, но файловых не нашла. Это меня насторожило. Что за туфта такая? Спихнуть проблему на файловые оконцовки нельзя было, поскоку, как я уже сказал, число блоков было заметно поболее числа файлов. Тогда я взял и переименовал архив по имени одного из файлов, в нем содержащихся. Но и тут глупая прога написала только, что "размер файла изменился", а никаких файловых блоков или целых файлов не нашла. Вот такие косяки. Не знаю, что я не правильно делаю, но очень разочарован.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
ICE Graphics
Site Admin


Зарегистрирован: 26.01.2003
Сообщения: 2751

СообщениеДобавлено: Ср Янв 30, 2008 10:26 am    Заголовок сообщения: Ответить с цитатой

Советую попробовать один финт. Переименовать архив в имя одного из файлов в исходном наборе файлов. И попробовать снова.

Но в общемвиде проблема пока не имеет решения. Проблема здесь вот в чём. ICE ECC позволяет, чтобы файлы произвольным образом пересекали границы блоков. То есть, несколько файлов могут находиться в одном блоке, пересекать границу блока в произвольном месте и т.д. Всё это приводит к большим сложносям поиска блоков, если имена файлов утрачены:

1. Чтобы найти все куски файлов составляющих блок нужно хранить CRC не только каждого блока, но ещё и каждого фрагмента файла (куска), находящегося в блоке. Сейчас хранится только CRC всего блока.

2. Ну и главная проблема. Поиск подходящего куска хорошо работает только при фиксированном размере куска, например равном размеру блока. А если каждый кусок имеет свой размер, что происходит из-за не совпадения границ файлов с границами блоков, то поиск таких кусков станет очень долгим процессом. Пока нет решения этой проблемы.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
persicum
BANNED


Зарегистрирован: 29.06.2007
Сообщения: 179

СообщениеДобавлено: Ср Янв 30, 2008 3:59 pm    Заголовок сообщения: Ответить с цитатой

Цитата:
Советую попробовать один финт. Переименовать архив в имя одного из файлов в исходном наборе файлов. И попробовать снова.


Как я писал, именно так я и пробовал. С другими файловыми наборами результат был немного получше. Прога действительно находила некоторые файловые блоки и писала радостно зелененьким, но только те файловые блоки, которые относятся к тому файлу, в который был переименован архив. А не ко всем файлам.

Цитата:
1. Чтобы найти все куски файлов составляющих блок нужно хранить CRC не только каждого блока, но ещё и каждого фрагмента файла (куска), находящегося в блоке. Сейчас хранится только CRC всего блока.

2. Ну и главная проблема. Поиск подходящего куска хорошо работает только при фиксированном размере куска, например равном размеру блока. А если каждый кусок имеет свой размер, что происходит из-за не совпадения границ файлов с границами блоков, то поиск таких кусков станет очень долгим процессом. Пока нет решения этой проблемы.


Такая сложная проблема не ставилась. А ставилась более простая задача поиска именно целых блоков, хотя бы только тех, на которые не приходятся оконцовки файлов. Это просто небольшая недоработка в логике программы, нигде не ставится задача поиска полных файловых блоков кроме как в исходных файлах, ни в ЕСС-файлах, ни в мусоре из файлов, ни в произвольном контейнере, скажем в RAR или в ISO

Это я все про старую мифическую проблему: если вылетит каталог DVD или флешки, но удастся все-же снять образ - то вашей проге хана, ничем не поможет, сможет найти только резервные блоки, но не сможет найти по максимуму файловые блоки, т.к. данный сценарий даже не отрабатывался. А это ничуть не сложнее поиска смещений, что у вас реализовано.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
persicum
BANNED


Зарегистрирован: 29.06.2007
Сообщения: 179

СообщениеДобавлено: Ср Янв 30, 2008 8:05 pm    Заголовок сообщения: Ответить с цитатой

[---]

Последний раз редактировалось: persicum (Сб Фев 02, 2008 9:49 am), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
ICE Graphics
Site Admin


Зарегистрирован: 26.01.2003
Сообщения: 2751

СообщениеДобавлено: Чт Янв 31, 2008 10:48 am    Заголовок сообщения: Ответить с цитатой

persicum писал(а):
Это я все про старую мифическую проблему: если вылетит каталог DVD или флешки, но удастся все-же снять образ - то вашей проге хана, ничем не поможет, сможет найти только резервные блоки, но не сможет найти по максимуму файловые блоки, т.к. данный сценарий даже не отрабатывался.

На DVD ISO диске если не читается каталог, то и сам диск не прочитается. Ни один сектор. Так что для DVD нет смысла напрягаться.

Для флэшки, первый раз слышу что-бы кто-то хранил файлы защищаемые ECC на флешке. Флэшка нужна для оперативного переноса-хранения. Оперативность плохо вяжется с необходимостью долгих расчётов на создание ECC файла.

persicum писал(а):
А это ничуть не сложнее поиска смещений, что у вас реализовано.

Руки не дошли сделать.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Моторокер
Гость





СообщениеДобавлено: Вт Фев 05, 2008 12:04 pm    Заголовок сообщения: Ответить с цитатой

Надпись Size of the first volume, хотя том всего лишь один. Можно динамически менять в зависимости от положения Split to volumes.

Очень неудобно наблюдать размеры в байтах. Для компьютера это нормально, для человека ничуть нет – кто может назвать, влезет ли на CD файл размером 14 987 180?
Предлагаю объём показывать динамически – килобайты, мегабайты, гигабайты.
Либо как в Проводнике 3,36 МБ (3 532 493 байт)
Либо объём в байтах показывать в хинте:
Size of the first volume писал(а):
Size of the first volume
14 987 180 b
14 635,9 Kb
14,2 Mb
Вернуться к началу
Lamer



Зарегистрирован: 05.10.2006
Сообщения: 15

СообщениеДобавлено: Сб Фев 09, 2008 3:12 am    Заголовок сообщения: Ответить с цитатой

Хинты-финты - это все мелочи. А вот передача имени файла вместо, или в дополнение к директории, в комстроке при создании ECC - необходима. Это же ужас! Надо создать ecc для одного лишь файлика, а ICE ECC может обработать только директорию целиком.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
persicum
BANNED


Зарегистрирован: 29.06.2007
Сообщения: 179

СообщениеДобавлено: Ср Апр 09, 2008 5:46 pm    Заголовок сообщения: Ответить с цитатой

А можно спросить, использует ли ICEECC в некоторых сложных ситуациях "втихоря" файлы подкачки или сваппинга, которые явно не относятся ни к файлам с данными, ни к резервным томам? Если вдруг Айс не совсем безгрешен на этот счет, то в каких ситуациях это возможно?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
OlegLOA



Зарегистрирован: 16.04.2008
Сообщения: 19

СообщениеДобавлено: Ср Апр 16, 2008 8:47 pm    Заголовок сообщения: Ответить с цитатой

persicum писал(а):
А можно спросить, использует ли ICEECC в некоторых сложных ситуациях "втихоря" файлы подкачки или сваппинга,


persicum, такое впечатление что ты просто ищеш к чему придраться.

На самом деле, программа просто супер! Использовал до сих пор с этой же целью вначале винрар Smile, потом QuickPar, тоже очень классная прога, но с двумя недостатками - не умеет обрабатывать папки и нельзя задать очередь заданий. Где-то год-полтора назад попробовал ICE ECC. И уже тогда про него (точнее про его возможности восстанавливать) рассказывали чуть ли не легенды Smile . Самому пока с особо тяжелыми случаями не приходилось сталкиваться, да и бОльшая часть архивов пока с КвикПАРом записана, почему-то тогда он показался более обкатанным, что-ли... Сейчас вот качнул новую версию, хочется ее попробовать, тем более что нынче обьемы большие, но и проц пошустрее стал, да еще и двухядерник. В общем, автору - большущее спасибо за такую прогу, да еще и бесплатную!!!
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
persicum
BANNED


Зарегистрирован: 29.06.2007
Сообщения: 179

СообщениеДобавлено: Чт Апр 17, 2008 11:09 am    Заголовок сообщения: Ответить с цитатой

Цитата:
Использовал до сих пор с этой же целью вначале винрар , потом QuickPar, тоже очень классная прога


Значит ты все еще в поиске... Эт хорошо, можешь поиграться с моей прогой и немного ее потестить и побенчить...
Заодно сравнить скорость с Айсом.

Алгорифм действий таков:
1) Качаем прогу с ник фронт ру (ник - мой!)
2) Берем филес метров на 100 и выпоняем коммандную строку
crc32 -wt
3) потом crc32 -wrr2000-4020 -va4 -hr0 -bsfit -sn100 -tm
4) потом удаляем из директории crc32_vol
48 любых файлов, это будет равносильно потере почти 2000 резервных томов.
5) потом удаляем и сам наш файл на 100 метров - это будет равносильно потере всех 2000 пользовательских томов
6) потом пытаемся превратить оставшихся случайных 2000 с небольшим резервных тома обратно в файл,
crc32 -rrr -bsfit
7) Замечам, сколько времени у нас ушло на кодирование и сколько на декодирование.

8. Потом выполняем все пункты 3-6, заменив в 3-ем пункте ключ -tm на -tm2
9) Скока теперь ушло времени на кодирование и декодирование.

10) Потом берем ICEECC, и проделываем все тоже самое в нем,
SourceBlockCount ставим в 2048, Redundancy в 200%, Split - скоко захочется.

11) Скока времени у Айса все это занимает?

12) На разных стадиях этого теста моя прога должна показывать преимущщество в 5-10-20 раз,
многопроцность она не поддерживает, но хорошо чтобы еще было SSE2, она должна написать
SSE2 Support....: Enabled

Цитата:
про его возможности восстанавливать рассказывали чуть ли не легенды

Теперь понятно, о ком следует слагать легенды? =)))
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
ICE Graphics
Site Admin


Зарегистрирован: 26.01.2003
Сообщения: 2751

СообщениеДобавлено: Пт Апр 18, 2008 1:47 pm    Заголовок сообщения: Ответить с цитатой

OlegLOA писал(а):
persicum, такое впечатление что ты просто ищеш к чему придраться.

Именно так. persicum продвигает свою утилиту crc32, которая вроде бы как выполняет аналогичные функции ICE ECC только в десятки раз быстрее. Почему crc32 даже близко с ICE ECC не сравнима, разбиралось ранее тут http://www.ice-graphics.com/forumr/viewtopic.php?t=1145

Основное отличие crc32 от ICE ECC в том, что ICE ECC гарантирует восстановление данных, а crc32 нет. Используемый алгоритм crc32 не гарантирует восстановление даже одного блока данных, имея 10 блоков кодов коррекции.

persicum писал(а):
Значит ты все еще в поиске... Эт хорошо, можешь поиграться с моей прогой и немного ее потестить и побенчить...
Заодно сравнить скорость с Айсом.

Что я заметил, так это что на ICE ECC есть куча положительных отзывов юзеров со всего мира. А про crc32 хорошо говорит только persicum. Специально проверил в поисковике.

persicum писал(а):
Алгорифм действий таков:

Интерестно, найдётся ещё хоть кто-нибудь во всём мире, кто найдёт хоть одно достоинство crc32 по сравнению с ICE ECC.

Цитата:
Теперь понятно, о ком следует слагать легенды? =)))

persicum имеет все шансы войти в легенду. За долгие и безуспешные попытки продвинуть совершенно не пригодный для использования проект.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
persicum
BANNED


Зарегистрирован: 29.06.2007
Сообщения: 179

СообщениеДобавлено: Пт Апр 18, 2008 6:45 pm    Заголовок сообщения: Ответить с цитатой

А что там у нас по сабжу? может ли и при каких обстоятельствах ICEECC несанкционированно писать на HDD? Разумеется, потом все лишнее затирается, но вопрос в принципе, как, при каких обстоятельствах, а если нет, то замечательно.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
ICE Graphics
Site Admin


Зарегистрирован: 26.01.2003
Сообщения: 2751

СообщениеДобавлено: Пт Апр 18, 2008 11:05 pm    Заголовок сообщения: Ответить с цитатой

persicum писал(а):
А что там у нас по сабжу? может ли и при каких обстоятельствах ICEECC несанкционированно писать на HDD?

А что значит "несанкционированно писать на HDD" для утилиты, которая все результаты своей работы пишет на диск ?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
persicum
BANNED


Зарегистрирован: 29.06.2007
Сообщения: 179

СообщениеДобавлено: Сб Апр 19, 2008 8:22 am    Заголовок сообщения: Ответить с цитатой

Цитата:
А что значит "несанкционированно писать на HDD" для утилиты


Ну вы же понимаете, я спрашиваю, создает ли ICEECC временные файлы в некоторых ситуациях?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов www.ice-graphics.com -> Ошибки и проблемы Часовой пояс: GMT + 3
На страницу Пред.  1, 2, 3, 4 ... 11, 12, 13  След.
Страница 3 из 13

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Powered by phpBB © 2001, 2005 phpBB Group