 |
www.ice-graphics.com
Форум ICE-Graphics
|
| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
persicum
BANNED
Зарегистрирован: 29.06.2007
Сообщения: 179
|
 Добавлено: Пн Авг 23, 2010 9:12 am Заголовок сообщения: |
 |
|
Айс, вы же знаете, что любая даже самая жирная, самая полновесная, самая честная и благородная матрица после разложения SVD превращается в UxSxV, где U – матрица вращений, V – матрица растяжений, S – одиноко стоящий тростничек (диагональная матрица). U и V с виду страшные, но после возведения в квадрат превращаются в единицу и улетучиваются, поскольку являются унитарными. Осталась только одна кость S, но как известно, была бы кость, а мясо нарастет.
Разреженная матрица действительно капризна в обращении и требует 10 лишних блоков. Она у меня раньше была и справлялась с 20000 блоками. А чисто диагональная обращается мгновенно и никаких лишних блоков не требует. Сейчас у меня не просто разреженная, а еще круче и с максимальным количеством нулей – диагональная. Поэтому она работает с невероятной скоростью. Но не забываем, она взята не с потолка, а эквивалентна некоторой исходной полной матрице, поэтому никаких лишних блоков не требуются.
Сейчас все ищут, ищут климатическое оружие… А чего его искать, далеко ходить не нужно. =))) Если кодировать 2000 блоков за 1 час, когда можно играючи закодировать 2 млн блоков за 1 минуту, тут не только Арктика с Северным полюсом потаят, тут еще Антарктида вся растает и еще Памир с Гималаями в придачу… =((( |
|
| Вернуться к началу |
|
 |
Вадим Захаренко
Модератор
Зарегистрирован: 14.08.2003
Сообщения: 2140
Откуда: Беларусь, г.Мозырь
|
| Добавлено: Пн Авг 23, 2010 9:18 am Заголовок сообщения: |
|
|
Ну а на мой вопрос ответ будет?
_________________
Вы еще не читаете при помощи ИБР?
Тогда мы идет к вам  |
|
| Вернуться к началу |
|
|
persicum
BANNED
Зарегистрирован: 29.06.2007
Сообщения: 179
|
| Добавлено: Пн Авг 23, 2010 9:34 am Заголовок сообщения: |
|
|
| Цитата: | | Уже давно готов теоретический базис того, что для crc32 покажется дурным сном, а именно глобального восстановления в конфигурации 10 миллионов блоков с избыточностью 100% |
Так что другие тоже способны додуматься до разложения матриц, причем не только в теории, но и успешно зарелизить =))) |
|
| Вернуться к началу |
|
|
Вадим Захаренко
Модератор
Зарегистрирован: 14.08.2003
Сообщения: 2140
Откуда: Беларусь, г.Мозырь
|
| Добавлено: Пн Авг 23, 2010 9:39 am Заголовок сообщения: |
|
|
| persicum писал(а): | | Цитата: | | Уже давно готов теоретический базис того, что для crc32 покажется дурным сном, а именно глобального восстановления в конфигурации 10 миллионов блоков с избыточностью 100% |
Так что другие тоже способны додуматься до разложения матриц, причем не только в теории, но и успешно зарелизить =))) |
Ну если вы придумаете новую теорию в матрицах и докажите её...
То за вами будут гоняться с миллионом баксов (как за Перельманом)
_________________
Вы еще не читаете при помощи ИБР?
Тогда мы идет к вам |
|
| Вернуться к началу |
|
|
persicum
BANNED
Зарегистрирован: 29.06.2007
Сообщения: 179
|
| Добавлено: Пн Авг 23, 2010 9:45 am Заголовок сообщения: |
|
|
| Цитата: | | Ну а на мой вопрос ответ будет? |
Ответить не могу, я все-таки в гостях. Мой продукт имеет множество больших недостатков перед ICEECC, скрывать не буду. Хотя в умении делать много блоков ему не откажешь. |
|
| Вернуться к началу |
|
|
Вадим Захаренко
Модератор
Зарегистрирован: 14.08.2003
Сообщения: 2140
Откуда: Беларусь, г.Мозырь
|
| Добавлено: Пн Авг 23, 2010 9:48 am Заголовок сообщения: |
|
|
Просто скажите
Какой объем надо для гарантированного восстановления 2 Гб данных
1. 2 Гб
2. Больше 2 Гб
3. Меньше 2 Гб
_________________
Вы еще не читаете при помощи ИБР?
Тогда мы идет к вам |
|
| Вернуться к началу |
|
|
ICE Graphics
Site Admin
Зарегистрирован: 26.01.2003
Сообщения: 2751
|
| Добавлено: Пн Авг 23, 2010 10:31 am Заголовок сообщения: |
|
|
| persicum писал(а): | | Сейчас у меня не просто разреженная, а еще круче и с максимальным количеством нулей – диагональная. |
Если раньше было на 16 нулей у crc32 был только один не ноль в строке матрицы. То теперь в каждой строке матрицы будет только один не ноль, а остальное нули. Финиш. Приплыли.
| persicum писал(а): | | лишних блоков не требуются. |
Лишние блоки ВСЕГДА будут требоваться, если в матрице много нулей.
| persicum писал(а): | | Если кодировать 2000 блоков за 1 час, когда можно играючи закодировать 2 млн блоков за 1 минуту |
Вот только есть парких мелких недочётов, которые делают все эти миллионы бесполезными:
1. Закодировать можно, а использовать закодированные блоки для восстановления реально повреждённых блоков НЕЛЬЗЯ. Блоки посчитаны, а данные не восстановить, потому что восстановление займёт века.
2. Чтобы закодить данные их нужно разместить все сразу в RAM. По крайней мере так работает crc32. А это значит, что посчитать код для больше чем 2 GB данных crc32 теоретически не может.
3. В случае, если данные не размещать сразу в памяти, а пытаться всё делать на лету, как ICE ECC делает, тогда объём файловых операций с диском будет настолько огромен, что создание кода может занять недели и месяца, и всё только на файловых операциях. |
|
| Вернуться к началу |
|
|
persicum
BANNED
Зарегистрирован: 29.06.2007
Сообщения: 179
|
| Добавлено: Пн Авг 23, 2010 12:59 pm Заголовок сообщения: |
|
|
| Цитата: | | Блоки посчитаны, а данные не восстановить, потому что восстановление займёт века. |
Запереть, ключ выкинуть, а бумажку с паролем проглотить - это разве не самый надежный способ защиты?
| Цитата: | | Вот только есть парких мелких недочётов, которые делают все эти миллионы бесполезными |
Наверное, нужно немного смягчить и сказать, что пока не будут решены проблемы 1-3, восстановление невозможно. Но вот если все же они будут решены - тогда вероятно мы получим чрезвычайно быстрый код.
| Цитата: | | делать на лету, как ICE ECC делает |
Ну так как ICEECC собирается общаться с 10 млн блоками, как такое в принципе будет возможно? Уточните, пожалуйста. |
|
| Вернуться к началу |
|
|
ICE Graphics
Site Admin
Зарегистрирован: 26.01.2003
Сообщения: 2751
|
| Добавлено: Пн Авг 23, 2010 1:12 pm Заголовок сообщения: |
|
|
| persicum писал(а): | | Ну так как ICEECC собирается общаться с 10 млн блоками, как такое в принципе будет возможно? Уточните, пожалуйста. |
В потоке, не закачивая всё в память |
|
| Вернуться к началу |
|
|
persicum
BANNED
Зарегистрирован: 29.06.2007
Сообщения: 179
|
| Добавлено: Пн Авг 23, 2010 1:30 pm Заголовок сообщения: |
|
|
Хм, насколько я знаю все пути смешения кодов рида-соломона со всякими потоками типа турбо, торнадо, раптор-коды все-таки не являются совсем совершенными и требуют немного дополнительных блоков. ICEECC тоже будет требовать? Вот в этих кодах я совсем ни бум-бум, не догоняю что такое каскадирование и так далее.
В любом случае будет очень интересно посмотреть. Только делайте сразу SSE2, на MMX не останавливайтесь. Насколько я знаю, третий пункт ваших возражений насчет большого количества дисковых операций при попытке частично зачитать в ОЗУ еще никто достойно не решил, чтобы было хорошо и быстро. Поэтому будем ждать.
Жаль конечно, что вы технических деталей не раскрываете. |
|
| Вернуться к началу |
|
|
persicum
BANNED
Зарегистрирован: 29.06.2007
Сообщения: 179
|
| Добавлено: Пн Авг 23, 2010 2:07 pm Заголовок сообщения: |
|
|
поток еще может означать thread...
Ну теперь моя очередь усомниться - не может такого быть, чтобы в фоновом режиме зачитывать блок в буфер, а тем временем кодировать другой блок из другого буфера, при этом стрессирую всю ОЗУ, поскольку один блок входит во все блоки коррекции что лежат в RAM, и они должны обновляться с каждым новым блоком. Для 1000 блоков такое еще проходило, но для 10 млн заявленных не может такого быть, только ценой в миллиарды лет. Вы как-то обещали исправить ошибку 204 раздробив блоки еще на меньшие подблоки, ну так это будет интерлив? |
|
| Вернуться к началу |
|
|
persicum
BANNED
Зарегистрирован: 29.06.2007
Сообщения: 179
|
| Добавлено: Пн Авг 23, 2010 2:23 pm Заголовок сообщения: |
|
|
| Цитата: | Просто скажите
Какой объем надо для гарантированного восстановления 2 Гб данных
1. 2 Гб
2. Больше 2 Гб
3. Меньше 2 Гб |
Новички скачивают QuickPAR семилетней давности и начинают его "тестировать" обычно так. Стирают большой файл, QuickPAR понятное дело его восстанавливает, и они писаются от счастья.
Восстановить 2 гига данных из 2 гигов коррекции можно:
1) если данные были разбиты на 2 блока
2) если данные были разбиты на 200 блоков
3) если данные были разбиты на 2000 блоков
4) если данные были разбиты на 2000000 блоков (гипотетически, если только есть на свете такая программа)
Эта разница незаметна для сознания 99% пользователей, что объясняет крайнюю живучесть такого старья как PAR2. Если нужно скорости, уменьши число блоков и ты получишь ту же способность восстанавливать 2 гига из 2-х других гигов. |
|
| Вернуться к началу |
|
|
ICE Graphics
Site Admin
Зарегистрирован: 26.01.2003
Сообщения: 2751
|
| Добавлено: Пн Авг 23, 2010 2:28 pm Заголовок сообщения: |
|
|
| Говоря про поток, я имел в виду, что обработка данных по дисковым операциям не будет отличима от текущей версии ICE ECC. Все данные будут идти одним сплошным потоком, который заведомо больше, чем размер RAM. |
|
| Вернуться к началу |
|
|
Вадим Захаренко
Модератор
Зарегистрирован: 14.08.2003
Сообщения: 2140
Откуда: Беларусь, г.Мозырь
|
| Добавлено: Пн Авг 23, 2010 3:14 pm Заголовок сообщения: |
|
|
| persicum писал(а): | | Цитата: | Просто скажите
Какой объем надо для гарантированного восстановления 2 Гб данных
1. 2 Гб
2. Больше 2 Гб
3. Меньше 2 Гб |
Новички скачивают QuickPAR семилетней давности и начинают его "тестировать" обычно так. Стирают большой файл, QuickPAR понятное дело его восстанавливает, и они писаются от счастья.
Восстановить 2 гига данных из 2 гигов коррекции можно:
1) если данные были разбиты на 2 блока
2) если данные были разбиты на 200 блоков
3) если данные были разбиты на 2000 блоков
4) если данные были разбиты на 2000000 блоков (гипотетически, если только есть на свете такая программа)
Эта разница незаметна для сознания 99% пользователей, что объясняет крайнюю живучесть такого старья как PAR2. Если нужно скорости, уменьши число блоков и ты получишь ту же способность восстанавливать 2 гига из 2-х других гигов. |
Ни чего не понятно
Лично мне проще скопировать эти 2 Гб на другой носитель. и иметь 100% восстанавливаемость при минимальном времени 
_________________
Вы еще не читаете при помощи ИБР?
Тогда мы идет к вам |
|
| Вернуться к началу |
|
|
persicum
BANNED
Зарегистрирован: 29.06.2007
Сообщения: 179
|
| Добавлено: Пн Авг 23, 2010 4:13 pm Заголовок сообщения: |
|
|
| Цитата: | | Лично мне проще скопировать эти 2 Гб на другой носитель. и иметь 100% восстанавливаемость при минимальном времени |
Особенно скопировать BDRip поколотый на тома по 4.6G на другие такие же диски. А потом на каждом вылетит по 5 % и не останется вообще нифига целых файлов =)))
Всякие там медиа-танки Райд0 из двух терабайтников возможно бы упразднили QuickPAR и ICEECC. Но железо работает не всегда стабильно, поэтому софтовые коды всегда будут востребованы у продвинутых юзеров. |
|
| Вернуться к началу |
|
|
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
|
Powered by phpBB © 2001, 2005 phpBB Group
|
FAQ
Поиск
Пользователи
Группы
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
