VovaM
майор
Зарегистрирован: 20/08/2003
Сообщений: 2421
|
|
В ответ на :
Poul писал:
Оси и фс уже давно на другом уровне виртуализации
Это "не другой уровень", это низкое качество ФС.
Сколько видов ФС сверяет контрольные суммы файлов?
EXT2,EXT3,ETX3, рейзер-фс, ReiserFS, Reiser4 NTFS, HFS, JFS, FS - это из тех что я знаю. Правильный ответ - ни одна.
Даже метаданных - далеко не все.
Покопавшись в вопросе я вообще обнаружил, что по-настоящему глубоко вопросом целостности данных занялись лишь последние 5 лет. Журналируемость, экстенты, опережающее выделение, write-on-copy, снапшоты и прочее...
На убунте это уже скоро будет в виде BTRFS с корнями от Оракла, на Sun уже давно радуются ZFS, есть еще NILFS2. И эти три ФС - это исчерпывающий список ФС, которые просто проверяют - не убились ли данные в глючном шнурке SATA, контроллере со стороны SSD или мамы, или где еще.
Моя мысль такая, пока была эпоха HDD поломки - не могли убить слишком очень много данных, слишком коварным способом (это как старые фото - исчезнуть не могут, но выцветают потихоньку). Но в эпоху SSD - все меняется. Можно "бац" и обнаружить, что весь сыр нашпигован меелкими круглыми дырочками.
Но я решение "первого уровня" уже нашел, будет btrfs - буду перелазить на нее (она уже сейчас есть, но пока в последней стадии тестирования).
--------------------
Все проблемы от того, что люди плохо фильтруют базар
|
Asd
Генерал
Зарегистрирован: 05/04/2003
Сообщений: 1768
Нахождение: Гондурас
|
|
ZFS есть на FreeBSD, хотите сделайте себе файл сервер
http://www.freebsd.org/doc/ru/books/handbook/filesystems-zfs.html
|
freemen
Unregistered
|
|
https://wiki.ubuntu.com/ZFS
ZFS is an open source file system, licensed under the CDDL, that is native to Solaris, OpenSolaris, OpenIndiana, FreeBSD, and Debian GNU/kFreeBSD systems.
|
shamanix
Долгожитель
Зарегистрирован: 15/09/2008
Сообщений: 828
Нахождение: Санкт-Петербург
|
|
ZFS при всех ее положительных качествах все же достаточно требовательная к ресурсам.
На 8хКсеоновом серваке с 8 гигами (сейчас 30 гиг)-рам работает идеально.
Ставил на КорКвад 4Gb-рам сервер, сайты с мускулем ложились.
Для файлсервера надо думать короче.
--------------------
Quadratisch. Praktisch. Gut.
|
Mikhail Sukhov
на митинги ходят враги моей страны
Зарегистрирован: 21/02/2010
Сообщений: 605
|
|
В ответ на :
VovaM писал:
В ответ на :
Mikhail Sukhov писал:
1. Формат тут вообще никак не поможет. Если txt файл будет содержать цены 56¤5.56 облегчения вам это не прибавит.
Не знаю как для вас, а для меня "56¤5.56" на пару порядков приятнее в TXT файле, чем в теле какого то проприетарного бинарника.
Из последних историй: 3d party софтина скачки из IQFeed испоганила многогигабайтные тиковые файлы примерно так, кусок из первого (из середины) вписала во второй файл, соотв-щий кусок из второго в третий и тп
Ну и что бы я делал будь это какой то проприетарный формат?
А так ручками, матом и EMEditor ом - разобрался и залатал дыры.
Залатали дыри - через перекачивание данных за весь день? Вот у меня бинарный формат. Если бы побился файл, так же бы перезакачал день (если бы не делал резервные копии). Те же действия, только в случае txt еще морока с размером.
Тут проблема то в организации своей работы, а не формате. У вас все ручками решилась, и у вас тики. Были бы стаканы, считайте, все, потеря навсегда.
Вывод - формат второстепенное. Главное - организация. Резервные данные это помогают сделать. Txt - это само успокоение. Реальной надежности в них как и в бинарном формате. Создавать себе мороку с размером данных ради этого считаю бесперспективным занятием. Но на вкус и цвет, как говорится.
--------------------
Stock# - платформа для торговых роботов и создание торговых роботов.
Редактировано Mikhail Sukhov (25/06/2011 20:55)
|
michaelus
Ветеран
Зарегистрирован: 12/11/2004
Сообщений: 1250
Нахождение: Москва
|
|
Ну а с бинарным форматом морока такая что для того чтобы подредактировать данные или хотя бы посмотреть на них нужно иметь/написать собственную софтину. И чем сложнее структура данных или чем круче она пакуется тем больше сложность программы. Для текстовиков инструмент всегда под рукой: Vim, EmEditor, ...
--------------------
Будьте реалистами - требуйте невозможного. Че Гевара
|
Mikhail Sukhov
на митинги ходят враги моей страны
Зарегистрирован: 21/02/2010
Сообщений: 605
|
|
В ответ на :
michaelus писал:
Ну а с бинарным форматом морока такая что для того чтобы подредактировать данные или хотя бы посмотреть на них нужно иметь/написать собственную софтину. И чем сложнее структура данных или чем круче она пакуется тем больше сложность программы. Для текстовиков инструмент всегда под рукой: Vim, EmEditor, ...
Не скажу за всю Одессу, но в S# она входит стандартно, Гидрой называется. Плюс поддержка со стороны API для ботов. Так что мне никакие редакторы не нужны, тем более что они не ориентированы на маркет данные со всеми вытекающими отсюда недостатками.
--------------------
Stock# - платформа для торговых роботов и создание торговых роботов.
|
VovaM
майор
Зарегистрирован: 20/08/2003
Сообщений: 2421
|
|
После сильного погружения в тему родилось, рекомендую :
http://forex.kbpauk.ru/showflat.php?Cat=0&Number=336974&page=0&vc=1#Post336974
PS Кто пользуется чем то другим - посмотрите внимательно, у 90% бэкап программ, например, нет дельта - версионирования и много чего. В общем в свете SSD проблемы я пока иду по этому пути.
--------------------
Все проблемы от того, что люди плохо фильтруют базар
|
Mikhail Sukhov
на митинги ходят враги моей страны
Зарегистрирован: 21/02/2010
Сообщений: 605
|
|
Спасибо, сейчас как раз исчу что-то из бюджетного варианта. Попробую потестить утилитку на неделе. У меня так же R2.
--------------------
Stock# - платформа для торговых роботов и создание торговых роботов.
|
Poul
Верю в антисоветчину
Зарегистрирован: 05/11/2002
Сообщений: 19189
Нахождение: Москва
|
|
Вов, ты не совсем прав. ВСЕ контроллеры несколько раз сверяют контрольную сумму при записи, ты это легко увидишь в отчетах смарта - и ошибки на шлейфе и ошибки при записи и много ещё какие ошибки, ФС тут ни причем, это действительно низкоуровневая вещь. Надежность ФС в избыточности, а специально её никто не проверяет, кроме специализированных ФС. Ибо грубо - считается что вероятность ошибки исчезающе мала после правильной записи, хотя и там есть CRC верификация. Это ж достаточно общее место в цифровых технологиях, CRC считается даже на потоках Е1. Надежная ФС будет при кривом контроллере помогать тебе дай бог в половине случаев, ибо проблема в некорректной отдаче "дырочек" из твоего сыра. Грубо говоря ты хочешь чтобы корректность работы контроллера проверяла ещё и ФС. А ФС не имеет доступа к низкому уровню и кривой контроллер её точно так же обманет. А циклической проверки нет, ибо - см выше, считается что уже проверенные данные какое-то время существовать будут. Просто я думаю как была и есть ECC оперативка с проверкой четности, будут скоро ССД с допконтролем целостности. Но принципиально ничего не изменится, алгоритмы верификации созданы десятилетиями. Это корсар чето накосячил или ячейки гно
|
VovaM
майор
Зарегистрирован: 20/08/2003
Сообщений: 2421
|
|
В ответ на :
Poul писал:считается что вероятность ошибки исчезающе мала после правильной записи
Вот именно оно.
В парадигме дырка, для электронных носителей (назовем их "динамическими") это не работает.
Но я уверен, ФС с проверкой КС - станут не то что бы распространенными в не-промышленном использовании , а просто единственными.
К сожалению в случае с десктопными Windows это будет явно в последнюю очередь.
Но появилась кое какая идейка, правда не уверен на 100%, Windows NT (2003, 2008, W7 и прочие) с NTFS умеют включать сжатие тома\каталога "на лету" по алгоритму LZ, м.б. они и CRC проверяют в этом режиме?
--------------------
Все проблемы от того, что люди плохо фильтруют базар
|
Poul
Верю в антисоветчину
Зарегистрирован: 05/11/2002
Сообщений: 19189
Нахождение: Москва
|
|
Работает. У ячеек точно так же снимается характеристика 1/0 от времени. С тестированием битых и ненадежных при калибровке, в фоне при перезаписи и т.п. Просто контроллер кривой или у тебя рядом с компом источник проникающего ионизирующего излучения  Очевидно что в этом смысле перспективны избыточные на низком уровне ФС, типа райд5. Но я думаю скорее контроллеры поправят, чем что-то изменят. На оперативку ты ж свою не жалуешься? А там минимум несколько раз в сутки происходят ошибки, просто ты о них не знаешь. Прямая аналогия твоей ситуации - сыпящийся винт. Все может быть прекрасно при записи, а целостность нарушена после. Не исключено что именно брак ячеек имеет место быть в твоем случае, просто контроллер этого не высекает
|
Poul
Верю в антисоветчину
Зарегистрирован: 05/11/2002
Сообщений: 19189
Нахождение: Москва
|
|
Поставил в два макмини ССД, раз уж подешевели, вертекс третьей серии. Вроде запись 450 мб\сек, но чето я этого не ощущаю, внутридисковая перезапись 40 мб\сек, на 30 процентов быстрее чем у винта 7200. У меня правда наверняка SATA - II а не три, но ожиданий было побольше
|
Назад
Индекс
Вперед
ветвями
Правка
Ответ
Цитата
