Добрый день, форумчане! Может кто-нибудь подскажет, что почитать по теме хранения данных? Интересуют такие вещи как: СХД, полки, массивы, iSCSI, Fibre Channel, SAS, InfiniBand, отказоустойчивость, LUNы и т.д.
На работе нужно создать хранилище на 50Тб, думаю какое оборудование использовать и стек технологий, но сам в этом зеленоват
Как это обычно бывает, бюджет совсем небольшой (до 400 тысяч). Но и серьезной надежности от решения не требуется - храниться будут записи с камер наблюдения.
Добрый день, форумчане! Может кто-нибудь подскажет, что почитать по теме хранения данных? Интересуют такие вещи как: СХД, полки, массивы, iSCSI, Fibre Channel, SAS, InfiniBand , отказоустойчивость, LUNы и т.д.
На работе нужно создать хранилище на 50Тб, думаю какое оборудование использовать и стек технологий, но сам в этом зеленоват
HP DELL Lenovo QNAP(это ближе к бюджету)
Fibre Channel InfiniBand - про это забудь при бюджете в 400
SAS iSCSI - это из разных разделов
читать не надо, надо грамотно поставить задачу продавцу и всё
Отредактировано Stranger (, 5 лет 7 месяцев назад)
Да купи б/у схд eon stor например, они есть на iscsi и на fb Дисков на 16-24 по деньгам недорого встанет если на лохито смотреть от 15 до 50 Ну и винты по 4 тб обычные сата для видеонаблюдения пойдет, там и 3 мб/с хватит даже без дуплекса В 100 тыр можно попробовать залезть, типа сначала 4-6 винтов, через месяц наприме исчо и пока ее не забьешь полностью
читать не надо, надо грамотно поставить задачу продавцу и всё
иные продавцы такого насоветуютъ - жизни не хватит разгрести у ТС просто похвальное желание быть в "теме"
в теме за 10 минут не окажешься
Hanks пишет:
Да купи б/у схд eon stor например, они есть на iscsi и на fb Дисков на 16-24 по деньгам недорого встанет если на лохито смотреть от 15 до 50 Ну и винты по 4 тб обычные сата для видеонаблюдения пойдет, там и 3 мб/с хватит даже без дуплекса В 100 тыр можно попробовать залезть, типа сначала 4-6 винтов, через месяц наприме исчо и пока ее не забьешь полностью
а потом когда это навернётся всё приходи к нам чтобы восстановить инфу, тысяч в 70-100 уложишься ага
Я вот уже грешным делом подумывал напихать винтов в старый сервер, поставить FreeNAS, запилить ZFS и по iSCSI отдать видеосерверу. Запись там неспешная, мегабит 200/сек, надежность не нужна 100%, записи надобятся редко
Я вот уже грешным делом подумывал напихать винтов в старый сервер, поставить FreeNAS, запилить ZFS и по iSCSI отдать видеосерверу. Запись там неспешная, мегабит 200/сек, надежность не нужна 100%, записи надобятся редко
Necrowizard, - цели/задачи с короми должен справлять массив - бюджет на СХД - бюджет на Диски - масштабируемость 2-3-4-10-?? полок по 12/24 диска - скорость или IOPS
исходя из этого могу вам подобрать СХД или же Сервер с 25 дисками
tcup, 400т легко например старые MSA P2000 G3 FC без саппорта, но он будет стоить 250-280, SAS сервии дешевле, iSCSI+FC дороже, с прошивками помогу, так же настроить могу
сервер HP DL180 G6 25 Винтов RAID P410i 512m ( можно или нужно 1гб) будет около 90т стоить винты так же + салазки, да сервер не новый но это все же сервер, гарантия 3 мес, можно расширить до 1-2-3 лет, за это доплата
Necrowizard,
Necrowizard пишет:
Я вот уже грешным делом подумывал напихать винтов в старый сервер, поставить FreeNAS, запилить ZFS и по iSCSI отдать видеосерверу. Запись там неспешная, мегабит 200/сек, надежность не нужна 100%, записи надобятся редко
рекомендую для этого купить сервер, а не СХД потом можно расширить используя SAS HBA контроллер P810e и подключив MSA D2600 или еще более дешевый MSA 70
у нас используется DL180 G6 25HDD 25xRAID0 на видео сервер, поток на первом сетевом интерфейсе 90мб\с с регистратором и IP камер, чтение по второму интерфейсу 30-40 (просмтр камер)
Stranger пишет:
проще регистратор купить
регистратор хорош только как первичный центр сбора, тк если там сдох диск об этом узнаешь когда будешь искать архив...
правильнее регистратор хранит у себя на 4 или 6Тб и пересылает копию на сервер.
AleXiN, тем более что если сдохнет винт то никто особо не расстроиться что потеряли 1-2 дня на 4-8 камерах, ну это если каждый винт будет сам по себе, а если в массиве то тут надо 100 раз подумать, тк перестроение массива того же RAID5 на 12 дисках по 4Tb это 3-4 дня, а под такой нагрузкой до 6 дней и шанс падения всего массива крайне велик
про raid6 ADG отдельно стоит говорить, могу многое рассказать, у меня он на массиве 12x4 (40Tb) 12x1.2 (12Tb) 8x1Tb (5.9Tb) 6x1Tb (3.9Tb)
Stranger, ТС сказал что данные не сильно важны отсюда вывод
Stranger пишет:
да с чего бы, сразу и узнаешь ты отстал от прогресса и сильно
у нас есть регистраторы, там 2 hdd могут стоять, но сама надежность так себе, хотя работают пока без проблем но 2 hdd намекают что поток с 24 камер их убьет
Stranger, ТС сказал что данные не сильно важны отсюда вывод
Stranger пишет:
да с чего бы, сразу и узнаешь ты отстал от прогресса и сильно
у нас есть регистраторы, там 2 hdd могут стоять, но сама надежность так себе, хотя работают пока без проблем но 2 hdd намекают что поток с 24 камер их убьет
если данные не важны то зачем вообще всё?
я рад что у вас есть регистраторы но это не значит ничего
вопрос важности записей и архива при имеющейся охране вторичный момент
в случае выхода из строя диска из пула, ничего страшного не произойдет, около 4 камер потеряют данные за 2-3 дня, не более того, точнее непонятно какие камеры и какой период тк ПО само решает где что и как храниться, можно лишь заставить хранить некоторые данные резервно ( что у нас и делается 48 часов в резерве, остальное нет), и после выхода из строя диска придет оповещение в виде СМС и письмо на саппорт (корп почту) которые увидят и диск заменят
вопрос важности записей и архива при имеющейся охране вторичный момент
в случае выхода из строя диска из пула, ничего страшного не произойдет, около 4 камер потеряют данные за 2-3 дня, не более того, точнее непонятно какие камеры и какой период тк ПО само решает где что и как храниться, можно лишь заставить хранить некоторые данные резервно ( что у нас и делается 48 часов в резерве, остальное нет), и после выхода из строя диска придет оповещение в виде СМС и письмо на саппорт (корп почту) которые увидят и диск заменят
уважаемый теоретик, последний пример, магазин потерял данные с ОДНОЙ камеры за ОДИН день, в результате роспотребнадзор нагрел на 80 тысяч рублей
я уже давно пытаюсь пользователям показать что ваш "опыт" это ваше частное небольшое приобретённое, то что пытаюсь втолковать вам Я это СТАТИСТИКА собранная за МНОГО лет с МНОГИХ таких как вы
Stranger, вы понимаете важность видеонаблюдения скажем завода ?
еще раз повторю, даже у нас есть четкий регламент где что и как работает например
- зоны погрузки/разгрузки и некоторые технические помещения 14 дней - гарантированного хранение - выгрузка привелегированных каналов на отдельный сервер и хранение данных там в течении 48 часов ( как раз тот самый случай когда диск сломался, и если поставить новый диск то реплика вернется в основное хранилище - так же есть видео регистраторы которые имеют диски и хранят копии данных
вывод мы полностью защищены, но все эта сеть имеет ряд проблем, и сложный мониторинг, - но это уже другая песня который занимается система мониторинга 1 следит за железом, 2 фирменная тулза от HP SIM, так что алерт прилетит на дашборд мгновенно.
магазин же должен озаботиться гарантированным хранением в течении минимум 45 дней, или больше точно уже не помню закон а значит нужно создать сжатое хранилище, на котором будет изменен видео ряд ( сжатие с удалением череды вертикальных строк, по вашему разрешение, но по факту картинка не сильно страдает при удалении 15-20%, еще если ПО мощное можно убрать статические сцены и записывать только сегментарно (только район движения)
но обычно НОРМАЛЬНЫЕ магазиные делают так стоят камеры с видео регистратором там от 2 до 4 дисков, они дублирую данные на сервер хранения, сервер хранения, выгружает данные на пост охраны/безопасника на указанный период, обычно около 7 дней
а глупые магазины так ставят камеры с SD картами и потом с камер пишут на какой нибудь QNAP
У нас стоит Securos, пишет данные с 60 камер, раздает видео на несколько постов, все абсолютно довольны. Просто камер будет больше, и количество дней хранения тоже надо увеличить. Вряд-ли регистратор справится со всем нашим зоопарком камер. Насчет хранения, если каждый винт отдавать на сервер отдельно, то это абсолютно нормальная ситуация, пусть сдохнет 10% записей, которые все равно через месяц бы перезаписались, зато остальные продолжат работу без проверки, пересборки и т.д.
Отредактировано Necrowizard (, 5 лет 7 месяцев назад)