1 (5 лет 7 месяцев назад)

Тема: Что почитать по теме хранения данных?

Добрый день, форумчане! Может кто-нибудь подскажет, что почитать по теме хранения данных?
Интересуют такие вещи как: СХД, полки, массивы, iSCSI, Fibre Channel, SAS, InfiniBand, отказоустойчивость, LUNы и т.д.

На работе нужно создать хранилище на 50Тб, думаю какое оборудование использовать и стек технологий, но сам в этом зеленоват

2 +1 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

https://habr.com/post/346352/
Есть бюджет для внедрения СХД?

3 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

tcup пишет:

https://habr.com/post/346352/
Есть бюджет для внедрения СХД?

Как это обычно бывает, бюджет совсем небольшой (до 400 тысяч). Но и серьезной надежности от решения не требуется - храниться будут записи с камер наблюдения.

4 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

На такие деньги СХД не купишь. Конечно, тема интересная.
NASы, SASы, полки, iSCSI и подобное остается выбирать

5 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Necrowizard пишет:

Добрый день, форумчане! Может кто-нибудь подскажет, что почитать по теме хранения данных?
Интересуют такие вещи как: СХД, полки, массивы, iSCSI, Fibre Channel, SAS, InfiniBand , отказоустойчивость, LUNы и т.д.

На работе нужно создать хранилище на 50Тб, думаю какое оборудование использовать и стек технологий, но сам в этом зеленоват

HP DELL Lenovo QNAP(это ближе к бюджету)

Fibre Channel InfiniBand  - про это забудь при бюджете в 400

SAS iSCSI - это из разных разделов

читать не надо, надо грамотно поставить задачу продавцу и всё  slightly_smiling_face

Отредактировано Stranger (, 5 лет 7 месяцев назад)

www.neuron.ru

dzen.ru/neuron

В эпоху повсеместной победы дилетантизма всякое проявление высокого профессионализма выглядит архаичным и неправдоподобным

Учитывая глупость большинства людей, широко распространенная точка зрения будет скорее глупа, чем разумна.

6 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Stranger пишет:

читать не надо, надо грамотно поставить задачу продавцу и всё  slightly_smiling_face

иные продавцы такого насоветуютъ - жизни не хватит разгрести  worried
у ТС просто похвальное желание быть в "теме"

1. резерва нет
2. резерв только в теме

Умелое владение напильником позволяет сделать самолёт из любого паровоза wink

7 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Да купи б/у схд eon stor например, они есть на iscsi и на fb
Дисков на 16-24 по деньгам недорого встанет если на лохито смотреть от 15 до 50
Ну и винты по 4 тб обычные сата для видеонаблюдения пойдет, там и 3 мб/с хватит даже без дуплекса
В 100 тыр можно попробовать залезть, типа сначала 4-6 винтов, через месяц наприме исчо и пока ее не забьешь полностью

8 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

vl-a пишет:
Stranger пишет:

читать не надо, надо грамотно поставить задачу продавцу и всё  slightly_smiling_face

иные продавцы такого насоветуютъ - жизни не хватит разгрести  worried
у ТС просто похвальное желание быть в "теме"

в теме за 10 минут не окажешься  smile

Hanks пишет:

Да купи б/у схд eon stor например, они есть на iscsi и на fb
Дисков на 16-24 по деньгам недорого встанет если на лохито смотреть от 15 до 50
Ну и винты по 4 тб обычные сата для видеонаблюдения пойдет, там и 3 мб/с хватит даже без дуплекса
В 100 тыр можно попробовать залезть, типа сначала 4-6 винтов, через месяц наприме исчо и пока ее не забьешь полностью

а потом когда это навернётся всё приходи к нам чтобы восстановить инфу, тысяч в 70-100 уложишься ага  laughing

Отредактировано (, 5 лет 7 месяцев назад)

www.neuron.ru

dzen.ru/neuron

В эпоху повсеместной победы дилетантизма всякое проявление высокого профессионализма выглядит архаичным и неправдоподобным

Учитывая глупость большинства людей, широко распространенная точка зрения будет скорее глупа, чем разумна.

9 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Я вот уже грешным делом подумывал напихать винтов в старый сервер, поставить FreeNAS, запилить ZFS и по iSCSI отдать видеосерверу. Запись там неспешная, мегабит 200/сек, надежность не нужна 100%, записи надобятся редко

10 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Necrowizard пишет:

Я вот уже грешным делом подумывал напихать винтов в старый сервер, поставить FreeNAS, запилить ZFS и по iSCSI отдать видеосерверу. Запись там неспешная, мегабит 200/сек, надежность не нужна 100%, записи надобятся редко

проще регистратор купить

www.neuron.ru

dzen.ru/neuron

В эпоху повсеместной победы дилетантизма всякое проявление высокого профессионализма выглядит архаичным и неправдоподобным

Учитывая глупость большинства людей, широко распространенная точка зрения будет скорее глупа, чем разумна.

11 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Necrowizard,
- цели/задачи с короми должен справлять массив
- бюджет на СХД
- бюджет на Диски
- масштабируемость 2-3-4-10-?? полок по 12/24 диска
- скорость или IOPS

исходя из этого могу вам подобрать СХД или же Сервер с 25 дисками

tcup, 400т легко
например старые MSA P2000 G3 FC без саппорта, но он будет стоить  250-280, SAS сервии дешевле, iSCSI+FC дороже, с прошивками помогу, так же настроить могу


сервер HP DL180 G6 25 Винтов RAID P410i 512m ( можно или нужно 1гб) будет около 90т стоить винты так же + салазки, да сервер не новый но это все же сервер, гарантия  3 мес, можно расширить до 1-2-3 лет, за это доплата

Necrowizard,

Necrowizard пишет:

Я вот уже грешным делом подумывал напихать винтов в старый сервер, поставить FreeNAS, запилить ZFS и по iSCSI отдать видеосерверу. Запись там неспешная, мегабит 200/сек, надежность не нужна 100%, записи надобятся редко

рекомендую для этого купить сервер, а не СХД  потом можно расширить используя SAS HBA контроллер P810e и подключив MSA D2600  или еще более дешевый MSA 70

у нас используется DL180 G6 25HDD 25xRAID0 на видео сервер, поток на первом сетевом интерфейсе 90мб\с с регистратором и IP камер, чтение по второму интерфейсу 30-40 (просмтр камер)

Stranger пишет:

проще регистратор купить

регистратор хорош только как первичный центр сбора, тк если там сдох диск об этом узнаешь когда будешь искать архив...

правильнее регистратор хранит у себя на 4 или 6Тб и пересылает копию на сервер.

Отредактировано CrashX (, 5 лет 7 месяцев назад)

12 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

вы учитывайте что это все под архив, причем под видео... а не ежедневное использование данных с большим количеством обращений... в 400 реально влезти

13 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

AleXiN, тем более что если сдохнет винт то никто особо не расстроиться что потеряли 1-2 дня на 4-8 камерах,
ну это если каждый винт будет сам по себе, а если в массиве то тут надо 100 раз подумать, тк перестроение массива того же RAID5 на 12 дисках по 4Tb это 3-4 дня, а под такой нагрузкой до 6 дней и шанс падения всего массива крайне велик

про raid6 ADG отдельно стоит говорить, могу многое рассказать, у меня он на массиве 12x4 (40Tb) 12x1.2 (12Tb) 8x1Tb (5.9Tb) 6x1Tb (3.9Tb)

Отредактировано CrashX (, 5 лет 7 месяцев назад)

14 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

CrashX пишет:

регистратор хорош только как первичный центр сбора, тк если там сдох диск об этом узнаешь когда будешь искать архив..

да с чего бы, сразу и узнаешь  laughing  ты отстал от прогресса и сильно

CrashX пишет:

тем более что если сдохнет винт то никто особо не расстроиться что потеряли 1-2 дня на 4-8 камерах,

ещё одна фантазия, ещё как могут расстроиться, например тысяч на 100  laughing

ну и дальше в том же духе, поверхностные знания, неглубокие рассуждения  slightly_smiling_face

www.neuron.ru

dzen.ru/neuron

В эпоху повсеместной победы дилетантизма всякое проявление высокого профессионализма выглядит архаичным и неправдоподобным

Учитывая глупость большинства людей, широко распространенная точка зрения будет скорее глупа, чем разумна.

15 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Stranger, ТС сказал что данные не сильно важны
отсюда вывод

Stranger пишет:

да с чего бы, сразу и узнаешь  laughing  ты отстал от прогресса и сильно

у нас есть регистраторы, там 2 hdd могут стоять, но сама надежность так себе, хотя работают пока без проблем
но 2 hdd намекают что поток с 24 камер их убьет

Отредактировано (, 5 лет 7 месяцев назад)

16 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

CrashX пишет:

Stranger, ТС сказал что данные не сильно важны
отсюда вывод

Stranger пишет:

да с чего бы, сразу и узнаешь  laughing  ты отстал от прогресса и сильно

у нас есть регистраторы, там 2 hdd могут стоять, но сама надежность так себе, хотя работают пока без проблем
но 2 hdd намекают что поток с 24 камер их убьет

если данные не важны то зачем вообще всё?

я рад что у вас есть регистраторы  laughing  laughing   но это не значит ничего

www.neuron.ru

dzen.ru/neuron

В эпоху повсеместной победы дилетантизма всякое проявление высокого профессионализма выглядит архаичным и неправдоподобным

Учитывая глупость большинства людей, широко распространенная точка зрения будет скорее глупа, чем разумна.

17 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Stranger пишет:

если данные не важны то зачем вообще всё?

вопрос важности записей и архива при имеющейся охране вторичный момент

в случае выхода из строя диска из пула, ничего страшного не произойдет, около 4 камер потеряют данные за 2-3 дня, не более того, точнее непонятно какие камеры и какой период тк ПО само решает где что и как храниться, можно лишь заставить хранить некоторые данные резервно ( что у нас и делается 48 часов в резерве, остальное нет), и после выхода из строя диска придет оповещение в виде СМС и письмо на саппорт (корп почту) которые увидят и диск заменят

18 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

CrashX пишет:
Stranger пишет:

если данные не важны то зачем вообще всё?

вопрос важности записей и архива при имеющейся охране вторичный момент

в случае выхода из строя диска из пула, ничего страшного не произойдет, около 4 камер потеряют данные за 2-3 дня, не более того, точнее непонятно какие камеры и какой период тк ПО само решает где что и как храниться, можно лишь заставить хранить некоторые данные резервно ( что у нас и делается 48 часов в резерве, остальное нет), и после выхода из строя диска придет оповещение в виде СМС и письмо на саппорт (корп почту) которые увидят и диск заменят

уважаемый теоретик, последний пример, магазин потерял данные с ОДНОЙ камеры за ОДИН день,
в результате роспотребнадзор нагрел на 80 тысяч рублей  laughing

я уже давно пытаюсь пользователям показать что ваш "опыт" это ваше частное небольшое приобретённое,
то что пытаюсь втолковать вам Я это СТАТИСТИКА собранная за МНОГО лет с МНОГИХ таких как вы  laughing  laughing  laughing

www.neuron.ru

dzen.ru/neuron

В эпоху повсеместной победы дилетантизма всякое проявление высокого профессионализма выглядит архаичным и неправдоподобным

Учитывая глупость большинства людей, широко распространенная точка зрения будет скорее глупа, чем разумна.

19 +1 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Кто тут спорит с Богом?

-20 % на iHerb.

20 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Stranger, вы понимаете важность видеонаблюдения скажем завода ?

еще раз повторю, даже у нас есть четкий регламент где что и как работает
например

- зоны погрузки/разгрузки и некоторые технические помещения 14 дней - гарантированного хранение
- выгрузка привелегированных каналов на отдельный сервер и хранение данных там в течении 48 часов ( как раз тот самый случай когда диск сломался, и если поставить новый диск то реплика вернется в основное хранилище
-  так же есть видео регистраторы которые имеют диски и хранят копии данных

вывод мы полностью защищены, но все эта сеть имеет ряд проблем, и сложный мониторинг, - но это уже другая песня который занимается система мониторинга 1 следит за железом, 2 фирменная тулза от HP SIM, так что алерт прилетит на дашборд мгновенно.



магазин же должен озаботиться гарантированным хранением в течении минимум 45 дней, или больше точно уже не помню закон
а значит нужно создать сжатое хранилище, на котором будет изменен видео ряд ( сжатие с удалением череды вертикальных строк, по вашему разрешение, но по факту картинка не сильно страдает при удалении 15-20%, еще если ПО мощное можно убрать статические сцены и записывать только сегментарно (только район движения)

но обычно НОРМАЛЬНЫЕ магазиные делают так
стоят камеры с видео регистратором там от 2 до 4 дисков, они дублирую данные на сервер хранения, сервер хранения, выгружает данные на пост охраны/безопасника на указанный период, обычно около 7 дней


а глупые магазины так
ставят камеры с SD картами и потом с камер пишут на какой нибудь QNAP

21 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

DaiveR пишет:

Кто тут спорит с Богом?

да статистика это бог

особенно для тех кто мысли на одну "итерацию"  laughing  laughing

www.neuron.ru

dzen.ru/neuron

В эпоху повсеместной победы дилетантизма всякое проявление высокого профессионализма выглядит архаичным и неправдоподобным

Учитывая глупость большинства людей, широко распространенная точка зрения будет скорее глупа, чем разумна.

22 +1 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Stranger пишет:
DaiveR пишет:

Кто тут спорит с Богом?

да статистика это бог

особенно для тех кто мысли на одну "итерацию"  laughing  laughing

Ты прав, о Великий!

-20 % на iHerb.

23 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

Stranger пишет:

я уже давно пытаюсь пользователям показать что ваш "опыт" это ваше частное небольшое приобретённое,

тут согласен, опыт классная вещь, только дорого берет


вопрос важности мне объяснять ненадо, но ТС указал что неважно, а значит можно потерять данные и не организовывать дублирование

24 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

У нас стоит Securos, пишет данные с 60 камер, раздает видео на несколько постов, все абсолютно довольны. Просто камер будет больше, и количество дней хранения тоже надо увеличить. Вряд-ли регистратор справится со всем нашим зоопарком камер.
Насчет хранения, если каждый винт отдавать на сервер отдельно, то это абсолютно нормальная ситуация, пусть сдохнет 10% записей, которые все равно через месяц бы перезаписались, зато остальные продолжат работу без проверки, пересборки и т.д.

Отредактировано Necrowizard (, 5 лет 7 месяцев назад)

25 (5 лет 7 месяцев назад)

Re: Что почитать по теме хранения данных?

CrashX пишет:
Stranger пишет:

я уже давно пытаюсь пользователям показать что ваш "опыт" это ваше частное небольшое приобретённое,

тут согласен, опыт классная вещь, только дорого берет


вопрос важности мне объяснять ненадо, но ТС указал что неважно, а значит можно потерять данные и не организовывать дублирование

если информация не важна = не нужна, то зачем её хранить? зачем тратить деньги на её хранение?

есть такая штука ЗДРАВЫЙ СМЫСЛ очень полезная, или в полутехах её отшибают напрочь?  laughing  laughing

www.neuron.ru

dzen.ru/neuron

В эпоху повсеместной победы дилетантизма всякое проявление высокого профессионализма выглядит архаичным и неправдоподобным

Учитывая глупость большинства людей, широко распространенная точка зрения будет скорее глупа, чем разумна.