哈喽,小伙伴们大家好,又一次和大家分享知识和经历的时候到了,在过去长达一年的时间里,大家经受了疫情的考验,希望各个小伙伴们安好,相信小伙伴们生活和日常都经历了不少变化,尤其还在影视后期行业的小伙伴们,相信这是个难忘的经历。在疫情来临的这个艰难时期很多同仁选择了迎难而上进行创业。这里给大家分享一个20人内后期特效公司创业的网络搭建案例。一个新团队面临很多需要解决,最重要的是规划,上到团队发展,下到每个的规划发展,都回影响团队发展,团队建设我相信小伙伴们或多或少都有一些经验,在这里就不过多叙述。但是从td和it的硬件与软件保障这方面相信小伙伴们回多少点茫然,很多从业这都会遇到这样的观点,有个电脑,装上软件能跑就能做东西了,这些是很多新团队的疼点之一,新的团队可不可以更有预见性,除了吸收现有的行业制作规范与经验,还能不能更进一步,更加专业化,流程化,标准化,而这些要求往往不是一个因素构成,软件和硬件,人员和理念,多种因素共同的构成,才能达成,那么从硬件及网络的构建我们可以怎么做,我们进行了很多尝试。在的后期制作中日常打交到最多的就是手中的电脑,个人制作的时期只需要管理好自己的电脑就行,在团队工作的环境中,更多的是需求一致性,协调性,通用性,考虑的出发点已经不再是单单的个人需求,更多的是团队整体的诉求。我们先罗列不同阶段人员,配置,工作方式的对比,为了方便直观我们用对比图表的方式进行表述,

个人外包时期起步时期团队协作时期部门协作
个人工作方式多人协作同部门多人协作多部门协作
1-2两台电脑本地硬盘制作 2-5台电脑组建局域网本地硬盘制作4-8台电脑本地局域网本地硬盘制作5-10台电脑本地局域网本地硬盘制作
个人需环节配合偶交换素材工程或打包涉及多环节多人多阶段配合来交换 素材中间格式,制作工程涉及多环节多人多阶段配合来交换 素材中间格式,制作工程,
偶尔交换素材工程移动硬盘U盘拷贝即可移动硬盘U盘进行拷贝传输或内网传输文件会花掉一定时间移动硬盘U盘进行拷贝传输或内网通传输文件会花掉相对多的时间共享本地硬盘开启共享制作移动硬盘U盘进行拷贝传输或内网传输文件会花掉相对多的时间组建小型集中存储,比如16T,大硬盘,阵列盒,nas,

看完这个对比相信有经历的小伙伴会深有同感,从这个对比之中我们能明显的看到,随着发展,人员的增多,硬件增加,组织开始多样化,最明显的成本也在急剧提升,而且工作组织方式也开始发生变化,如何高效的把这些制作人员聚合在一起,降低工作成本,提升优化工作效率,这个才是最终的目的。

面对这样一个不断再发展前进的团队,结合我们经历分享给小伙伴们一些我们总结的预案。预案分为网络搭建,中央存储构建。关于工作电脑我们这已经再收集数据,进行整理了,之后也会分享给各位小伙伴的。

网络搭建篇

这里的网络指在工作团队内快速搭建局域网,进行团队协同工作,提升沟通效率,优化工作效率。

现在大部分主流采用的是千兆传输,也有部分采用光纤网络来谋求更高的传输交换速度。

千兆网络

千兆网络指的是1000Mb/S,理论上的峰值是除以8,也就是128M/S,硬盘读写指的是几百MB/S。而1MB=8Mb,从理论上来看二者是接近的,所以从理论上来推断,在标准情况下,通过千兆网络工作和从本地硬盘读取写入文件速度一致。下图为网络速度为千兆。

因为要实现千兆网络,要交换机,网卡等所有硬件都要达到千兆规格,而且受到耗损等影响,经常能得到的实际速度一般在100-120MB/s这个区间范围。

具体需要的硬件为千兆交换机,网线。

这里网线推荐使用六类类和超五类网线,可提供更大的带宽。不过有想法的小伙伴想后续升级网络,可以一部到位超六类或七类网线,为后期升级万兆网络预留空间

交换机这里就根据实际接入网络设备来判断了,市面上常见的有5/8/16/24口交换机,就很具使用经历来看,质量最过硬的是华为,其它的还有华三,tp,铁壳等等,各位小伙伴可以根据实际需求来进行购买。下图为不同接口的一个参数对比。

统一IP进行分配管这里有两种方案,固定iP地址和动态iP,这里采取是是固定ip方案,采取这种方案的原因是为了统一链接存储和搭建deadline渲染网络,以及后期一些软件的使用。这推荐小伙伴们提前对IP的使用进行规划和分配,来避免后续升级产生的一些问题。

万兆/光纤网络不在本次讨论之中(主要是我都没摸过)。中央存储篇中央存储的目的是在于解决多人协同、网络化集中管理、数据拷贝时间等方面组织构架发展过程所产生的解决方案。在此基础上针对不同行业,衍生出了不同版本的解决方案。这里就后期影视制作方案来进行分享。在此之前我们先明确一个概念,数据也是有成本的,其成本源于,存储硬件,存放空间把数据存储在独立硬盘之中,存放在单独的存放室,日常维护,硬件,场地,而且常常购置硬件的价值更直接体现在价值上,而数据在体现在恢复的价格上,按照G收费,一个项目现在都是轻轻松松上T,所以一定要平衡数据的成本。早期团队有5-6个人,这里面临的问题,常见的的配置是500G固态+2T的机械硬盘,现在后期制作的mov和序列,如果要在每个电脑存放一份,进行制作,很快2T的存储资源被耗尽,那么需要每台电脑添加硬盘空间,2021年初,矿潮,猝。所以面对内部与外部的环境,需要电脑存储资源整合在一起,进行局域网共享操作,按照这个思路展开与调整,我们进了一款号称硬盘杀手的奥睿科阵列盒,五盘位,4块4T硬盘,组建了16T存储空间,(没错raid0,裸跑,在疫,没出问题,赌赢了)还有一块西数8T的企业硬盘(目的是两个盘错开使用,万一出错还有另一个盘用)随着人员的增加和制作内容的增加,合成读取量大,数据交换没有负载均衡,容易拥堵,卡顿,阵列负担加大,所以有新的调整方案Raid阵列详细解释具体可以查看词条阵列是由多块独立硬盘,叠加组合成的巨大硬盘,用叠加来提高读取速度。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。硬盘阵列还能利用同位检查(Parity Check)的观念,当数组中任意一个硬盘发生故障时,仍可读出数据。在数据重构时,可将数据经计算后重新置入新硬盘中。同样随着技术的发展阵列技术也分为软件RAID和硬件RAID,两种有各自的优势。使用基于主机的软件提供RAID功能,是在操作系统级上实现的,与硬件RAID相比,软件RAID具有成本低廉和简单直观的优点。但是,软件RAID有不足。整体依靠主机的性能和软件环境构建,软件RAID会影响系统整体性能,需要对软件RAID或操作系统升级进行兼容性验证。硬件RAID独立的硬件设备,在硬盘出故障时重新生成数据。这里心态的转变,越来越转专业的设备的运行与维护,如果非专业人员做日常维护,也许都可以做的不错,但是一但出现问题,那就需要专业能力的人去做,专业的话,意味着有多种方案,专门配置有配套服务,保修,上门服务,解放团队的人力,把精力集中在制作上,但是缺点也很明显成本上升,这些就看小伙伴们如何取舍,数据和成本永远是相被而行的两端。raid卡阵列  4t 16t rad0 面对人群,10-15,兼顾合成,一定量的渲染,raid构建在服务器上,阵列卡带宽达到3G,配合千兆的读取,负载均衡,但是缺点依旧明显,需要有足够的知识和动手能力支撑和维护,这个方案很快被替换掉了,替换的原因是其中一块硬盘因为三维不停机的长时间渲染,扇区出现坏道,无法检修,硬盘阵列无法恢复,于是准备更加专业中央存储系统。我们再次罗列一下对比

多人协作同部门多人协作多部门协作多项目同步进行
局域网共享硬盘阵列盒子构建本地共享磁盘8口千兆交换机阵列盒子构建本地共享磁盘8-16口千兆交换机阵列盒子8-12盘位nas存储存储空间33T-76T构建本地中央存储16-32口千兆交换机,光纤万兆主干12-24盘位nas存储存储空间76T-150T
101515-20人35-40人

硬盘传输速度

普通大众日常使用例如西数蓝盘希捷酷狼

1、机械硬盘读写速度平均60-80M每秒。

2、固态硬盘不同品牌型号之间,平均大约在150-300M每秒。

3、5400转的笔记本硬盘:50-90MB每秒。

4、7200转的台式机硬盘:90-190MB每秒。

5、固态硬盘的读写速度可以达到500MB/s。

专门的企业

ATA最新的接口标准读写速率最大为133MB/s 一般为100M

SATA一代读写速率最大为150MB/s

SATA二代最大为300MB/s

SCSI读写速率最大为320MB/s

实际使用速度

日常硬盘 2T-4T 120M

企业 西数8t 氦盘为例日常260M

这是一些我们从网上收集整理的一些直观数据,有是一次权衡利弊的时刻,企业硬盘与个人用户硬盘的区别在哪?性能硬件我们就不讨论了百度可得。稳定,售后,质保,这些材是最重要的,数据出了问题,有能提供支持和解决的人,赌不赌看脸。

对于存储我们有幸拿到北京智慧仓存储技术有限公司(以下简称京存的一些硬件数据来做参考。

(感谢京存供的数据对比)

8盘位方案12盘位方案24盘位方案48盘位方案
单盘大小根据实际需要容量选择,支持STAT,SAS混插,支持热插拔单盘大小根据实际需要容量选择,支持STAT,SAS混插,支持热插拔单盘大小根据实际需要容量选择,支持STAT,SAS混插,支持热插拔单盘大小根据实际需要容量选择,支持STAT,SAS混插,支持热插拔
总带宽1.4GB/S总带宽2GB/S带宽4GB/S总带宽8GB/S
 /支持固态缓存加速卡,保证线上制作流畅支持固态缓存加速卡,保证线上制作流畅支持固态缓存加速卡,保证线上制作流畅
三年原厂质保服务。三年原厂质保服务。三年原厂质保服务。三年原厂质保服务。
1+1 冗余电源1+1 冗余电源1+1 冗余电源1+1 冗余电源
1.本次项目含上门安装服务,磁盘阵列及硬盘质保三年。2.提供7*24小时电话支持,2小时电话响应。技术服务电话时间:每周一至周日,每天24小时,节假日照常。3.电话回访次数:每年4次:在设备安装完毕、安装使用后3个月回访、安装使用后6个月和一年后分4个时段进行回访,询问客户使用情况。4.负责为用户提供产品安装及使用培训。5.保修期内:免费安装,维修,更换任何正常使用损坏的部件

采用中央存储后:

1. 高效率。采用中央存储后,素材拷贝减少,直接在线上制作,节省了大量素材拷贝时间,是多人制作团队的标配。

高性能。业务运行不卡顿。采用同样数量硬盘时,京存中央存储可达16GB/S,满足制作过程不卡顿。

具有SSD加速功能,多人在线剪辑时拖动时间线不卡顿;提高多机集群渲染随机IO性能,运行流畅,制作和渲染可以同时运行。

扩展性:未来即可采用纵向扩展,也可采用横向扩展,满足未来容量和性能需求。

加入AD域后,可实现市场上最丰富的用户权限管理。

对于重要的输出数据,可以设置写入后不可删除功能,以保证重要数据成果的安全。同时有回收站和审计(记录何时何人删除哪个文件)快照等数据保护功能,可以保留历史任意时间的数据不丢失。

针对市场的蠕虫病毒、黑客、木马的攻击,可以有效进行病毒隔离,防止病毒的扩散及数据的找回。

具有远程拷贝功能,可实现用户数据的定时和实时备份。另外,本系统采用机架式和Unix操作系统,具有稳定可靠的特点。同时具有数据压缩和快速拷贝等功能。这次的分享是有充足的案例保障,和数据支持。

通过这个对比我们看到这配置可以满足各位小伙伴不同时期的不同发展需求,就看各位小伙伴们如何让取舍,对于选择硬件供应有几个重要的参考条件,在你数据出现问题的时候,能不能及时响应,帮助排查问题,甚至上门维修,不影响正常项目的推进与制作,

这和要对带宽这个事情单独解释一些,网络带宽是指在单位时间(一般指的是1秒钟)内能传输的数据量。网络和高速公路类似,带宽越大,就类似高速公路的车道越多,其通行能力越强。实际应用中,我们是在千兆网络中,所有用户单独带宽是120M/s,我们不可能所有用户瞬时都达到满速,所以我们都会添加一个余量的方式来计算。所以8盘位达的带宽1.4Gb/s可以满足多人11-18个的制作需求,12盘位的2GB可以满足17-25人的制作需求,24盘位的4GB可以34-52人的制作需求,这是一个经验的推断,这个是考虑制作人员在同盘位制作的情况下,还有一种三维渲染同时使用,在三维渲染的情况下,每个一个渲染节点就相当于一个用户,要固定分走一定带宽,所以我们考虑整体搭配,不单是从人员配置来看,还需要从接入硬件来看,就比如你有10台日常制作电脑,8个渲染节点,那么对于存储来说他的用户是18个,而且这个8个渲染用户会一直不停的读取写入,占用着带宽。所以也要合理分配网络带宽。

至此小伙伴们对于搭建一个工作室的存储工作网络应该都有一个清晰明确的概念了,剩下的就是小伙伴的取舍了。这次分享就到这里了,后续我们还会去做更多尝试,并且会把这些尝试记录下来,分享给各位小伙伴,帮助各位小伙伴一起成长。