【招商主管QQ35497】凤凰联盟二号站官网平台【QQ35497】专注2号站指定招商主管咨询,2号站5G信息化行业新闻,是2号站登录测速指定站,关注收藏2号站官网平台注册登录链接。

二号站登录测速精简的神经网络,更擅长计算加密数据

2号站登录测速 2号站登录测速 2周前 (07-22) 10次浏览

二号站登录测速

在第 38 届机器学习国际会议 (ICML 21) 上,纽约大学坦登工程学院纽约大学网络安全中心的研究人员,揭示了对驱动神经网络推理能力的基本功能的新见解。

在论文“ DeepReDuce: ReLU Reduction for Fast Private Inference ”中,该团队专注于线性和非线性算子,这是神经网络框架的关键特征,根据操作的不同,会在时间和计算资源上造成大量损失。

二号站登录测速精简的神经网络,更擅长计算加密数据

当神经网络对加密数据进行计算时,二号站登陆测速链接中许多成本是由校正线性激活函数 (ReLU) 产生的,这是一种非线性操作。

Brandon Reagen,计算机科学与工程和电气与计算机工程教授,以及包括南丹·库马尔·贾(Nandan Kumar Jha)博士在内的合作者团队 在 Siddharth Garg 的指导下,前博士生 Zahra Ghodsi 开发了一个名为 DeepReDuce 的框架。它通过重新排列和减少神经网络中的 ReLU 来提供解决方案。

二号站登录测速精简的神经网络,更擅长计算加密数据

这种转变需要从根本上重新评估神经网络系统中分布的组件的位置和数量。

首先要做的是重新思考神经网络的设计方式,跳过大量这些耗时且计算成本高的 ReLU 操作,并且仍然以 2 到 4 倍的运行时间获得高性能网络。

该团队发现,与最先进的私人推理相比,DeepReDuc 提高了准确性,并将 ReLU 计数分别减少了 3.5% 和 3.5 倍。

调查不仅仅是学术性的。随着人工智能的使用与对个人、企业和政府数据安全性的担忧相一致,神经网络越来越多地对加密数据进行计算。在涉及神经网络在不公开输入的情况下对隐藏数据生成私人推理 (PI) 的此类场景中,非线性函数在时间和功率方面发挥了最高的“成本”。

由于这些成本增加了学习机器进行 PI 所需的难度和时间,研究人员一直在努力减轻 ReLU 对此类计算施加的负载。

该团队的工作建立在称为 CryptoNAS 的创新技术之上。在较早的一篇论文中进行了描述,二号站登陆测速链接作者包括 Ghodsi 和第三位博士。学生 Akshaj Veldanda,CryptoNAS 优化了 ReLU 的使用,因为人们可以重新安排岩石在溪流中的排列方式以优化水流:它重新平衡 ReLUS 在网络中的分布并移除冗余 ReLU。

DeepReDuce 通过进一步简化流程来扩展 CryptoNAS。它包含一组优化,用于在 CryptoNAS 重组功能之后明智地移除 ReLU。研究人员通过使用 DeepReDuc 从经典网络中移除 ReLU 来测试 DeepReDuc,发现他们能够在保持高精度的同时显着减少推理延迟。

Reagan 与电气和计算机工程研究助理教授 Mihalis Maniatakos 2号站线路测速与数据安全公司 Duality 合作设计了一种新的微芯片,旨在处理完全加密数据的计算。


二号站官网平台_2号站注册|2号站登录测速指定站
如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:二号站登录测速精简的神经网络,更擅长计算加密数据
喜欢 (0)