CNAI4S
智算平台热点追踪算子框架领域模型科学任务智算套件数据资源智算评测协作社区运行情况

友情链接

科技部工信部北京航空航天大学浙江大学
中山大学北京大学华中科技大学之江实验室
百度飞桨华为昇思中科可控
版权所有:科学智算共性平台 京ICP备18020905号-2
京公网安备11010802046602号
联系邮箱: tianyuc@buaa.edu.cn
科学任务/生物学/多智能体强化学习求解ONN突触参数

多智能体强化学习求解ONN突触参数

基于多智能体强化学习方法,自动优化光神经网络(ONN)突触参数,解决光学计算硬件中权重调节难题,加速光计算智能设计。

生物学北航

方法简介

本任务支持科学智算工作流

点击下方按钮进入在线智算工作流环境

进入智算工作流

振荡神经网络(ONN)受大脑同步振荡行为的启发,是一种用于模式识别的有前景的架构模型,基于此模型可以实现先进的类脑计算和集成电路设计。该模型使用相位作为状态变量,通过调整信号的振幅比例缩放相位贡献。ONN的模式识别能力的核心在于突触权重的设计,即神经元之间的连接方式。利用多智能体强化学习(MARL)来获取最优的突触权重,可以使更多的模式能够作为稳定平衡存储在ONN系统中。

该方法首先确定图像对应的存储模式,并作为学习任务;然后基于课程学习对学习任务进行拆分;之后基于拆分的任务集合,建立多智能体强化学习仿真环境;其次对多智能体强化学习进行训练并获得最优奖励的振荡神经网络突触权重;最后识别和存储所有预设存储模式。

具体来说,第 iii 个智能体从时间步长 ttt 到时间步长 t+1t+1t+1 的状态转移函数描述为:St+1=St+∑i=1n(ai,t+ai,tT)S_{t+1} = S_t + \sum_{i=1}^{n}\left(a_{i,t} + a_{i,t}^{T}\right)St+1​=St​+∑i=1n​(ai,t​+ai,tT​),其中 StS_tSt​ 和 St+1S_{t+1}St+1​ 分别表示时间步长 ttt 和 t+1t+1t+1 的突触权重矩阵,ai,ta_{i,t}ai,t​ 表示第 iii 个智能体在时间步长 ttt 的行动,是一个 nnn 维矢量,ai,ta_{i,t}ai,t​ 被添加到突触权重矩阵 StS_tSt​ 的第 iii 列,ai,tTa_{i,t}^{T}ai,tT​ 被添加到突触权重矩阵 StS_tSt​ 的第 iii 行。对应于与第 iii 个神经元连接的权重。智能体 iii 的奖励 rir_iri​ 计算公式为:

ri=rnr_i = \frac{r}{n}ri​=nr​ φk∗=(φ1k∗φ2k∗⋮φnk∗),δφk∗=φk∗−φ1k∗(11⋮1),k=1,2,…,P\varphi^{k^*} = \begin{pmatrix} \varphi_1^{k^*} \\ \varphi_2^{k^*} \\ \vdots \\ \varphi_n^{k^*} \end{pmatrix}, \qquad \delta \varphi^{k^*} = \varphi^{k^*} - \varphi_1^{k^*} \begin{pmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{pmatrix}, \qquad k = 1,2,\ldots,Pφk∗=​φ1k∗​φ2k∗​⋮φnk∗​​​,δφk∗=φk∗−φ1k∗​​11⋮1​​,k=1,2,…,P r=P×μ+∑k=1P−L1(δφk∗,δφk)r = P \times \mu + \sum_{k=1}^{P} -L_1(\delta \varphi^{k^*}, \delta \varphi^{k})r=P×μ+k=1∑P​−L1​(δφk∗,δφk) L1(x,y)=∣(x+2mπ)−y∣,x+2mπ∈[−π,π]L_1(x,y) = |(x + 2m\pi) - y|,\qquad x + 2m\pi \in [-\pi,\pi]L1​(x,y)=∣(x+2mπ)−y∣,x+2mπ∈[−π,π]

上式中,PPP 指当前存储模式的数量,φk∗\varphi^{k^*}φk∗ 代表第 kkk 个输入模式的输出相位,φik∗\varphi_i^{k^*}φik∗​ 指的是 φk∗\varphi^{k^*}φk∗ 的第 iii 个元素,δφk\delta \varphi^kδφk 表示第 kkk 个原始模式的相位偏差,mmm 是使得 x+2mπ∈[−π,π]x + 2m\pi \in [-\pi,\pi]x+2mπ∈[−π,π] 的整数,xxx、yyy 是两个不同的变量具体值根计算需要进行带入,nnn 是智能体个数,μ\muμ 表示用来区分不同任务的超参数。

piplinepipline

学科领域

生物学

贡献方

北航

方法

AI/ML

问题类型

优化问题

在线资源

智算工作流Notebook 运行源代码仓库

相关论文

  • On the Design of Phase Locked Loop Oscillatory Neural Networks: Mitigation of Transmission Delay Effects

共性算子依赖

高阶微分操作

逐元素加法逐元素减法

类似科学任务

DNA突变对基因表达的效应预测

本任务构建深度学习模型预测DNA序列中单核苷酸突变对基因表达水平的影响,通过分析突变位点的序列上下文特征,揭示突变导致基因调控改变的分子机制,为遗传疾病诊断和精准医疗提供计算工具。

基于DHTNN和半监督学习的分子毒性预测

利用深度霍克斯时序神经网络(DHTNN)结合半监督学习技术,对分子化合物进行毒性预测,为药物安全性评估提供高效的计算辅助工具。

单细胞数据整合聚类

单细胞RNA测序数据整合与聚类分析工具,通过先进算法实现多批次单细胞数据的批次效应校正和细胞类型精准识别,支持跨研究平台的细胞群体标准化分类。