我们教会果蝇听懂人类情绪

我们将 499 个重建的果蝇神经元之间的连接复制到软件中，并将由此产生的网络输入人类声音。一个小的输出层学会了预测听众为这些录音分配的标签。在整个训练过程中，果蝇回路保持固定。

这是一个计算实验，使用了人工输入通路和简化的神经元动力学。没有活的果蝇学会识别人类情感。

MaleCNS 重建 提供了神经元形状和连接表。我们选择了一个强连通的组：每个神经元都可以通过某个有向路径到达其他任何神经元。它包含 15,865 个连接，由 867,344 个突触接触支撑。

更多的接触产生更强的模型权重。神经递质注释提供正号或负号，然后是全局光谱缩放。这些是建模假设；仅凭接线图无法重建每个细胞的生理学。

这种递归接线赋予网络短期记忆。每 10 毫秒，一个新的音频帧通过固定的随机投影进入。每个神经元将其邻居的先前活动与传入的声音相结合，并保留其先前状态的一部分：

x[t] = (1 - alpha) * x[t-1]
       + alpha * tanh(W @ x[t-1] + W_in @ u[t])

这里，u[t] 包含 32 个对数梅尔音频频带，x[t] 包含 499 个神经元状态，两个权重矩阵保持固定。交互模型使用 alpha = 0.15 和目标递归谱半径 0.9。

这是储备计算。Suárez 等人 开发了 conn2res 来以这种方式探索生物连接组；Costi 等人 使用了果蝇连接进行时间序列预测。我们将该方法应用于听众对语音的判断。

我们将音频重新采样为 8 kHz，使用 25 ms 分析窗口，并使用训练帧标准化特征。四个连续的时间平均将回路的活动转换为 1,996 个特征。另外 128 个特征直接汇总音频。两个分支都进入学习的岭读出：

features = concatenate(pooled_neuron_states, pooled_audio)
scores = features @ beta + bias

只有 beta 和 bias 是学习的。输出有 15 个情绪标签和 16 种说话风格。直接音频分支很重要： 有用的预测可以来自声学特征，而无需通过果蝇回路。

训练使用了 16,995 个片段，验证 2,239 个，测试 2,022 个。已知说话者保持在一个分割内；当说话者身份不可靠时，整个源语料库保持在一起。精确的重复音频不会跨越分割。大多数录音只有一个听众评分，这限制了他们的标签可以建立的内容。

决定性的比较是乱序接线。我们打乱了连接目标，同时保留每个源神经元的传出计数、符号和权重值，然后进行缩放，选择设置并训练单独的读出。我们还测试了仅音频和断开连接的回路控制。

测试平均平均精度为 16.84%（果蝇接线），16.88%（乱序接线），9.71%（恒定分数）。平均平均精度衡量 31 个标签的排名；它不是分类准确性。果蝇减去乱序的差异为 −0.04 个百分点，95% 区间为 −0.16 至 +0.07。比较平均三个种子；区间使用 45 个保留的说话者/语料库组的配对自举重采样。这些结果没有提供证据表明果蝇的特定接线在此分割上有所帮助。

交互式文章 还允许您在保持拟合读出固定的同时静默神经元。删除 50 个排名最高的神经元会将该模型的测试 mAP 从 16.91% 降至 10.83%。它的起始分数与表格不同，因为此干预使用一个模型，而不是三个种子的平均值。

该读出依赖于其回路的特征。在训练后破坏这些特征可能会损害，即使一个不同的电路单独训练同样有效。因此，干预和乱序控制回答不同的问题。

您可以旋转重建的神经元，比较六个授权的演示录音，并在原始文章中重新运行干预。片段在说话者、词语和听众标签上有所不同；彩色活动不是生物“情绪细胞”的证据。那些交互式图形无法在此 文章中运行。

拟合的演示模型和六个摘录是公开的。完整的语音标记数据集和听众记录仍然是私有的，因此这不是一个完全可重现的公共基准。果蝇回路是一个探索性模型，独立于 Oruk 的生产语音 API。

原文链接: We taught a fruit fly to hear human emotion

汇智网翻译整理，转载请标明出处