神经元模型 ,信号传递 。信号传递的符号一兴奋与抑制 在整个神经系统的神经元中，兴奋性和抑制性输入综合起来决定是否达到引发动作 电位的阙值。例如，一个神经节细胞兼接收兴奋性和抑制性输入。如果超过阙值，信号 将传递至高级中枢；如果未超过，将无信号发出。再如在脊髓的运动神经元，来自不同 。不同受体产生的兴奋和抑制效果不同 在兴奋性突触，通道开放使阳离子进入，使膜电位趋近闲值。在抑制性突触，递 质打开可通透阴离子的通道，使膜电位更负于闲值。不管兴奋性还是抑制性突触，电 流的方向都是由通透离子的浓度和电梯度两者的平衡所决定
信号传递 ◦ 信号传递的符号——兴奋与抑制 ◦ 不同受体产生的兴奋和抑制效果不同
神经元模型 ,量子释放 迄今为止，一般模式可总结如下： 突触前去极化一钙内流→递质释放 既然这个一般框架已经确立，那么剩下的是证明递质如何从终末分泌。在蛙神经肌肉接 头上的实验中，Fatt和Katz显示，ACh从终末以多分子小泡的形式释放，他们称之为 量子(quanta)2】。稍后，Kuffler和Yoshikami的实验显示，每个量子含约7000个 ACh分子24)。址子释放就意味着，一次只能有0、7000、14000等个分子被释放，而 不能是4250或10776个分子。一般来说，在任何给定的突触，神经终末对一个动作电 位反应而释放的量子数[一次突触反应的量子含量(quantum content)]可能有相当大 的变化，不过在每个量子中的分子数[量子大小(quantum size)]是固定不变的（离差 约10%)
量子释放
神经元模型 https://cloud.google.com/blog/products/ai-machine- learning/bfloat16-the-secret-to-high-performance-on-cloud-tpus ,神经元数值精度 Mixed-precision training Deep learning models are known to tolerate lower numerical precision [Suyog Gupta et al.,2015,Courbariaux et al.,2014].For the overwhelming majority of computations within a deep neural network,it isn't essential to compute,say,the 18th digit of each number;the network can accomplish a task with the same accuracy using a lower- precision approximation.Surprisingly,some models can even reach a higher accuracy with lower precision,which research usually attributes to regularization effects from the lower precision [Choi et al.,2018]
神经元数值精度 https://cloud.google.com/blog/products/ai-machinelearning/bfloat16-the-secret-to-high-performance-on-cloud-tpus
神经元模型 1514 109 IEEE FP16 1b sign exponent fraction 5b exponent half-precision 10b fraction 151d 76 BF16 1b sign exponent fraction 8b exponent bfloat16 7b fraction bfloat16 3130 2322 615 IEEE FP32 1bsign exoonent fraction 8b exponent single-precision 23b fraction Google Cloud Our hardware teams chose bfloat16 for Cloud TPUs to improve hardware efficiency while maintaining the ability to train accurate deep learning models,all with minimal switching costs from FP32.The physical size of a hardware multiplier scales with the square of the mantissa width.With fewer mantissa bits than FP16,the bfloat16 multipliers are about half the size in silicon of a typical FP16 multiplier,and they are eight times smaller than an FP32 multiplier! TPUv3 Core Core scalar/vector units scalarvector units HBM HBM 16G8 16G8 tXU MXU MXU MXU 128x128 12Bx128 128x120 128x128 Figure 2:An overview of TPU v2 and TPU v3 chips
bfloat16
神经元模型 ,突触可塑一学习与记忆(LTP/LTD) 。长时程增强LTP和长时程抑制LTD 在中枢神经系统，重复活动能产生比外周突触持续更长的突触效能的改变。在多种 脑区均有该现象，它们特别引人关注是因为变化的长时程提示它们可能以某种方式与记 忆相关。能诱导两种长时程变化：长时程增强和长时程压抑。 发现LTP之后，产生了一个问题：增强的突触电位的幅度增加，是由于突触前神 经终末递质释放的增加，还是由于突触后膜递质敏感性的增加？与易化、增强和PTP 一样，LTP反映了突触反应中的量子含量增加的想法曾很有吸引力。早期的实验支持 这种观点。图12.7显示一例，图中绘出增强前、后的突触电位幅度的分布。在这个实 了21.35.36。然而，在另一些实验，同样分析却得到了相反的结果：增加似为单个量子 大小，而非反应中的量子数3川
突触可塑—学习与记忆（LTP/LTD） ◦ 长时程增强LTP和长时程抑制LTD