Valdo在哪?
Waldo 在哪?
两个原则 ·平移不变性 ·局部性
• 平移不变性 • 局部性 两个原则
重新思考稠密层 ·将输入和输出变形为矩阵(宽度,高度) ·将权重变形为4-D张量(h,w)到(h',w) hij=∑Wij,klxk,l=∑ija,bi+a,j+b k.I a h 。V是W的重索引 Vi,j,a,b =Wi,j,i+a,j+b D2L.ai
重新思考 - 稠密层 • 将输入和输出变形为矩阵(宽度,高度) • 将权重变形为4-D张量(h, w)到(h’, w’) • V是W的重索引 ℎ!,# = ∑ $,% �!,#,$,%�$,% = ∑ &,' �!,#,&,'�!(&,#(' �!,#,$,% = �!,#,!&$,#&%
原则#1-平移不变性 hi,j=∑i,ja,bxi+aj+b a,b ·x的变化也导致h的变化 ·V不应该依赖于(i,j),所以i,j,a,b三Va,b hi,j=∑va,bXi+a,jtb a b D2L.ai
原则 #1 - 平移不变性 • x 的变化也导致 h 的变化 • V 不应该依赖于(i,j),所以 �!,#,$,% = �$,% ℎ!,# = ∑ &,' �&,'�!(&,#(' ℎ!,# = ∑ &,' �!,#,&,'�!(&,#(
原则2-局部性 hi,j=∑va,bXi+a,j+b ab ·当评估h(,j)时,我们不应该用远离x,j)的参数 ·外部参数a叫,b>△消失,va,b=0 △ hij=_∑,∑,va,bxi+a,jitb a=-△b=-△ D2L.ai
原则 #2 - 局部性 • 当评估 h(i,j) 时,我们不应该用远离 x(i, j) 的参数 • 外部参数 |�|, |�| > Δ 消失,�!,# = 0 ℎ!,# = ∑ &,' �&,'�!(&,#(' ℎ!,# = ∑ &)*+ + ∑ ')*+ + �&,'�!(&,#(