MDX61B0450-503-4-0T 卷積神經(jīng)網(wǎng)絡是目前計算機視覺中使用最普遍的模型結(jié)構(gòu)。 引入卷積神經(jīng)網(wǎng)絡進行特征提取，既能提取到相鄰像素點之間的特征模式，又能保證參數(shù)的個數(shù)不隨圖片尺寸變化。上圖是一個典型的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，多層卷積和池化層組合作用在輸入圖片上，在網(wǎng)絡的最后通常會加入一系列全連接層，ReLU激活函數(shù)一般加在卷積或者全連接層的輸出上，網(wǎng)絡中通常還會加入Dropout來防止過擬合。 自2012年AlexNet在ImageNet比賽上獲得，卷積神經(jīng)網(wǎng)絡逐漸取代傳統(tǒng)算法成為了處理計算機視覺任務的核心。 在這幾年，研究人員從提升特征提取能力，改進回傳梯度更新效果，縮短訓練時間，可視化內(nèi)部結(jié)構(gòu)，減少網(wǎng)絡參數(shù)量，模型輕量化, 自動設(shè)計網(wǎng)絡結(jié)構(gòu)等這些方面，對卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)有了較大的改進，逐漸研究出了AlexNet、ZFNet、VGG、NIN、GoogLeNet和Inception系列、ResNet、WRN和DenseNet等一系列經(jīng)典模型，MobileNet系列、ShuffleNet系列、SqueezeNet和Xception等輕量化模型。
01
經(jīng)典模型 （AlexNet）
AlexNet是第一個深度神經(jīng)網(wǎng)絡，其主要特點包括：
使用ReLU作為激活函數(shù)；
提出在全連接層使用Dropout避免過擬合。注：當BN提出后，Dropout就被BN替代了；
由于GPU顯存太小，使用了兩個GPU，做法是在通道上分組；。
使用局部響應歸一化(Local Response Normalization --LRN)，在生物中存在側(cè)抑制現(xiàn)象，即被激活的神經(jīng)元會抑制周圍的神經(jīng)元。在這里的目的是讓局部響應值大的變得相對更大，并抑制其它響應值相對比較小的卷積核。例如，某特征在這一個卷積核中響應值比較大，則在其它相鄰卷積核中響應值會被抑制，這樣一來卷積核之間的相關(guān)性會變小。LRN結(jié)合ReLU，使得模型提高了一點多個百分點；
使用重疊池化。作者認為使用重疊池化會提升特征的豐富性，且相對來說會更難過擬合。
02
集大成之作 （ResNet）
一般而言，網(wǎng)絡越深越寬會有更好的特征提取能力，但當網(wǎng)絡達到一定層數(shù)后，隨著層數(shù)的增加反而導致準確率下降，網(wǎng)絡收斂速度更慢。 傳統(tǒng)的卷積網(wǎng)絡在一個前向過程中每層只有一個連接，ResNet增加了殘差連接從而增加了信息從一層到下一層的流動。FractalNets重復組合幾個有不同卷積塊數(shù)量的并行層序列，增加名義上的深度，卻保持著網(wǎng)絡前向傳播短的路徑。 相類似的操作還有Stochastic depth和Highway Networks等。這些模型都顯示一個共有的特征，縮短前面層與后面層的路徑，其主要的目的都是為了增加不同層之間的信息流動。
MDX61B0450-503-4-0T 1769-CRL3
1769-CRR1
1769-CRR3
1769-ECL
1769-ECR
1769-HSC
1769-IA16
1769-IA8I
1769-IF16C
1769-IF16V
1769-IF4
1769-IF4FXOF2F
1769-IF4I
1769-IF4XOF2
1769-IF8
1769-IG16
1769-IM12
6ES7317-2EK13-0AB0 CPU317-2 PN/DP,1MB內(nèi)存
6ES7318-3EL00-0AB0 CPU319-3 PN/DP,1.4M內(nèi)存
內(nèi)存卡
6ES7953-8LF20-0AA0 SIMATIC Micro內(nèi)存卡 64kByte(MMC)
6ES7953-8LG11-0AA0 SIMATIC Micro內(nèi)存卡128KByte(MMC)
6ES7953-8LJ20-0AA0 SIMATIC Micro內(nèi)存卡512KByte(MMC)
6ES7953-8LL20-0AA0 SIMATIC Micro內(nèi)存卡2MByte(MMC)
6ES7953-8LM20-0AA0 SIMATIC Micro內(nèi)存卡4MByte(MMC)
6ES7953-8LP20-0AA0 SIMATIC Micro內(nèi)存卡8MByte(MMC)
開關(guān)量模板
6ES7321-1BH02-0AA0 開入模塊（16點，24VDC）
6ES7321-1BH10-0AA0 開入模塊（16點，24VDC）
6ES7321-1BH50-0AA0 開入模塊（16點，24VDC，源輸入）
6ES7321-1BL00-0AA0 開入模塊（32點，24VDC）
6ES7321-7BH01-0AB0 開入模塊（16點，24VDC，診斷能力）
6ES7321-1EL00-0AA0 開入模塊（32點，120VAC）
6ES7321-1FF01-0AA0 開入模塊（8點，120/230VAC）
6ES7321-1FF10-0AA0 開入模塊（8點，120/230VAC）與公共電位單獨連接
6ES7321-1FH00-0AA0 開入模塊（16點，120/230VAC）
6ES7321-1CH00-0AA0 開入模塊（16點，24/48VDC）
6ES7321-1CH20-0AA0 開入模塊（16點，48/125VDC）
1769-IQ16
1769-IQ16F
1769-IQ32
1769-IQ32T
1769-IQ6XOW4
MDX61B0450-503-4-0T
