Deep Residual Learning for Image Recognition
简介
深层次的神经网络很难训练。何恺明等人为了解决这一问题，提出了一个残差学习框架，以简化比以前使用的网络更深的网络的训练。作者明确地将网络层的目标定义为学习该网络层的输入的残差函数。作者提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从显着增加的深度中获得准确性。在 ImageNet 数据集上，评估了深度高达 152 层的残差网络——比 VGG 网络深 8 倍，但复杂度仍然较低。这些残差网络的集合在 ImageNet 测试集上达到了 3.57% 的错误率，该结果在 ILSVRC 2015 分类任务中获得第一名。
方法
在ResNet中，一个基本的网络块如图所示。其中的每个weight layer都是一个卷积层，这个块包含了一个单独的输入，以及处理该输入的两条路径，左边的路径包含两个卷积层，记作 F(x)，右边的路径不做处理，记作 x，最后输出时，将两条路径的计算结果进行加和。
Residual的优势
ResNet有啥好处？首先，因为 x 被直接引入到输出结果中，那么前面的网络层收到的梯度肯定是会变大了，这就给优化深层次的网络带来了机会。其次，我们考虑这里 x 已经是一个很接近目标值的特征了，但是还是有一定的误差存在，这时候就可以使用 F(x) 来弥补这个误差了，预测 x 和目标之间的误差相比于直接预测目标，是一个更加简单的问题。比如 x 已经很接近目标了，不妨假设一些项已经和目标是完全一致的了，这就相当于降低了F(x)的预测目标的复杂度，而且，x 与目标越相似，F(x)的预测目标的复杂度就越低，那么交给 F(x) 的任务就越简单。直观上去理解这件事情，就好像是，我们先用个模型去拟合这个目标，然后再搞一个模型去消除这个误差，而且新加的这个模型是依据原来的模型提取出来的更加简单的特征进行学习的。本来已经能够预测正确的样本对于 F(x) 而言都属于同一个类别，因为相应的目标就是 0，F(x) 需要做的就是在剩下的还没有预测正确的样本中，通过消除一部分误差，再预测正确一些。显然，这样能够实现更好的性能。
存在的问题
使用上面所示的残差块有一定的限制条件：要求输入的图片的channel、size和输出的图片的channel、size完全一致，要不然怎么加一起呢？在原论文中，作者针对输入和输出的size不一致的情况提出在右边的路径上使用一个简单的卷积对 x 的size进行调整，从而与左边路径上的输出size保持一致。
显然，这个优化使得residual失去了原本的价值。我们按照刚才分析的 F(x) 的作用，再看看他在这个场景下作用是啥。现在左边的路径还是 F(x)，右边的路径是 G(x) -- 一个一层的卷积网络。刚才咱们提到，x 如果已经很接近目标的话，那么对于 F(x) 而言，有相当大的一部分样本的标签就直接是 0 了，因为F(x)是要预测x和目标之间的残差，这大大简化了F(x)的输入和输出之间的关系，F(x)可以明确的知道自己要干嘛了。可是，右边路径换成G(x)，F(x)要预测的目标变成了 y-G(x)，而G(x)有自己的参数，会变化！F(x)想知道，自己到底是在预测个啥。这个时候还按照残差的思路去考虑这个模型已经说不通了。当右边的路径被换成G(x)，这更像是一个模型的集成！F(x)是两层，G(x)是一层，F(x)的性能只会被G(x)拖累，因此不能产生很好的优化效果！
那这种输入和输出的size不一致的情况咋处理？我的建议是不处理，也就是不使用residual连接。论文里提出的residual真正发挥作用的时候，应该是为一个本来就不错的模型拟合一下他的残差，从而进一步提升这个模型的性能。考虑一个极端的情况，从一开始就使用residual，每个卷积层都用，那会发生什么？就是最一开始的特征 x 直接被传到了最后用于类别的预测，这就相当于用了一个0层的神经网络来学习某个分布，然后用了一个几十层的神经网络来学习这个0层的神经网络的残差！我们前面就假设 x 已经是一个很接近目标的特征了，这就需要在使用residual技巧之前就已经对特征进行了充分的提取，这样才能更好的发挥residual的作用。鉴于此，输入和输出的size不一致的情况索性不处理，直接当成普通的卷积层进行前向传播，这事实上恰好可以帮助我们提取更好的特征 x。
Innovative thinking! The AI Tools for personal development have revolutionized our goal-tracking systems. These AI Tools provide accountability with remarkable consistency.
I’m really inspired together with your writing abilities as smartly as with the format in your blog. Is this a paid subject matter or did you customize it yourself? Either way keep up the excellent high quality writing, it is uncommon to peer a nice weblog like this one these days!
Really interesting read! Getting started with online slots can feel daunting, but a smooth signup like at 789bet02 makes all the difference. Secure verification is key too – good to see platforms prioritizing that for Vietnamese players! 👍
Keno’s surprisingly complex – beyond just picking numbers! Seeing platforms like phlwin super ace focus on game mechanics & player development is smart. Understanding patterns can improve your odds, even in a game of chance! It’s cool they cater to all skill levels.
Roulette’s randomness is fascinating – probability truly dictates outcomes! Seeing platforms like phlwin register make gaming accessible in the Philippines is cool. Easy logins & diverse games seem key for a good experience!
That’s a great point about game randomness! It’s fascinating how tech is leveling up online casinos. I checked out jljl55 casino & their AI-powered systems for fast registration & payments seem impressive – truly next-level for Filipino players! 🤔
شركة تسليك مجاري بالاحساء
Эта статья сочетает познавательный и занимательный контент, что делает ее идеальной для любителей глубоких исследований. Мы рассмотрим увлекательные аспекты различных тем и предоставим вам новые знания, которые могут оказаться полезными в будущем.
Изучить вопрос глубже – https://vyvod-iz-zapoya-1.ru/
Этот обзорный материал предоставляет информационно насыщенные данные, касающиеся актуальных тем. Мы стремимся сделать информацию доступной и структурированной, чтобы читатели могли легко ориентироваться в наших выводах. Познайте новое с нашим обзором!
Исследовать вопрос подробнее – https://vistoweekly.com/aireko-karen-morales
Эта статья полна интересного контента, который побудит вас исследовать новые горизонты. Мы собрали полезные факты и удивительные истории, которые обогащают ваше понимание темы. Читайте, погружайтесь в детали и наслаждайтесь процессом изучения!
Детальнее – https://maoulainine.com/2022/04/06/pcns-larbi-jaidi-plaide-pour-une-vision-a-long-terme-pour-la-preservation-des-relations-maroco-espagnoles
В этой статье представлен занимательный и актуальный контент, который заставит вас задуматься. Мы обсуждаем насущные вопросы и проблемы, а также освещаем истории, которые вдохновляют на действия и изменения. Узнайте, что стоит за событиями нашего времени!
Изучить вопрос глубже – https://www.hotel-sugano.com/bbs/sugano.cgi/sosh13.pascal.ru/forum/www.skitour.su/sinopipefittings.com/e_Feedback/datasphere.ru/club/user/12/blog/2477/datasphere.ru/club/user/12/blog/sugano.cgi?page0=val
Этот информационный обзор станет отличным путеводителем по актуальным темам, объединяющим важные факты и мнения экспертов. Мы исследуем ключевые идеи и представляем их в доступной форме для более глубокого понимания. Читайте, чтобы оставаться в курсе событий!
Изучить вопрос глубже – https://parquedasfloreslins.com.br/2020/05/22/prefeitura-de-lins-disponibiliza-plataforma-gratuita-para-divulgacao-de-empresas-durante-a-quarentena
В этой публикации мы предлагаем подробные объяснения по актуальным вопросам, чтобы помочь читателям глубже понять их. Четкость и структурированность материала сделают его удобным для усвоения и применения в повседневной жизни.
Выяснить больше – https://growthnet.co.za/on-page-seo
Этот информационный материал привлекает внимание множеством интересных деталей и необычных ракурсов. Мы предлагаем уникальные взгляды на привычные вещи и рассматриваем вопросы, которые волнуют общество. Будьте в курсе актуальных тем и расширяйте свои знания!
Получить дополнительную информацию – https://lyfeunit.com/more-about-ketamine-drug-anesthesia-and-pain-relief
Эта информационная заметка предлагает лаконичное и четкое освещение актуальных вопросов. Здесь вы найдете ключевые факты и основную информацию по теме, которые помогут вам сформировать собственное мнение и повысить уровень осведомленности.
Исследовать вопрос подробнее – https://vistoweekly.com/andrea-carbonaro-michigan
Эта разъяснительная статья содержит простые и доступные разъяснения по актуальным вопросам. Мы стремимся сделать информацию понятной для широкой аудитории, чтобы каждый смог разобраться в предмете и извлечь из него максимум пользы.
Подробнее можно узнать тут – https://vistoweekly.com/1fmcu9dg7bkc37892
Публикация предлагает уникальную подборку информации, которая будет интересна как специалистам, так и широкому кругу читателей. Здесь вы найдете ответы на часто задаваемые вопросы и полезные инсайты для дальнейшего применения.
Неизвестные факты о… – https://tkdworldclass.com/mauris-pharetra-interdum-lorem
Публикация предлагает уникальную подборку информации, которая будет интересна как специалистам, так и широкому кругу читателей. Здесь вы найдете ответы на часто задаваемые вопросы и полезные инсайты для дальнейшего применения.
Смотрите также – https://conacentoenlaa.com/el-pais-de-las-sonrisas-3
В этом информативном тексте представлены захватывающие события и факты, которые заставят вас задуматься. Мы обращаем внимание на важные моменты, которые часто остаются незамеченными, и предлагаем новые перспективы на привычные вещи. Подготовьтесь к тому, чтобы быть поглощенным увлекательными рассказами!
Следуйте по ссылке – https://plastaprint.com/index.php/2020/06/04/hello-world
Эта обзорная заметка содержит ключевые моменты и факты по актуальным вопросам. Она поможет читателям быстро ориентироваться в теме и узнать о самых важных аспектах сегодня. Получите краткий курс по современной информации и оставайтесь в курсе событий!
Заходи — там интересно – https://www.toysofwood.co.uk/product/wooden-bear-family-dress-up-puzzle-box-sorting-and-matching-wooden-sorting-toys-for-3-year-old
Публикация приглашает вас исследовать неизведанное — от древних тайн до современных достижений науки. Вы узнаете, как случайные находки превращались в революции, а смелые мысли — в новые эры человеческого прогресса.
Обратитесь за информацией – https://kerstbomendenbosch.nl/hallo-wereld
Эта информационная заметка содержит увлекательные сведения, которые могут вас удивить! Мы собрали интересные факты, которые сделают вашу жизнь ярче и полнее. Узнайте нечто новое о привычных аспектах повседневности и откройте для себя удивительный мир информации.
Все материалы собраны здесь – http://www.peritosgerais.com/?p=1525
Этот увлекательный информационный материал подарит вам массу новых знаний и ярких эмоций. Мы собрали для вас интересные факты и сведения, которые обогатят ваш опыт. Откройте для себя увлекательный мир информации и насладитесь процессом изучения!
Почему это важно? – https://jenswnilsson.se/blog-09
Эта публикация завернет вас в вихрь увлекательного контента, сбрасывая стереотипы и открывая двери к новым идеям. Каждый абзац станет для вас открытием, полным ярких примеров и впечатляющих достижений. Подготовьтесь быть вовлеченными и удивленными каждый раз, когда продолжите читать.
Детальнее – https://aesm.be/de-hepcee-charley
Этот интересный отчет представляет собой сборник полезных фактов, касающихся актуальных тем. Мы проанализируем данные, чтобы вы могли сделать обоснованные выводы. Читайте, чтобы узнать больше о последних трендах и значимых событиях!
Это ещё не всё… – https://ac37.ru
В этой статье представлен занимательный и актуальный контент, который заставит вас задуматься. Мы обсуждаем насущные вопросы и проблемы, а также освещаем истории, которые вдохновляют на действия и изменения. Узнайте, что стоит за событиями нашего времени!
Все материалы собраны здесь – https://hotellaleyenda.com/2021/10/13/hola-mundo
Эта обзорная заметка содержит ключевые моменты и факты по актуальным вопросам. Она поможет читателям быстро ориентироваться в теме и узнать о самых важных аспектах сегодня. Получите краткий курс по современной информации и оставайтесь в курсе событий!
Секреты успеха внутри – https://f5fashion.vn/dung-hom-nay-10-10-3-con-giap-co-loc-lon-ve-tay-trung-so-doi-doi-som-co-tai-san-kech-xu
Публикация предлагает уникальную подборку информации, которая будет интересна как специалистам, так и широкому кругу читателей. Здесь вы найдете ответы на часто задаваемые вопросы и полезные инсайты для дальнейшего применения.
Смотрите также – https://epostlive.com/archives/7612
Этот увлекательный информационный материал подарит вам массу новых знаний и ярких эмоций. Мы собрали для вас интересные факты и сведения, которые обогатят ваш опыт. Откройте для себя увлекательный мир информации и насладитесь процессом изучения!
Обратиться к источнику – https://gmc.kano-consul.com/photo16
Критерий
Разобраться лучше – [url=https://narkolog-na-dom-nizhnij-tagil11.ru/]нарколог на дом срочно[/url]
Этот текст призван помочь читателю расширить кругозор и получить практические знания. Мы используем простой язык, наглядные примеры и структурированное изложение, чтобы сделать обучение максимально эффективным и увлекательным.
Смотри, что ещё есть – https://www.piachoi.com/my-grannys-old-fashioned-biscuits
В этой публикации мы предлагаем подробные объяснения по актуальным вопросам, чтобы помочь читателям глубже понять их. Четкость и структурированность материала сделают его удобным для усвоения и применения в повседневной жизни.
Исследовать вопрос подробнее – https://www.ppelbosque.com/maria-de-los-santos-melgar
В этом информативном тексте представлены захватывающие события и факты, которые заставят вас задуматься. Мы обращаем внимание на важные моменты, которые часто остаются незамеченными, и предлагаем новые перспективы на привычные вещи. Подготовьтесь к тому, чтобы быть поглощенным увлекательными рассказами!
Узнай первым! – https://academiaip.ru/?paged=42