Keep Moving

参考：https://yeasy.gitbook.io/docker_practice、https://www.bilibili.com/video/BV1YRWse1ESD/?spm_id_from=333.1007.top_right_bar_window_custom_collection.content.click # 一、Docker 简介 # 1.1 什么是 docker Docker 使用 Google 公司推出的 Go 语言 进行开发实现，基于 Linux 内核的 cgroup，namespace，以及 OverlayFS 类的 Union FS...

参考：https://www.youtube.com/watch?v=Ef8juEnFAFI、https://www.youtube.com/watch?v=aVcFQU8FO98 # 下载 gdebi（可选） （1）传统软件套间管理工具 dpkg dpkg 是 Debian package 的简写，为”Debian“ 操作系统 专门开发的套件管理系统，用于软件的安装，更新和移除。 所有源自 "Debian" 的 Linux 的发行版都使用 dpkg, 例如 "Ubuntu" 首先，要安装 dpkg...

参考：https://blog.csdn.net/m0_46422300/article/details/104645072 # 一、基础知识 # 1.1 Linux 系统的文件结构 /bin # 二进制文件，系统常规命令/boot # 系统启动分区，系统启动时读取的文件/dev # 设备文件/etc # 大多数配置文件/home # 普通用户的家目录/lib # 32 位函数库/lib64 # 64 位库/media # 手动临时挂载点/mnt # 手动临时挂载点/opt # 第三方软件安装位置/proc # 进程信息及硬件信息/root # 临时设备的默认挂载点/sbin #...

# 一、MAE 概述   深度学习在计算机视觉领域取得了显著进展，但随着模型规模的增长，对数据的需求也在增加。在自然语言处理（ NLP ）领域，通过自监督预训练的方法（如 BERT 和 GPT ）成功解决了数据需求问题，这些方法通过预测数据中被 masked 的部分来训练模型。然而，在计算机视觉领域，尽管存在相关研究，自监督学习方法的发展仍然滞后于 NLP 。   这篇论文使用掩码自编码器 ( masked autoencoders (MAE) ) 进行自监督学习。这种类型自监督学习的另一个著名的例子就是 BERT 。   对于 BERT 模型而言，一个 sentence 中间盖住一些...

参考：https://www.bilibili.com/video/BV1ES4y1S7RD/?spm_id_from=333.1007.top_right_bar_window_custom_collection.content.click&vd_source=e01172ea292c1c605b346101d7006c61、https://www.bilibili.com/video/BV1hL411r7p2/?spm_id_from=333.337.search-card.all.click&vd_source=e01172ea292c1c605b3461...

# 一、引言   虽然 Transformer 架构已成为 NLP 任务的首选模型，但它在 CV 中的应用仍然有限。在视觉上，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构。而这种对 CNNs 的依赖是不必要的，直接应用于图像块序列 ( sequences of image patches ) 的纯 Transformer 可以很好地执行图像分类任务。当对大量数据进行预训练并迁移到多个中小型图像识别基准时 ( ImageNet 、 CIFAR-100 、 VTAB 等)，与 SOTA 的 CNN 相比， Vision Transformer (ViT)...

# 一、引言   在没有人类监督的情况下学习有效的视觉表征是一个长期存在的问题。大多数主流方法可分为两类：生成式或判别式。生成式方法学习在输入空间中生成或以其他方式建模像素。然而，像素级生成在计算上是昂贵的，并且对于表示学习可能不是必需的。判别方法使用类似于用于监督学习的目标函数来学习表征，但训练网络执行借口任务，其中输入和标签都来自未标记的数据集。许多这样的方法都依赖于启发式来设计借口任务，这可能会限制学习表征的一般性。基于潜在空间中对比学习的判别方法最近显示出很大的前景，取得了最先进的结果。   其中 SimCLR 为视觉表征的对比学习引入了一个简单的框架。 SimCLR...

# 一、引言   自从 CLIP 横空出世，各种 视觉语言预训练 ( Vision-Language Pre-training, VLP ) 模型逐渐涌现，显著提高了各种视觉语言任务的性能。然而，现有的 VLP 方法主要存在以下两个问题： 模型角度：大多数方法都是基于 编码器模型 ( encoder-based model ) 或编码器 - 解码器模型 ( encoder-decoder models )，前者难以完成文本生成任务，后者无法完成图像文本检索任务，这两项任务无法兼顾； 数据角度：以 CLIP 为代表的方法都是从互联网上收集海量图像 -...

# 一、引言    BERT （ Bidirectional Encoder Representations from Transformers ）是一种基于深度学习的自然语言处理（ NLP ）模型。它是由 Google 在 2018 年提出的，采用了 Transformer 架构，并在大规模语料库上进行了预训练。 BERT 的特点之一是其双向（ Bidirectional ）处理能力，它能够同时考虑到句子中所有单词的上下文，而不仅仅是单词之前或之后的部分。这种双向性使得 BERT 在许多 NLP 任务中表现出色，例如文本分类、问答和命名实体识别等。 # 二、BERT    BERT...

# 一、简介 # 1.1 前言    CLIP 是 OpenAI 在 2021 年 2 月发表的一篇文章，其全称为 Contrastive Language-Image Pre-training ，即一种基于对比文本 - 图像对的预训练方法。 CLIP 用文本作为监督信号来训练可迁移的视觉模型，使得最终模型的 zero-shot 效果堪比 ResNet50 ，泛化性非常好。    zero-shot 就是直接推理，用见过的图片特征去判断没见过的图片的类别，而完全不用下游任务训练集进行微调。（相当于把模型用作特征提取，但是没有分类头）   作者在 30...