- 博客(36)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 如何nvidia-smi没有显示gpu每一个pid对应的显存要怎么处理
【代码】如何nvidia-smi没有显示gpu每一个pid对应的显存要怎么处理。
2024-02-22 15:28:06
522
原创 python open()函数，读取中文、日文或其他非英文字符时出现： ‘ascii‘ codec can‘t decode byte 0xe7
python open()函数，读取中文、日文或其他非英文字符时出现： ‘ascii’ codec can’t decode byte 0xe7在open()函数中加入encoding例如：f = open(path, "rb", encoding="utf-8")
2022-04-11 20:20:23
800
2
原创 2022 CV/NLP/多媒体/人工智能/数据挖掘 一些会议截稿日期记录
先记录最近几个会议名称截稿日期CCF评级ICME2021.12.12BIJCAI2022.01.14ASIGIR2022.01.28AECCVWaiting…惯例是三月初BICML2022.01.27AKDD2022.02.10A
2021-12-01 15:47:44
1643
原创 安装apex出现CUB的问题
安装apex的时候，由于cuda版本超过11.0出现以下问题：apex usr local cuda 11.3 include thrust system cuda config h 78 2 error error The version of CUB in your include path is not compatible with this release of Thrust CUB is now included in the CUDA Toolkit so you no longer nee
2021-12-01 11:16:03
940
1
原创 视频片段检索 video moment retrieval / video grounding 文章研读
任务介绍：根据一段caption，找出视频中最符合caption的视频片段。Learning 2D Temporal Adjacent Networks for Moment Localization with Natural Language视觉端用c3d提取好的特征，以卷积的层数代表帧感受野的大小。对于visual_map上，i，j的位置就代表从第i帧到第j帧的感受野大小的视频片段的特征。文本上用LSTM提取文本特征与visual_map相乘得到score_map。score_map还要经过卷积得
2021-11-12 14:34:28
4607
3
原创 CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval 论文解读
CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval论文链接https://arxiv.org/abs/2104.08860.代码链接https://github.com/ArrowLuo/CLIP4Clip.网络结构如下：其实论文的思路就是拿CLIP模型的image encoder和text encoder过来生成对应的编码，然后用一个计算相似度的模块让每一个视频文本对的相似度相近，不同的远离。文章创新
2021-07-29 16:02:49
971
原创 SIGIR2021的5篇论文
SIGIR2021Paper-1: Hierarchical Cross-Modal Graph Consistency Learning for Video-Text Retrieval 视频文本检索的层次交叉模态图结构一致性学习论文首先展示说明了两种图文检索策略，然后提出了论文里面的方案。最常规的图文检索是下图a中直接根据视频文本的特征向量的相似度进行匹配，b中是一个常规的多水平结构特征匹配策略。而c就是本论文提出的层次交叉模态图一致性学习策略。它的图结构主要分为三个部分，图间并行一致性、图间
2021-07-24 18:31:26
1140
原创 mpi4py造轮子失败
apt install libopenmpi-devpip install mpi4py先安装一下libopenmpi-dev
2021-07-21 15:41:53
108
原创 linux 查看一个文件夹下面所有的子文件个数
find [dirname] -type f | wc -l #[dirname]代表文件夹名字，-type f 代表要找的是文件，wc -l表示输出个数
2021-07-21 11:22:45
413
原创 pytorch实现transformer模块
import torchimport torch.nn.functional as Fimport pdbfrom torch import nn, einsumimport torch.nn.functional as Ffrom einops import rearrange, repeatfrom einops.layers.torch import Rearrangeimport numpy as npfrom functools import partialfrom tqdm i
2021-07-16 16:47:12
698
原创 利用cv2对视频抽取全部帧
#videoname是视频的名字，videoPath_root是视频的文件夹路径，pngPath_root是抽出来的帧存储的文件夹路径def getVideoPng(videoname, videoPath_root, pngPath_root): if not os.path.exists(pngPath_root): os.mkdir(pngPath_root) videopath = os.path.join(videoPath_root, videoname)
2021-07-16 16:44:35
1032
原创 python线程池ThreadPoolExecutor
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutorresults = []with ThreadPoolExecutor(max_workers=32) as executor: for a in []: results.append(executor.submit(main, a)) results = [res.result() for res in results]
2021-07-16 10:18:54
259
原创 pytorch用于多标签分类的bceloss
def bceloss(output, target): positive_prob = F.logsigmoid(output) negative_prob = F.logsigmoid(-output) loss = -positive_prob*target-negative_prob*(1-target) loss = loss.mean() return loss
2021-06-19 18:38:00
1106
7
原创 plt设置legend的文本的颜色
labelss = plt.legend(fontsize=5,framealpha=0.1).get_texts()[label.set_color('white') for label in labelss]fontsize:legend字体尺寸framealpha：legend方框透明度set_color(‘white’)：设置legend文本为白色
2021-05-28 19:27:12
3058
原创 根据特征图画热图_heatmap
对模型输出的特征图y进行上采样：features=nn.Upsample(scale_factor=32, mode='bicubic', align_corners=None)(y.view(-1,12,12,1536).permute(0,3,1,2)) #scale_factor是上采样倍数 #y是输入，需要permute一下是转换一下通道的位置##以下对特征图逐个画出来for i in range(features.shape[0]): feature = features[i,
2021-05-24 16:14:28
2122
2
原创 查看占用每一个GPU的线程；fuser的linux安装
apt-get install install psmiscfuser -v /dev/nvidia*
2021-05-14 19:03:42
2952
原创 安装mmcv
pip install mmcv-full==1.3.3 -f https://download.openmmlab.com/mmcv/dist/cu102/torch1.7.0/index.htmlcu102和torch1.7.0换成自己对应的版本即可。mmcv-full版本的指定随便，反正装不上的话会提示装哪个正确版本
2021-05-12 17:59:45
1669
1
原创 swin transformer解读
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows --论文解读论文信息、概要Swin transformer是微软今年三月25日公布的一篇利用transformer架构处理计算机视觉任务的论文。源码仅仅公布两天就在github上收获了2.2k个stars。它是我个人认为迄今为止用tranformer架构处理计算机视觉任务最有实用价值的一篇文章，在图像分割，目标检测各个领域已经霸榜，让很多人看到了transfor
2021-05-02 14:41:36
38684
29
原创 Intel MKL FATAL ERROR: Cannot load libmkl_avx512.so or libmkl_def.so.
解决使用faiss的时候Cannot load libmkl_avx512.so or libmkl_def.so的问题完整的错误是：INTEL MKL ERROR: /opt/conda/envs/rapids/lib/python3.6/site-packages/faiss/…/…/…/libmkl_avx512.so: undefined symbol: mkl_sparse_optimize_bsr_trsm_i8.Intel MKL FATAL ERROR: Cannot load lib
2021-02-09 09:10:40
2584
原创 加载部分预训练模型
pytorch加载与训练模型的代码model_dict = model.state_dict()pretrained_dict = {k:v for k, v in checkpoint['state_dict'].items() if k in model_dict}model_dict.update(pretrained_dict)model.load_state_dict(model_dict)
2021-01-16 17:47:09
525
原创 达摩院20年提出的TResNet的部分代码解读
达摩院20年提出的TResNet的代码解读本文侧重于TResNet与resnet的比较来展开Tresnet 的 forward代码分为三层，首先图像通入self.body。此层主要是一系列的对于图像卷积。然后通入self.global_pool，其实这一层主要是作者自己写了一下平均池化的module，然后作者说这样重写了之后可以使得GPU计算速度增加五倍。。不过论文也没有讲清楚为什么速度会增加。（个人认为是它重写之后可以避免池化之后还要缩减维度的操作。具体代码见FastGlobalAvgPool2d
2021-01-14 13:09:38
707
原创 python的scipy.sparse稀疏矩阵转置
python的scipy.sparse稀疏矩阵转置由于scipy.sparse没有稀疏矩阵转置的函数，不能直接调用。要自己写一个函数，要是对sparse比较熟悉的话还是可以很快写出来的def trans(D): x = find(D) return csc_matrix((x[2], (x[1], x[0])), shape(D.shape[1], D.shape[0]))...
2021-01-07 13:35:36
1296
3
原创 pytorch操作稀疏矩阵相乘
这是一个用pytorch操作稀疏矩阵的实例在您需要操作很大的矩阵，例如100000100000大小，电脑存不下去的时候，可以考虑使用稀疏矩阵进行计算。注意pytorch只允许sparse和dense操作，不允许sparse和sparse相乘。在这个例子中，100000100000的矩阵和1000001000的矩阵相乘，结果是1000001000from scipy.sparse import csc_matrix,findimport numpy as npimport torchdata1 =
2021-01-05 15:23:48
5684
原创 Learning to Discover Multi-Class Attentional Regions for Multi-Label Image Recognition
Learning to Discover Multi-Class Attentional Regions for Multi-Label Image Recognition 模型个人理解直接上模型图：这个论文的创新点在于，利用The class activation mapping method提取出了每一个类别的热图，然后利用热图从原图中粗略的抠出来此类别的局部图像。通入和全局图像共享的特征提取网络。当然，全局图像和局部图像出来的结果需要分开计算loss，局部图像只用计算这个图像在此类的计算上的lo
2020-12-22 14:55:56
638
1
原创 pytorch输出生成一个对角tensor
pytorch输出生成一个对角tensor>>>print(torch.eye(3))tensor([[1., 0., 0.], [0., 1., 0.], [0., 0., 1.]])
2020-12-22 13:40:58
578
原创 如何在linux/服务器上使用指定版本的cuda
在linux/服务器上使用指定版本的cuda起因是我想要复现一下yolo2-pytorch，网上找的版本全都是pytorch0.4.1.以目前高版本的pytorch运行会报ImportError: torch.utils.ffi is deprecated. Please use cpp extensions instead. 的问题。网上查了一下是因为pytorch版本更新取消了utils.ffi。然后我就想既然如此弄一个新的pytorch0.4.1环境不久好啦.但是之后又遇到了pytorch041
2020-12-12 10:21:34
1944
原创 简易pytorch版faster rcnn工程。适合初学者
代码链接：https://github.com/bubbliiiing/faster-rcnn-pytorch.git.实验室要我看一些经典的目标检测论文然后自己跑跑代码看看。网上找了好久，要么是两三年之前的现在用起来bug很多，要么对操作不详细。此代码亲测可用。当然下下来有个别问题要修改一下。正常按照这个大佬的步骤走问题不大。(试了一下这个工程只能适用batchsize=1)...
2020-12-11 15:55:19
194
原创 目标检测、元学习个人理解
目标检测、元学习个人理解anchor的生成方法1.selective search 先将图片划分为多个很小的区域，然后根据各个区域之间的相似度不断聚合小区域。2.Region Proposal Networks 将特征点映射回原图，在原图上面构建一定数量的确定尺寸的bounding box。然后再用后续的网络一方面要算出bounding box需要调整的偏移量，一方面要算出每一个bounding box是否可用3.yolo的方法 让每一个子区域负责生成两个bounding box。
2020-12-06 11:39:08
1230
原创 常用的损失函数以及对应邻域
各种损失函数以及应用领域回归问题1.L1范数损失 L1Loss2.均方误差损失 MSELoss分类问题1.交叉熵损失 CrossEntropyLoss / 带权重的交叉熵损失2.KL 散度损失 KLDivLoss3.二进制交叉熵损失 BCELoss / 带权重的二进制交叉损失 / BCEWithLogitsLoss(将BCELoss和sigmoid层合并到了一起)4.SoftMarginLoss5.MultiLabelSoftMarginLoss排名问题1.MarginRankingL
2020-12-03 22:17:16
282
原创 C++用迭代器遍历map的key值方法
C++用迭代器遍历map的key值方法一般来说应用C++的map的时候，我们往往事先知道它有哪些key值，但偏偏有些问题我们实现并不知道。那么此时如何遍历出map的key值和val呢，那就只能用迭代器了，示例如下：map<int, int>::iterator iter;iter = m.begin();while(iter != m.end()){ int key = iter.first; int val = iter.second;}...
2020-11-20 11:04:01
8194
4
国科大2020年刘莹数据挖掘大作业 天体光谱数据分类
2020-12-03
刘莹 数据挖掘期末考试的一些问答题答案
2020-11-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人