Linux 硬盘空间清理
Linux 硬盘空间清理0. 删除Docker一些无用的镜像在日常使用Docker时,会经常生成大量的镜像文件。这些镜像文件如果不加以管理,可能会占用大量的硬盘空间,导致系统性能下降。为了有效地释放硬盘空间,定期删除无用的Docker镜像是非常重要的。以下是一些删除无用Docker镜像的方法和步骤:
0.1 删除悬空(Dangling)镜像悬空镜像是指那些不再被任何容器使用的中间层镜像,通常由旧版本的镜像生成,随着时间的推移,这些悬空镜像会占用大量的磁盘空间。可以使用以下命令删除它们:
1docker image prune
这条命令会提示你是否要删除所有未被使用的镜像,输入y确认即可。这个命令非常安全,因为它只会删除不再被容器使用的镜像。
如果想要跳过确认步骤,可以使用以下命令:
1docker image prune -f
0.2 删除所有未使用的镜像如果你想要删除所有未被任何容器使用的镜像(不仅仅是悬空镜像),可以使用以下命令:
1docker image prune -a
此命令将删除所有不被当前容器使用的镜像,无论它们是否是悬空的。要小心使用此命令,因为它会删除大量的镜像,可 ...
如何在Linux服务器上安装Anaconda(超详细)
安装Anaconda1.1 下载anaconda的安装包这里我们需要在官网上查找自己需要的版本,地址链接在下面:https://repo.anaconda.com/archive/这里以我自己安装的版本为例:https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh这是我选择的版本,然后我们在控制台输入这句话:1wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh如果没有出现问题就是下面图示:如果出现问题就按照 1.2 步骤操作。
1.2 解决安装出现的bug当我们输入1.1的那一条命令时,有些人可能会出现下面这样的错误:1bash: wget: command not found当然这也是我自己出现的错误,具体解决办法如下: Debian/Ubuntu系统,需要执行以下命令:1apt-get install -y wget相反,CentOS系统则需要输入下面指令:1yum install wget -y
1.3 安装a ...
SSH连接服务器中断,代码继续运行
1、ssh连接linux服务器中断后,如何让命令继续在服务器运行这个问题也许是我们这些小白比较头疼的问题,尤其对于那些做机器学习需要花很久的时间才能训练出一个结果。然而就在这时,因为各种不可抗力我们使用ssh连接服务器时,ssh的窗口突然断开了连接,那么在服务器上跑的程序就也跟着断掉了,之前所有跑的数据也将丢失,这样将会浪费我们大量的时间。
今天刚好有人跟我提到了这个问题,然后就简单上网查找资料,简单的学习一下,做个笔记方便自己以后查阅。
参考链接:
http://blog.csdn.net/gukesdo/article/details/6901902
2、为什么ssh一旦断开我们的进程也将会被杀掉?元凶:SIGHUP 信号
让我们来看看为什么关掉窗口/断开连接会使得正在运行的程序死掉。
在Linux/Unix中,有这样几个概念:
进程组(process group):一个或多个进程的集合,每一个进程组有唯一一个进程组ID,即进程组长进程的ID。
会话期(session):一个或多个进程组的集合,有唯一一个会话期首进程(session leader)。会话期ID为首进程的ID。
会话 ...
Tmux使用教程
1. tmux介绍1.1 会话与进程命令行的典型使用方式是,打开一个终端窗口(terminal window,以下简称“窗口”),在里面输入命令。用户与计算机的这种临时的交互,称为一次“会话”(session) 。
会话的一个重要特点是,窗口与其中启动的进程是连在一起的。打开窗口,会话开始;关闭窗口,会话结束,会话内部的进程也会随之终止,不管有没有运行完。
一个典型的例子就是,SSH 登录远程计算机,打开一个远程窗口执行命令。这时,网络突然断线,再次登录的时候,是找不回上一次执行的命令的。因为上一次 SSH 会话已经终止了,里面的进程也随之消失了。
为了解决这个问题,会话与窗口可以“解绑”:窗口关闭时,会话并不终止,而是继续运行,等到以后需要的时候,再让会话“绑定”其他窗口。
1.2 Tmux 的作用Tmux 就是会话与窗口的“解绑”工具,将它们彻底分离。
(1)它允许在单个窗口中,同时访问多个会话。这对于同时运行多个命令行程序很有用。
(2) 它可以让新窗口“接入”已经存在的会话。
(3)它允许每个会话有多个连接窗口,因此可以多人实时共享会话。
(4)它还支持窗口任意的垂直和水平拆分 ...
防火墙ufw 以及 开放端口
Ubuntu 默认使用 UFW(Uncomplicated Firewall)作为防火墙,并且已经支持界面操作了。在命令行中运行 ufw 命令就可以看到一系列可进行的操作。
最简单的一个操作是使用以下命令来检查防火墙的状态:
1sudo ufw status
我的返回结果是:不活动。
防火墙版本:
123sudo ufw versionufw 0.29-4ubuntu1Copyright 2008-2009 Canonical Ltd.
Ubuntu 系统默认已安装 UFW。
1. 安装1sudo apt-get install ufw
2. 启用12sudo ufw enablesudo ufw default deny
运行以上两条命令后,开启了防火墙,并在系统启动时自动开启。这将关闭所有外部对本机的访问,但本机访问外部仍然正常。
3. 开启/禁用以下命令可以打开或关闭某个端口:
1234567sudo ufw allow smtp # 允许所有的外部 IP 访问本机的 25/tcp (smtp) 端口sudo ufw allow 22/tcp # 允许所有的外部 I ...
SSHFS-WIN使用连接Linux服务器
https://github.com/evsar3/sshfs-win-manager
InstallationStep 1Install SSHFS-Win on your Windows computer.Follow they installation instructions before continue.
Install the latest version of WinFsp.
Install the latest version of SSHFS-Win. Choose the x64 or x86 installer according to your computer’s architecture.(一般win电脑是x64)
在您的Windows计算机上安装SSHFS-Win。 在继续之前,请按照以下安装说明进行操作:
安装最新版本的WinFsp。
安装最新版本的SSHFS-Win。根据您计算机的架构选择x64或x86安装程序。(通常情况下,Windows电脑使用x64架构。)
Step 2Once SSHFS-Win is installed, d ...
ChatPaperFree GeminiPro(一分钟读论文)
ChatPaperFree是一个基于ChatGPT的自动论文摘要生成器,在ChatPaper的基础上进行的更新,采用了最近由Google开源的Gemini Pro大模型。目前,我们能够对用户输入的论文进行自动总结。未来,我还计划加入对论文图片/表格/公式的识别 extraction,从而生成更全面而易读的总结。
VS Code Server 离线安装(解决超时,XHR Failed等问题)
在设置远程开发环境时,我们首先需要获取并安装 VS Code Server 程序。由于不同的服务器版本和环境,不一定会事先预装 VS Code Server,那么我们需要手动进行下载安装。有时候安裝等半天,有时候还报错,为了防止这样的情况,我还是记录一下解决方法,免得每次都需要找好多资料,但是找不到一个很有效的。
如果服务器是连接外网的,就根本不用有这个烦恼,因为下载很快,有时候主要是因为离线安装
这里我就介绍一种方法,我觉得最有效的方法,其他可能太麻烦而且不一定有效
具体操作如下:
首先,我们需要到 VS Code 的下载页面获取最新的版本号,记为 Commit ID。
除此之外,也可以直接在vscode左上角的帮助查看版本,如:
访问此地址 https://update.code.visualstudio.com/commit:${commit_id}/server-linux-x64/stable,其中需要用实际的 Commit ID 替换 ${commit_id} 变量字段。
比如我这里就是 https://vscode.download.prss.microsoft. ...
CUDA编程实践:LLTM加速优化实践
接下来再进行一个实践,根据pytorch官网的一个[应用扩展文档](https://pytorch.org/tutorials/advanced/cpp_extension.html#)来一起来实现这个LLTM的神经网络的实现,这是官方对应的代码 https://github.com/pytorch/extension-cpp。 首先介绍一下,假设有一种新的循环单元,这个循环单元类似于 LSTM,但不同之处在于它没有遗忘门,并使用指数线性单元 ([ELU](https://so.csdn.net/so/search?q=ELU&spm=1001.2101.3001.7020)) 作为其内部激活函数。因为这个单元能够记忆很久,我们称之为 LLTM,或 Long-Long-Term-Memory 单元。
CUDA编程学习:自定义Pytorch+cpp/cuda extension
虽然说PyTorch提供了丰富的与神经网络、张量代数、数据处理等相关的操作,但是有时候你可能需要**更定制化的操作**,比如使用论文中的新型激活函数,或者实现作为研究一部分开发的操作。在PyTorch中,最简单的集成自定义操作的方式是在Python中编写,通过扩展Function和Module来实现,