Skip to content

sanbuphy/awesome-cs-tutorial

BranchesTags

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

47 Commits
README.md
README.md
 
 

Repository files navigation

写在前面

If any English-speaking friends see my GitHub repository, some of the resources here might be helpful to you too! You can use translation software to read it.

Here, I have curated a collection of websites and small tools that I find to be of good taste, covering but not limited to the following areas:

  • Mathematics learning
  • Basic computer science learning (operating systems, etc.)
  • Basic computer operations (Windows system, Linux system, Docker)
  • Basic deep learning study materials and practical resources
  • Deep learning system study materials
  • Basic language learning (Python, C++)
  • Interesting open-source projects and tools (can replace common workflows)

Updated periodically, enjoy your time here! 🕶

With a sidebar directory (viewable on desktop):

https://www.aispacewalk.cn/docs/other/awesomeweb

GitHub open-source repository: https://github.com/sanbuphy/my-awesome-cs

收录了品味好的网站和小工具，涵盖不限于以下几个领域：

  • 数学学习
  • 计算机基础学习（操作系统等）
  • 计算机操作基础（windows系统、linux系统、docker）
  • 深度学习基础学习资料及实践资料
  • 深度学习系统学习资料
  • 语言基础学习（python、c++）
  • 有趣的开源项目和工具（可替换常见工作流）

不定期更新

带目录边栏（电脑上可看）：https://www.aispacewalk.cn/docs/other/awesomeweb

github开源仓库地址： https://github.com/sanbuphy/my-awesome-cs

Feel free to discuss with me in the github issue!

**基础素质要求（NJU-PA **https://nju-projectn.github.io/ics-pa-gitbook/ics2024/ ）

提问的艺术

https://github.com/ryanhanwu/How-To-Ask-Questions-The-Smart-Way/blob/main/README-zh_CN.md

不像弱智一样提问

https://github.com/tangx/Stop-Ask-Questions-The-Stupid-Ways/blob/master/README.md

不要再偷懒了——蒋炎岩老师（nju jyy）

部分内容出自以下参考网站，也欢迎关注他们

PPRP：

https://www.cnblogs.com/pprp/p/8880493.html

如需转载请注释原出处即可，谢谢

数学

机器学习相关数学基础

直观理解机器学习的数学过程

李航统计学习基础第一章补数学基础 只需要第一张 补基础，其他有问题再找

Deep Learning An MIT Press book参考第一章即可，中文版在这或者直接下载附件中dlbook_cn_v0.5-beta。

概率论与数理统计

陈希孺 概率论与数理统计基础 参考课程视频地址

【概率统计课程学习总结】1. 台大概率与台湾交通大学统计课 - 奶油煎蛋红烧肉的文章 - 知乎 https://zhuanlan.zhihu.com/p/86071634

台湾大学 - 頑想學概率：機率一 (Probability (1))

台湾大学 - 頑想學概率：機率二 (Probability (2))

台湾交通大学 - 統計學 Statistics

台湾交通大学 - 高等統計學 Advanced Statistics

线性代数

Linear Algebra for Everyone 图解

https://github.com/kenjihiranabe/The-Art-of-Linear-Algebra

矩阵求导入门 或者你也可以参考我整理的文章：

https://sanbuphy.github.io/p/矩阵求导简易入门手册/

线代启示录（一位掌握了线代灵魂的老师）

https://ccjou.wordpress.com/

immersive linear algebra 线性代数可视化

http://immersivemath.com/ila/index.html

新MIT 线性代数 18.065 by Gilbert Strang

https://www.bilibili.com/video/BV1a7411M7wH?p=1&vd_source=a6509cab8ccb8b81d6a70af693cc008f

CS大类

CS自学指南【必看】

https://csdiy.wiki/

【北美名校CS课程集锦】2.加州大学伯克利分校CS课程全集 - 文兄的文章 - 知乎 https://zhuanlan.zhihu.com/p/102083014

Quick Reference开发人员速查表（各种语言、脚本、常用工具的命令速查）

https://quickref.me/

https://xushanxiang.com/ref/

基本操作

GDB、VIM、GIT、Terminal艺术

https://nju-projectn.github.io/ics-pa-gitbook/ics2021/index.html

https://github.com/sanbuphy/vimplus/blob/master/install.sh

  • shell和程序开头的字符画LOGO生成工具

https://tools.kalvinbg.cn/txt/ascii

系统相关及系统信息相关

获取CPU的性能信息和常见信息，涵盖x86/arm等多硬件

https://github.com/pytorch/cpuinfo

如何开机自动挂载新硬盘（非ubuntu安装硬盘）

https://blog.csdn.net/qq_27370437/article/details/117806294

如何维护和切换gcc与g++代码（两种方案）

最简单的，通过设置不同优先级并切换即可：

# https://www.cnblogs.com/haiyonghao/p/14440283.html
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.8 40
# 设置gcc-5的优先级
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 50
# 修改系统中的默认gcc版本
sudo update-alternatives --config gcc

#如果想要根据优先级切换gcc版本，可以输入这个后在输入前面设定的数字
sudo update-alternatives --config gcc

https://blog.csdn.net/FX677588/article/details/78681325

https://cloud.tencent.com/developer/article/1430839

如何及时获取可视化的CPU频率和使用率信息：(Linux 查看CPU当前运行频率和温度)

sudo pip install s-tui

sudo s-tui

多线程并发解压缩文件

https://zhuanlan.zhihu.com/p/389817246

pigz -k your_file_name # 压缩文件

tar -cvf - dir1 dir2 dir3 | pigz > output.tar.gz # 压缩文件夹

unpigz -d your_file_name.gz

git相关，git指南

  • 通过聊天的感觉入门并熟练git

https://wkevin.github.io/GitChat/gitchat.html#round-1-起步

  • git常见操作整理

https://www.ruanyifeng.com/blog/2015/12/git-cheat-sheet.html

  • 简单的git ssh秘钥教程

https://blog.csdn.net/helloasimo/article/details/123778112

  • 添加了SSH密钥，git推送/拉取时要求验证

https://blog.csdn.net/qq_37435462/article/details/122240506

  • 简单的pr教程

https://mmcv.readthedocs.io/zh_CN/latest/community/pr.html

  • github linux下的desktop版

https://github.com/shiftkey/desktop/releases

  • git的rebase的使用说明（可用于合并多次commit,修改commit等情况）

https://www.jianshu.com/p/4a8f4af4e803

  • git中文乱码问题解决
git config --global i18n.commitencoding utf-8
git config --global i18n.logoutputencoding utf-8
export LESSCHARSET=utf-8
  • git 删除历史记录大文件，减轻负担 https://blog.csdn.net/baobaoxiannv/article/details/105586187
  • git如何结束一大堆的safe directory问题（少部分还可以自己一个个忽略，如果全都是就只能这样先把所有safe git 警告关闭 git config --global --add safe.directory '*'
  • git-ssh: connect to host github.com port 22: Connection timed out

    • 先看看ssh -T -p 443 [email protected]能不能访问，可以的话就进行修改转发：

      编辑 ~/.ssh/config 文件，如果没有config文件的话就直接 vim ~/.ssh/config加入以下内容 （windows在C:\Users\你的用户名.ssh 中）

Host github.com
HostName ssh.github.com   #或者是Hostname
Port 443
    再次测试 `ssh -T [email protected]`即可
  • vscode免密登陆远程服务器，git免密

    1. 确保已经有本地公钥私钥，如果没有就ssh-keygen 生成

    2. 默认拷贝本地公钥到目标服务器（如果有端口也-p加上端口）如果是windows可以在gitbash中操作即可或者用wsl的鉴权地址指定，随后 ssh-copy-id user@remote-host即可，如果你是windows强烈建议手动指定下：C:\\Users\\你的用户名\\.ssh\\id_rsa.pub linux下也可：ssh-copy-id -i ~/.ssh/id_rsa.pub user@remote-host

      ，这步结束后，可以直接在终端ssh测试下能否直接连上，理论上可以直接。

    3. vscode中加入配置即可：（修改下列配置成为你自己的配置），如果还需要密码就是IdentityFile 了

Host 名字
  HostName ssh的名字
  Port 端口
  User username
  IdentityFile "C:\Users\你的用户名\.ssh\id_rsa"
  IdentityFile "~/.ssh/id_rsa"
  • git 放宽安全策略（safe directory）git config --global --add safe.directory '*'
  • server certificate verification failed. CAfile: none CRLfile: none 相关错误：git config --global http.sslverify false
  • mirror加速： https://mirror.ghproxy.com/
  • github mirror大全https://blog.csdn.net/liveon_/article/details/127933041
  • 调整一些规则（主要是代理规则），可以使用比如 git config --global --edit
  • github 镜像加速，快速更换所有文件 find . -type f -exec sed -i 's|https://github.com/|https://更换成镜像加速地址/|g' {} +
  • wsl 提示 NTA 网络问题无法 proxy：
# 在 Windows 的 %UserProfile%\.wslconfig 文件中添加以下内容：
# Settings apply across all Linux distros running on WSL 2
[wsl2]
networkingMode=mirrored # 开启镜像网络
dnsTunneling=true # 开启 DNS Tunneling
firewall=true # 开启 Windows 防火墙
autoProxy=true # 开启自动同步代理
[experimental]
hostAddressLoopback=true

ubuntu常见疑难解答

  • 快速下载ubuntu镜像: 找到官网下载链接后使用wget下载

  • 简单安装双系统

    1、安装windows（因为windows的boot优先级比较高）

    2、安装ubuntu，他能检测到和windows并存的状态，选择那个安装即可

  • 简单更换ubuntu镜像源

    • Settings→About→Software Updates→Download from
    • 选择其他服务器，然后找到中国，选择进行测试以便找到最快的站点。

  • sudo apt-get update: 0% [正在等待报头]问题的解决（参考https://article.itxueyuan.com/XP2rn）

    • 先断网然后找到Settings→About→Software Updates关闭所有下载
    • sudo apt-get clean
    • 接下来将/etc/apt/source.list文件内容清空并保存
    • 恢复网络，将第一步中取消掉的四个选项重新点选然后在最佳国内服务器更新即可。

  • 给第三方软件appimage加上快捷方式：https://www.cnblogs.com/HGNET/p/16396589.html

  • ubuntu实体机快照：

    https://blog.csdn.net/wf19930209/article/details/104236358

  • ubuntu循环依赖问题：

    在安装某些东西的时候，你很可能会遇到循环依赖问题，这里慎重降级！！！！除非是必需品。操作不当很容易直接把服务/内核挂了，此时最好的办法是开个docker。（尤其是看到lib XXX的时候要小心）

  • ncdu 工具分析磁盘空间占用情况（超好用，如果是wsl，运行ncdu --exclude /mnt // wsl下排除/mnt （当然，你也可以用 sudo du -d 1 -h | less 进一步分析）

  • 如何打造Ubuntu Togo 利用虚拟机

    https://blog.csdn.net/afsafasfa/article/details/125782222

  • 改变ubuntu swap大小

    https://zhuanlan.zhihu.com/p/222512751

  • ubuntu陷入休眠怎么办如何关闭ubuntu自动休眠：

    首先检查系统日志是不是陷入休眠了，或者直接看systemctl status sleep.target

    如果loaded说明启动了挂起规则，此时只需要如此操作后重新查看状态至masked即可：

    sudo systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target

  • 快速挂载一个新的盘：

# 方法一（推荐）先分区然后创建文件系统
fdisk /dev/sdb
# 依次输入:n->p->1->回车->回车->w
fdisk -l # 查看到刚才分出来的新分区
mkfs.ext4 /dev/sdb1

# 方法二（不推荐） 直接格式化创建文件系统
# 执行：lsblk  然后  sudo mkfs.ext4 /dev/sdb
sudo mkdir /mnt/mydisk
sudo mount /dev/sdb1 /mnt/mydisk

# 永久挂载：
#打开配置文件
vi /etc/fstab
#在配置文件最后输入
/dev/vdb1 /目标目录   ext4    defaults        0 0
  • 已有文件系统在扩容硬盘，如何继续扩容
# 没有分区，直接构建文件系统的情况
# 检查文件系统是否有错误，并准备扩展
sudo e2fsck -f /dev/sdb
# 使用 resize2fs 工具扩展文件系统：
sudo resize2fs /dev/sdb

# 已有分区，扩展该分区的文件系统
sudo apt-get install cloud-guest-utils
sudo growpart /dev/vdb 1
sudo resize2fs /dev/vdb1
sudo mount /dev/vdb1 /挂载点
  • wget下载如何不需要 -O 强制重命名文件，加入参数 --content-disposition ，wget可下载多文件，直接顺序空格间距接下去url 即可，或者 -i xxx.txt
  • /lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.30' not found 类似问题：
# 更新系统 gcc 比较麻烦可以用 conda 里面的，直接修改环境变量就可以让他被优先查找
conda install -c conda-forge gcc_linux-64=12.1.0 gxx_linux-64=12.1.0
export PATH=$CONDA_PREFIX/bin:$PATH
export LD_LIBRARY_PATH=$CONDA_PREFIX/lib:$LD_LIBRARY_PATH
# 永久保存 （不建议）
echo 'export PATH=$CONDA_PREFIX/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CONDA_PREFIX/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

WSL2常见疑难解答

【注！ 推荐使用挂载/mnt的系统磁盘进行操作，否则很容易让wsl的虚拟磁盘占用很大，删除后无法释放。若你想要释放则需要参考下面的指定教程】

  • WSL入坑指南（很全的资料，包括开发环境的配置）

https://dowww.spencerwoo.com/

  • windows上安装ubuntu(WSL2)：

1、在microsoft下载ubuntu 2、根据下列方式导出并导入镜像，防止占用C盘空间（默认安装在C盘）http://t.zoukankan.com/davidchild-p-15606786.html （用这个方法还可以及时快照保存~

  • WSL2常用命令（开启关闭甚至注销等等

https://learn.microsoft.com/zh-cn/windows/wsl/basic-commands

  • 安装WSL2专用systemctl【目前（2023/02/02）只能用于20.04,请勿在22.04中使用！】（慎重使用，可能会导致pycharm连接出现问题，请先快照后再进行尝试！

https://github.com/DamionGans/ubuntu-wsl2-systemd-script

  • WSL中如何使用proxy：（服务器版本的通用方法）
    • 第一步 下载：https://github.com/v2fly/fhs-install-v2ray 运行 install-release.sh，然后你可能会在里面发现在下载哪个zip要很久，可以直接wget下来解压即可
    • 第二步 启动：直接 run 即可，然后设置一个本地json。 你可以后台运行，也可以在一个终端中运行起来，然后新开一个终端去export ALLproxy之类的就好，参考docker的做法，或者使用proxychains4也可以。）在终端中运行/usr/local/bin/v2ray run -config /usr/local/etc/v2ray/config.json 即可启动！
    • 第三步 使用：就当作一个已经监听了某个端口的proxy使用即可
    • 注释：当然，为了方便你可以自行改造，使用 /etc/init.d/ 目录中的服务命令或 service 命令替代systemctl。
  • 注意！WSL2经常会与主机时间不同步，这可能会造成很多问题（包括proxy用不了），你最好设置一个启动脚本或自己执行sudo hwclock -s强制对WSL2时间进行同步，可使用sudo hwclock查看WSL的当前时间，
  • 以防出现奇怪问题你可以经常对WSL做快照：https://blog.csdn.net/weixin_43425561/article/details/115765148
  • 改变/增加WSL2的内存、swap空间大小

在C盘的用户主目录下（比如我的是C:\Users\sanbu）创建.wslconfig文件夹，在里面输入

[wsl2]
memory=8GB
swap=16GB
# 为 WSL 2 虚拟机分配的处理器核心数量
# processors=<number>

在配置设置完之后，在powershell执行wsl --shutdown命令进行关闭，随后再打开即可（注意，如果你使用了docker-desktop，实际上也是基于wsl2构建的，所以也会影响到的对应环境的资源

  • 暴露wsl的服务（桥接）：https://www.cnblogs.com/huanliu/p/17161388.html （记得开始要在powershell 中使用Set-VMSwitch WSL -NetAdapterName 以太网）此时桥接后可能还不能上网，需要加入8.8.8.8 nameserver

简单启动流程：

Set-VMSwitch WSL -NetAdapterName 以太网

然后运行下列ps1文件

echo "正在解除wsl桥接..."
Set-VMSwitch WSL  -SwitchType Internal
echo "正在重启wsl"
wsl --shutdown
wsl --cd ~ -e ls
echo "`ndone"
pause

然后wsl中：

new_ip=新的映射ip
brd=新的映射ip.255
gateway=网关
nameserver=网关
net_dev=eth0
sudo ip addr del $(ip addr show $net_dev | grep 'inet\b' | awk '{print $2}' | head -n 1) dev $net_dev
sudo ip addr add $new_ip/24 broadcast $brd dev $net_dev
sudo ip route add 0.0.0.0/0 via $gateway dev $net_dev
sudo sed -i "\$c nameserver $nameserver" /etc/resolv.conf
  • wsl的硬盘空间怎么办？——挂载其他硬盘，如：sudo mount -t drvfs D: /mnt/d
  • WSL怎么释放空间，wsl硬盘压缩虚拟硬盘压缩：https://zhuanlan.zhihu.com/p/521747491
    • 在Program Files\DOCKERimages\DockerDesktopWSL\data 之类的地方搜索
    • 或者是 C:\Users\hp\AppData\Local\Packages\之类的地方搜索能找到ext4.vhdx文件
  • WSL 有时候发现没法使用nvidia-smi怎么办？其实有时候是因为没有权限，如果你发现sudo nvidia-smi可以但是非sudo不行那可能是因为root 切 用户的时候权限错了。。。sudo su 用户 就可以解决问题，并不是显卡挂了
  • 一个巨坑，WSL 和 Docker Desktop 的 bug 问题，如果你装了这两个可能会在启动wsl或者vscode链接wsl的时候遇到如下类似的问题：
Processing fstab with mount -a failed.

<3>WSL (8) ERROR: CreateProcessEntryCommon:370: getpwuid(0) failed 2
<3>WSL (8) ERROR: CreateProcessEntryCommon:374: getpwuid(0) failed 2
<3>WSL (8) ERROR: CreateProcessEntryCommon:577: execvpe /bin/sh failed 2
<3>WSL (8) ERROR: CreateProcessEntryCommon:586: Create process not expected to return
因为这时候你使用`wsl -l`会发现默认的发行版是 docker-desktop，所以我们需要把他切换成ubuntu即可：使用 `wsl -s Ubuntu` 设置成发行版即可（在 wsl -l 里找你的ubuntu版本）
  • 注意不同的操作系统编辑创建文件后行尾符可能不同，使用的时候请显式在IDE指定是LF（如果需要在linux运行）否则会出现 command not found 的 报错。LF（Line Feed）使用于 Unix 和类 Unix 系统，表示为 \n，是单个字符（ASCII 10）；CRLF（Carriage Return + Line Feed）使用于 Windows 系统，表示为 \r\n，包含两个字符：回车（ASCII 13）和换行（ASCII 10）。

windows常见工具箱

  • 有关windows家的镜像源以及VS等的纯净安装文件，以及各种网络工程师能用到的软件程序安装包

https://msdn.itellyou.cn/

  • 图吧工具箱（给自己电脑做硬件分析等等

http://www.tbtool.cn/

  • DISM++ 最好用的windows控制面板工具箱（直接看release部分下载

https://github.com/Chuyu-Team/Dism-Multi-language

  • Ubuntu - bash脚本与 Windows - bat 脚本互相转换工具（Bash to Bat Converter

https://daniel-sc.github.io/bash-shell-to-bat-converter/

  • windows-linux命令行对照表

https://www.geeksforgeeks.org/linux-vs-windows-commands/

  • windows下类似apt这种包管理软件——scoop

https://blog.csdn.net/weixin_45191386/article/details/130662281

  • windows kill 指定端口程序
netstat -ano | findstr :<port_number>

taskkill /PID <pid> /F

  • 硬盘分区和文件强制删除工具（比大多数的粉碎工具都好用）

    https://www.diskgenius.cn/

  • 用于在其他系统去除windows的\r标识，避免macos和linux运行报错：

sed -i '' $'s/\r$//' filename

正则表达式相关

  • 正则表达式入门与练习

https://github.com/ziishaned/learn-regex/blob/master/translations/README-cn.md

  • 正则表达式可视化浏览

https://regexr.com/

  • 长正则表达式结构可视化

https://regexper.com/

  • 常用正则表达式汇总（车牌号手机号姓名IP等等）

http://obkoro1.com/web_accumulate/codeBlack/正则表达式收集.html

docker相关

【重点提示】对于ubuntu，如果你使用第一种命令行的方式安装了docker engine，切记不要安装docker desktop。或者直接就安装docker desktop。否则会找不到原来的镜像和container！这两并不兼容，详情请看官方说明。如果你不小心装了两个，想要恢复原来的docker，直接apt卸载docker desktop即可。

Docker Desktop on Linux runs a Virtual Machine (VM) so creates and uses a custom docker context desktop-linux on startup.

This means images and containers deployed on the Linux Docker Engine (before installation) are not available in Docker Desktop for Linux
  • docker的一切：

https://yeasy.gitbook.io/docker_practice/

  • docker官方安装教程

https://docs.docker.com/desktop/install/ubuntu/

安装结束后记的：sudo chmod a+rw /var/run/docker.sock（不过可能在一些用户权限限制比较多的电脑这样可能端口映射后对端口请求可能还是会出现一些问题，你可以通过设定为777权限解决。）

  • 使docker能够避免输入sudo（通过 docker info检查是否要sudo才可输出）

https://www.yisu.com/zixun/139260.html

  • windows下安装docker desktop到其他硬盘（主要是mklink /j "C:\Program Files\Docker" "D:\Program Files\Docker"）以防空间占用过多

参考：https://blog.csdn.net/liangcsdn111/article/details/110236655

  • 在WSL2下使用docker

【你只需要安装docker desktop然后参考这个教程，点点就能用了】：

https://dockerdocs.cn/docker-for-windows/wsl/

可以很方便使用！无需按照命令行安装即可使用docker！

  • 安装docker后启动时遇到：Failed to connect to bus: Host is down（我在WSL2遇到，非必要不使用，最好还是先安装一下systemctl确保能用）
# 运行下列操作即可，然后 sudo systemctl daemon-reload
# https://gist.github.com/alyleite/ca8b10581dbecd722d9dcc35b50d9b2b
sudo apt-get update && sudo apt-get install -yqq daemonize dbus-user-session fontconfig

sudo daemonize /usr/bin/unshare --fork --pid --mount-proc /lib/systemd/systemd --system-unit=basic.target

exec sudo nsenter -t $(pidof systemd) -a su - $LOGNAME

snap version
  • NVIDIA docker的使用（用文中方式启动docker的插件，然后用docker run gpu启动，或者参考下面的教程安装和启动。）（有时候update出问题是nvidia网络抽风了。。别急

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

  • docker换源（拉镜像极大加速）

https://blog.51cto.com/u_13281972/2997681

  • 修改Docker默认镜像和容器的存储位置

https://www.cnblogs.com/chentiao/p/16963647.html

  • docker pull images — use proxy

https://www.lfhacks.com/tech/pull-docker-images-behind-proxy/

  • docker — use proxy（在容器内）（记得主机listen 172或者0.0.0.0

方法一：

-it 以及加上了host命令进入docker后（比如：）

nvidia-docker run --name paddle-test -v $PWD:/paddle --network=host -it [registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev](http://registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev) /bin/bash

此时在内部可以看到两个网卡，我们可以监听172ip的某个端口，然后使用

export ALL_PROXY="http://172.17.0.1:8888/"

export ALL_PROXY=socks5://172.17.0.1:1088 即可使用proxy。（有时候还不够用，可以加上https的）（不需要host network 只需要bind 172 即可使用）

export http_proxy="http://172.17.0.1:8888/"

export HTTP_PROXY="http://172.17.0.1:8888/"

export https_proxy="http://172.17.0.1:8888/"

export HTTPS_PROXY="http://172.17.0.1:8888/"

docker build proxy：

  1. make sure your proxy bind 172.17.0.1 and port (e.g. 8888)
  2. add that in dockerfile
ENV http_proxy "http://172.17.0.1:8888/"

ENV HTTP_PROXY "http://172.17.0.1:8888/"

ENV https_proxy "http://172.17.0.1:8888/"

ENV HTTPS_PROXY "http://172.17.0.1:8888/"
  1. run it

**方法三：**运行终端版的v2ray之类的软件，后台运行后直接使用proxychains4的http代理即可（很多不能走socker）

注释：如果而在终端遇到curl之类的奇怪的http问题，请env|grep查看有无奇怪的环境变量或者关闭proxy的系统proxy功能。因为无需开启也可以操作。

  • docker磁盘占用查看与缓存清理

https://blog.csdn.net/m0_67390963/article/details/126327604

  • 利用docker调试代码，以apollo为例：

https://zhuanlan.zhihu.com/p/468146522

  • 导出自己的镜像和导入：

https://yeasy.gitbook.io/docker_practice/container/import_export

  • 提交自己的镜像到dockehub：(你也可以参考上面提到的docker的一切，里面什么都有。

可参考 https://blog.csdn.net/butterfly5211314/article/details/83068807

  • windows下docker挂载本地文件夹（利用powershell或者cmd之类的）

-v /d/PycharmProjects:/test （注意一下这个形式） -v挂载本地文件夹到docker容器中，在容器中修改/test文件夹中的内容也就是修改D:\PycharmProjects文件夹中的内容

  • docker读写：docker save example-image > example-image.tar写：docker load < example-image.tar

前端相关

nodejs下载安装与初始化方法

https://nodejs.org/en/download

https://blog.csdn.net/xuchaoxin1375/article/details/121709299

用自然语言对话生成前端页面

https://v0.dev/

node npm切换版本

nvm use xxx

其他

云服务器相关：

（AWS）boto3使用教程用法

https://blog.csdn.net/weixin_46105038/article/details/118220439

不知道变量怎么命名就可以看看：

https://unbug.github.io/codelf/

电脑装机，组装一台电脑：

去bilibili随便搜前二的 多看几遍

我自己的配置：

凯侠1T ：375
铭瑄3060 12g 2349 （记得卡扣先打开再插显卡
金白达三星16G*2  389
爱国者机箱  114 （机箱大比较好处理线
海韵金牌全模组650W  599
散热器利民ax120rse   69.9
13490F + B660M WIFID4重炮手 华硕   2429

gradio的proxy冲突了怎么办？

——设置不同的监听地址，比如gradio可以直接监听ip或者172的容器地址，不需要127.0.0.1

QT报错如何，类似 qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in "" even though it was found. https://neucrack.com/p/407

  • export QT_QPA_PLATFORM="xcb"
  • export QT_DEBUG_PLUGINS=1
  • export QT_QPA_PLATFORM=offscreen

其他有趣的文章

有关linux的基础讲解，有配图和自己的理解，推荐一读。

https://segmentfault.com/u/public0821

一个对cpu和网络了解都非常深入的工程师

https://plantegg.github.io/

其中最好的一类文章（有关cpu的讲解）https://plantegg.github.io/2021/06/01/CPU的制造和概念/

一个关于各种生成网络和编码器小论文通读的博主，有些写的还可以（比较基础入门）

https://medium.com/@falconives

java相关技术栈资料大全博主（还有一些三大件相关的资料，还挺多

http://learn.lianglianglee.com/

Linux性能分析工具大全（Linux/BSD性能专家Brendan Gregg）

https://www.brendangregg.com/linuxperf.html

面向程序员的各类调用库清单（主要是C/C++ PYTHON)

https://github.com/programthink/opensource

GitHub中文排行榜

https://github.com/GrowingGit/GitHub-Chinese-Top-Charts

GitHub 上有趣、入门级的开源项目

https://github.com/521xueweihan/HelloGitHub

美化自己的github界面

https://zhuanlan.zhihu.com/p/454597068

github.com/rzashakeri/beautify-github-profile

https://bowenyoung.cn/posts/githubBeautify

社区制作的一键生成界面：https://rahuldkjain.github.io/gh-profile-readme-generator/

公众号 / 真没什么逻辑的作者（为什么这么设计系列文章）涉及网络、数据库、操作系统等

https://draveness.me/whys-the-design/

Roadmap to becoming a developer

https://github.com/kamranahmedse/developer-roadmap

小林 x 图解计算机基础（国内最好的八股文整理之一）（图解网络和操作系统）

https://xiaolincoding.com/

linux inside 讲解了一下linux内部运行机制，比如Program startup process in userspace

https://0xax.gitbooks.io/linux-insides/content/Misc/linux-misc-4.html

苏剑林的空间（从数学再到NLP再到天文都有涉猎

https://spaces.ac.cn/

技术博文《Chromium 渲染流水线——字节码到像素的一生 》 http://t.cn/A60JwWOw 本文回顾了现代浏览器架构和Chromium进程模型的基础知识，以及Chromium 中渲染流水线的整个过程。所谓渲染流水线，就是从接受网络的字节码开始，一步步处理这些字节码把它们转变成屏幕上像素的过程

深入了解现代 web 浏览器系列文章

计算机的核心 CPU 和 GPU、在进程和线程上执行程序

http://t.cn/A6ani5Ip

操作系统与体系结构

南京大学计算机基础（袁春风）CSAPP的青春版，但比csapp好懂得多（强烈不建议一开始就读csapp

赶时间可以直接看配套书。

https://www.icourse163.org/course/nju-1001625001#/info

前置：南京大学计算机基础实验（做了能让你真的变强）https://nju-projectn.github.io/ics-pa-gitbook/ics2021/index.html

2022 南京大学拔尖计划《操作系统：设计与实现》

(蒋炎岩 我永远的超级无敌酷炫宝藏男神，还有什么好说的呢？没有他我就永远不懂计算机的美丽

当然包云岗老师也是我的男神哈哈哈哈哈哈)

课程主页：http://jyywiki.cn/OS/2022/ (slides、示例代码)

视频地址： https://www.bilibili.com/video/BV1Cm4y1d7Ur/

操作系统（哈工大李治军老师）课件可在下方链接获取。

MIT 6.S081: Operating System Engineering

https://csdiy.wiki/操作系统/MIT6.S081/

浙江大学周亚金老师的操作系统课课件（写的很好，有操作和现代的一些规范备注，我很喜欢）

在Schedule中可以获取到全部课件

https://yajin.org/os2018fall/

南京大学软件分析课程：

https://tai-e.pascal-lab.net/pa1.html#_1-作业导览

https://space.bilibili.com/2919428/channel/series

教科书《计算机体系结构基础》（胡伟武等，第三版）的开源版本

https://github.com/foxsen/archbase

【MIT公开课】6.172 软件性能工程

https://www.bilibili.com/video/BV1wA411h7N7/

Online 8086 EMULATOR

https://yjdoc2.github.io/8086-emulator-web/

其他有趣文章:

如何实现一个elf的loader：https://blog.csdn.net/GoolyOh/article/details/119801160

从一个ELF程序的加载窥探操作系统内核:

https://blog.csdn.net/goolyoh/category_11298420.html

如何实现最小的hello world?

https://cjting.me/2020/12/10/tiny-x64-helloworld/

Linux 内核揭密（一系列关于 Linux 内核和其内在机理的帖子。）

https://xinqiu.gitbooks.io/linux-inside-zh/content/

计算机网络学习

课程类待补充

其他文章：

tcp高级疑难汇总案例分析：plantegg.github.io/2021/02/14/TCP疑难问题案例汇总/

这个博主写了网络编程相关的一系列文章：https://juejin.cn/user/862486453028888/posts

其中我最喜欢：Nginx一网打尽：动静分离、压缩、缓存、黑白名单、跨域、高可用、性能优化：

https://juejin.cn/post/7112826654291918855

有前端Nginx服务器在线配置，及大改善修改nginx的配置体验

https://www.digitalocean.com/community/tools/nginx?global.app.lang=zhCN

项目来源：https://github.com/digitalocean/nginxconfig.io

数据结构与算法

hello 算法，图文并茂的简单入门

https://www.hello-algo.com/

程序员如何准备面试中的算法

https://wizardforcel.gitbooks.io/the-art-of-programming-by-july/content/00.01.html

labuladong 的算法小抄

https://github.com/labuladong/fucking-algorithm

ACWING的课

https://www.acwing.com/activity/

GitHub's largest open-source algorithm library

https://the-algorithms.com/

数据结构与算法可视化

https://visualgo.net/zh

设计模式

一个图文并茂的设计模式学习网站

refactoringguru.cn/design-patterns

高性能计算

华东师范大学高等数值分析（高性能计算，并行计算）(Parallel and High Performance Computing)

https://math.ecnu.edu.cn/~jypan/Teaching/ParaComp/

高性能计算与编译器

常用MPI、cublas等高性能基础库调用api快速入门

https://docs.hpc.sjtu.edu.cn/app/compilers_and_languages/intel_mpi.html

mlir

LLVM IR入门指南

https://github.com/Evian-Zhang/llvm-ir-tutorial

动手写mlir by strint

http://strint.github.io/220220-mlir/220220-mlir.html

Toy Tutorial : the implementation of a basic toy language on top of MLIR.

https://mlir.llvm.org/docs/Tutorials/Toy/

Kaileidoscope: LLVM Tutorial Chinese version(中文版)

https://kaleidoscope-llvm-tutorial-zh-cn.readthedocs.io/zh_CN/latest/

webgpu

WebGPU Fundamentals

https://webgpufundamentals.org/

wgpu 中文版跨平台开发（Web + App）教程：

https://jinleili.github.io/learn-wgpu-zh/

CUDA编程

CUDA Crash Cours BY CoffeeBeforeArch

https://www.youtube.com/watch?v=2NgpYFdsduY&list=PLxNPSjHT5qvtYRVdNN1yDcdSl39uHV_sU&index=1

官方入门文档

https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html

适合入门的小型Python编译器项目（包含cuda相关内容）

https://zhuanlan.zhihu.com/p/603352525

cuda学习教程

https://space.bilibili.com/37270391/channel/seriesdetail?sid=1454805

CUDA-Programming-Guide-in-Chinese

https://github.com/HeKun-NVIDIA/CUDA-Programming-Guide-in-Chinese

CUDA C++ Programming Guide

https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html

CUDA Freshman:Some of them are from the book "Professional CUDA C Programming"

https://github.com/Tony-Tan/CUDA_Freshman

CS344 Introduction to Parallel Programming class code

https://github.com/udacity/cs344

https://www.youtube.com/watch?v=F620ommtjqk&list=PLAwxTw4SYaPnFKojVQrmyOGFCqHTxfdv2

谭升的博客，CUDA编程

https://face2ai.com/program-blog/

很好的各种各样CUDA的优化文章合计强烈推荐

https://github.com/YconquestY/Needle/blob/main/backend.md

CUDA samples CUDA官方案例

https://github.com/NVIDIA/CUDALibrarySamples

CUDA 课本相关

Programming-Massively-Parallel-Processors 相关习题作业

https://github.com/guanrenyang/Programming-Massively-Parallel-Processors/blob/master/Chapter04/README.md

https://github.com/nvixnu/pmpp__programming_massively_parallel_processors/blob/master/chapter_04/ch4__matrix_mul.cu

https://github.com/Syencil/Programming_Massively_Parallel_Processors

MPI通信

如何同时实现高性能并行+分布式计算？| Taichi x MPI4Py - 太极图形的文章 - 知乎 https://zhuanlan.zhihu.com/p/581896682

深度学习大类

NVIDIA环境配置常见问题

  • 显卡驱动安装快速方法：

（你也可以在这里下：https://www.nvidia.com/download/index.aspx?lang=en-us）

ubuntu-drivers devices

sudo apt install 输入显示的推荐版本

（如果安装失败了或者重装或者遇到冲突依赖，请先把原来的依赖删除：sudo apt-get remove --purge nvidia*

如果你使用docker，驱动重新安装后请根据 https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html 重新启动docker

  • CUDA与cuDNN的安装：（直接官网文档）【警告⚠，如果你需要安装tensorrt，请用deb形式安装cuda安装包，官方建议如果CUDA采用的是deb方式，tensorrt也要采用deb方式，】

注意：a100和3090ti不支持cuda11以下，请装113以上的版本。

教程可参考官网：Archive of Previous CUDA Releases

https://developer.nvidia.com/cuda-downloads

https://developer.nvidia.com/rdp/cudnn-archive

cudnn的官方安装教程（通过tar文件自己cp或者根据教程安装deb）

https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html

cudnn的卸载可参考：https://zhuanlan.zhihu.com/p/83971195

cuda之类的卸载参考：https://blog.csdn.net/m0_37605642/article/details/119637836

(注意，这里默认是最新版本的，你需要在右下角进入档案选择对应版本安装,或在下面的网页中找到archive）

TensorRT的安装（参考Debian Installation）【警告⚠，如果你需要安装tensorrt，请用deb形式安装cuda安装包，官方建议如果CUDA采用的是deb方式，tensorrt也要采用deb方式】

【不要安装最新的cuda工具包，很可能不支持，一般只支持上一个版本（看清楚对应cuda对应）】

https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-debian

  • 安装cuda结束后记得把这两个命令加入到~/.bashrc 然后source。

如果你想要修改版本，可以修改cuda的软链接（选择其他版本的cuda），或者在bashrc中的cuda后面加上版本，如cuda-11.2

（具体的安装和卸载也可以参考https://flywine.blog.csdn.net/article/details/81879514）

export PATH="/usr/local/cuda/bin:$PATH" 
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"

解决nvcc版本不一致问题（可能的方法，更换runtime映射

https://qiyuan-z.github.io/2022/01/06/解决nvidia-smi和nvcc显示信息与所安装CUDA版本不一致问题/

解决cudnn找不到 问题（软连接到系统库）

https://blog.csdn.net/qq451882471/article/details/106967942

CUDA GPG Repository Key

https://forums.developer.nvidia.com/t/notice-cuda-linux-repository-key-rotation/212772

Tensorrt X docker环境搭建（现在（20221228）tensorrt-ubuntu已经支持deb安装，如果tar就选linux的）

https://blog.csdn.net/hxj0323/article/details/115859174

update后nvidia报GPG相关问题（我在18.04的docker遇到）：

echo 'deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64 /' > /etc/apt/sources.list.d/cuda.list
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com  $(加入报错的密钥)
apt update
# 此处我们搜索的是libcuda.so
sudo find /usr/ -name 'libcuda.so' #有时候搜索的是libcuda.so.*
# 这一步是为了找到所在文件夹，我在WSL中搜到了几个文件夹下，我任意加入一个文件夹到LD_PATH：

# 假如前一步发现libcuda的位置为：/usr/lib/wsl/lib/libcuda.so
# 告诉系统要在这里找，你也可以把这句话加入到~/.bashrc然后source ~/.bashrc
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/targets/x86_64-linux/lib

NVIDIA显卡运行时状态监控不错的python库（实时监控）

https://github.com/XuehaiPan/nvitop

windows下安装CUDA工具链相关如果出现VS拓展安装失败的问题，可以先卸载本地安装的所有VS相关软件，然后重新安装官方的最新版本的VS就可以。

NVIDIA显卡计算能力？(如sm75）查询：https://developer.nvidia.com/zh-cn/cuda-gpus

理论基础（时间少直接看李沐/李宏毅）

周志华

南瓜书主页

https://datawhalechina.github.io/pumpkin-book/#/

周志华《机器学习》手推笔记 by Sophia-11

https://github.com/Sophia-11/Machine-Learning-Notes

周志华《机器学习》笔记（主要是文本） by yv.l1.pnn

https://zhuanlan.zhihu.com/p/134089340

深度学习网课

Anthropic 核心成员写的现代深度学习教材，包括CNN、transformer可解释性、强化学习，拥有大量有趣实验，非常推荐。

https://arena3-chapter1-transformer-interp.streamlit.app/

基础方向的经典 code https://github.com/sgrvinod

案例式入门深度学习，每个算法都与有最小data和code https://course.fast.ai/

EECS 498-007 / 598-005

https://web.eecs.umich.edu/~justincj/teaching/eecs498/FA2020/

https://web.eecs.umich.edu/~justincj/teaching/eecs498/FA2020/schedule.html

  • 李宏毅老师的课程主页：

https://speech.ee.ntu.edu.tw/~hylee/index.php 这是李老师的个人主页，可以找到每年ML的课程主页，然后获取作业代码和Kaggle链接

  • 李宏毅《机器学习》：

https://www.bilibili.com/video/BV1Ht411g7Ef

  • 李宏毅机器学习笔记：

https://gitee.com/datawhalechina/leeml-notes

  • 李宏毅《机器学习/深度学习》2021课程：

https://www.bilibili.com/video/BV1JA411c7VT?p=34

  • 李宏毅2022课程：

https://www.bilibili.com/video/BV1JK4y1D7Wb/

李沐动手学深度学习（适合速成，打基础建议李宏毅）

https://zh.d2l.ai/index.html

李沐深度学习精读

https://github.com/mli/paper-reading

伯克利 CS 182 深度学习：深度神经网络设计、可视化与理解

Home: https://cs182sp21.github.io/

https://www.bilibili.com/video/BV1PK4y1U751

University of Waterloo CS 886: Recent Advances on Foundation Models

https://cs.uwaterloo.ca/~wenhuche/teaching/cs886/

CV相关，有关各种国外AIlab的课 某科学的计算机视觉学习路线

某科学的计算机视觉学习路线 - Zircon的文章 - 知乎 https://zhuanlan.zhihu.com/p/418853202

paper with code 做法

https://nn.labml.ai/

深度学习动手项目

小土堆 pytorch学习

https://space.bilibili.com/203989554

霹雳吧啦Wz 图像分类篇章 以及目标检测

https://space.bilibili.com/18161609/channel/collectiondetail?sid=48290

手写YOLO系列和fast rcnn系列：

https://www.bilibili.com/video/BV1JR4y1g77H

https://space.bilibili.com/472467171

学会自己训练一个esrgan等超分辨率模型

 https://www.youtube.com/watch?v=iH7-eYlf7eg

超分辨率训练框架

https://github.com/muslll/neosr

手写各种论文、复现各种论文项目

https://github.com/lucidrains

手写复现各种 vit 网络

https://github.com/lucidrains/vit-pytorch

开源库/项目

OpenMMLab

https://openmmlab.com/

https://github.com/open-mmlab

paddle

https://github.com/PaddlePaddle

Deep Learning Paper Implementations

https://github.com/labmlai/annotated_deep_learning_paper_implementations

Awesome Machine Learning

https://github.com/josephmisiti/awesome-machine-learning

Awesome Deep Learning

https://github.com/ChristosChristofidis/awesome-deep-learning

【杂谈】GitHub上的机器学习/深度学习综述项目合集 - 言有三的文章 - 知乎 https://zhuanlan.zhihu.com/p/60245227

华校专，曾任阿里巴巴资深算法工程师 多年以来学习总结的笔记（机器学习和深度学习）

https://www.huaxiaozhuan.com/

有关实践方法论的总结：https://www.huaxiaozhuan.com/深度学习/chapters/18_practical.html

王树森（小红书算法工程师、基础模型团队负责人）老师的推荐系统、强化学习相关课程

https://github.com/wangshusen/RecommenderSystem

https://github.com/wangshusen/DRL

数据集类网站

https://universe.roboflow.com/

NLPDataSet（刘聪NLP收集的各种nlp数据集，接近50个。。。）

https://github.com/liucongg/NLPDataSet

NLP Chinese Data Augmentation 一键中文数据增强工具

https://github.com/425776024/nlpcda

url_img to dataset

Easily turn large sets of image urls to an image dataset. Can download, resize and package 100M urls in 20h on one machine.

https://github.com/rom1504/img2dataset

3D感知相关

从零开始搭一套激光SLAM出来, 通过代码的角度一点一点地深入学习激光SLAM.

https://github.com/xiangli0608/Creating-2D-laser-slam-from-scratch

AIGC

不错的aigc设计资讯网

https://www.uisdc.com/category/ai

在线AI Prompt生成工具和Prompt库

http://t.cn/A6N4WjEX

该工具把 AIGC 提示词可视化，并提供在线编辑功能，动态编辑十分方便

在线体验：http://t.cn/A6N46h6p GitHub：github.com/Moonvy/OpenPromptStudio、

comfyui工作流分享网站

https://openart.ai/workflows/home?workflowSort=featured

其他

快速下载torch安装包（wget下载然后直接pip install）

https://download.pytorch.org/whl/torch/

快速备忘torch gpu安装：https://pytorch.org/get-started/previous-versions/

pip install torch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1

pip install torch==2.0.0 torchvision==0.15.1 torchaudio==2.0.1

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

xformers与pytorch版本对应

2.3.0  pip install xformers==0.0.26.post1
2.2.2  pip install xformers==0.0.25.post1
2.2.0  pip install xformers==0.0.24
2.1.2  pip install xformers==0.0.23.post1
2.1.0  pip install xformers==0.0.22.post7

孪生神经网络的相关实现：

https://blog.csdn.net/weixin_44791964/article/details/107406072

https://blog.csdn.net/lx_ros/article/details/124439120

深度学习500问

https://github.com/shliang0603/Awesome-DeepLearning-500FAQ

Gradio常见疑难解答：

如何开启多个gradio对外只有一端口？：两种方法，1、gradio-app/gradio#2979 2、写两个新的fastapi然后把两个gradio的src mount到对应地方

深度学习的学习路线图，包含各大厂的学习资料

https://github.com/isLinXu/awesome-road-map

这个网站给出了不同模型的排名及其开源代码

https://paperswithcode.com/

pytorch底层源码解析（一个很不错的博主）

https://www.cnblogs.com/rossiXYZ/category/1626268.html?page=5

深度学习系统

ML system 入坑指南

https://zhuanlan.zhihu.com/p/608318764

微软出品 人工智能系统

https://github.com/microsoft/AI-System

《机器学习系统：设计和实现》（个人觉得很好 https://openmlsys.github.io/#

MLIR 文章视频汇总（MLIR目的是做一个通用、可复用的编译器框架

https://zhuanlan.zhihu.com/p/141256429

cmu 15-884: Machine Learning Systems

https://catalyst.cs.cmu.edu/15-884-mlsys-sp21/

CMU 10-414/714 Deep Learning Systems Algorithms and Implementation

神课，必修

https://csdiy.wiki/机器学习系统/CMU10-414/

https://dlsyscourse.org/

cmu Deep Learning Systems

https://dlsyscourse.org/

CSE599W system for ML

CSE 599W - Systems for ML - 辛酸阅读记录 - 清欢守护者的文章 - 知乎 https://zhuanlan.zhihu.com/p/104649426

MIT 6.5940: TinyML and Efficient Deep Learning

https://efficientml.ai/

https://efficientml.ai/schedule/

包括模型压缩、剪枝、量化、神经架构搜索、分布式训练、数据/模型并行化、梯度压缩等技术，以及针对大型语言模型、扩散模型的特定应用加速技术。

Programming Heterogeneous Computing Systems with GPUs and other Accelerators (227-0085-51L)

https://safari.ethz.ch/projects_and_seminars/doku.php?id=heterogeneous_systems

MiniTorch

MiniTorch is a diy teaching library for machine learning engineers who wish to learn about the internal concepts underlying deep learning systems. It is a pure Python re-implementation of the Torch API designed to be simple, easy-to-read, tested, and incremental. The final library can run Torch code.

https://minitorch.github.io/

libtorch 非官方教程

https://github.com/DataXujing/libtorch_tutorials/tree/main

深度学习部署

GiantPandaCV

国内最好的部署相关公众平台之一，涉及部署的内容比较多且硬核，五星推荐。

http://giantpandacv.com/resources/

http://giantpandacv.com/project/部署优化/

ncnn推理框架开发版测试

https://zhuanlan.zhihu.com/p/458139435

Build & Share Delightful Machine Learning Apps

https://gradio.app/

Optimum :

Optimum is an extension of 🤗 Transformers that provides a set of performance optimization tools to train and run models on targeted hardware with maximum efficiency.

https://huggingface.co/docs/optimum/index

nvidia NGC docker tensorrt

https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tensorrt/tags

22.10 cuda118; 22.02版本 cuda 116 ; 21.08版本 cuda114

A tool convert TensorRT engine/plan to a fake onnx

https://github.com/triple-Mu/TensorRT2ONNX

Composer is a PyTorch library that enables you to train neural networks faster, at lower cost, and to higher accuracy.

https://github.com/mosaicml/composer

tensorrt samples学习文档

https://docs.nvidia.com/deeplearning/tensorrt/sample-support-guide/index.html#python_samples_section

mit 6.S965 course TinyML and Efficient Deep Learning Computing

https://efficientml.ai/

推理&加速量化框架

ncnn

https://github.com/Tencent/ncnn

ncnn源码阅读学习

https://blog.csdn.net/sinat_31425585/category_9312419.html

openvino

https://space.bilibili.com/38566875

bbuf老师的onnx学习笔记

ONNX学习笔记 - 知乎 (zhihu.com)

TVM官方中文手册

https://tvm.hyper.ai/docs/

TVM入门笔记整理

https://github.com/JackonYang/hands-on-tvm

tensorrt 插件自生成（腾讯TPAT）

https://github.com/Tencent/TPAT

大缺弦的在线onnx转换器

https://convertmodel.com/

很好的量化工具——PPQ

https://github.com/openppl-public/ppq

ONNX性能测试工具

https://github.com/ThanatosShinji/onnx-tool

A web-based tool for visualizing and analyzing convolutional neural network architectures (or technically, any directed acyclic graph)

https://dgschwend.github.io/netscope/quickstart.html

前端推理框架相关（还有抱抱脸的js也可以看

https://morioh.com/p/3e34a2723ab4

阿里的边缘端推理压缩量化框架

https://github.com/alibaba/TinyNeuralNetwork

Run 🤗 Transformers in your browser!

https://github.com/xenova/transformers.js

an end-to-end DynamIc Shape Compiler project for machine learning workloads

https://github.com/alibaba/BladeDISC

Tensor library for machine learning

https://github.com/ggerganov/ggml

实例参考

各种开发版的基础功能调通

https://blog.csdn.net/sxj731533730

待测试

成蹊 - 知乎 (zhihu.com)

paddle_to_openvino算子开发

https://aistudio.baidu.com/aistudio/projectdetail/5241605?channelType=0&channel=0

高性能推理，TensorRT C++/Python库，tensorrt学习参考

https://github.com/shouxieai/tensorRT_Pro

A lite C++ toolkit of awesome AI models with ONNXRuntime, NCNN, MNN and TNN. YOLOv5, YOLOX, YOLOP, YOLOv6, YOLOR, MODNet, YOLOX, YOLOv7, YOLOv8. MNN, NCNN, TNN, ONNXRuntime.

https://github.com/DefTruth/lite.ai.toolkit/blob/main/README.zh.md

onxxruntime源码带读

https://zhuanlan.zhihu.com/p/530925674

美团视觉GPU推理服务部署架构优化实践（美团关于GPU的推理部署有很多不错的文章

https://zhuanlan.zhihu.com/p/605094862

NCNN底层源码带读

https://zhuanlan.zhihu.com/p/588809520

text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。

https://github.com/shibing624/text2vec

ChatFlow - Personalize your ChatGPT workflows and build the road to automation

https://github.com/prompt-engineering/chat-flow

达摩院的模型库

https://www.modelscope.cn/models

trt-samples-for-hackathon-cn(面向 NVIDIA TensorRT 初学者和开发者,提供了 TensorRT 相关学习资料和参考资料、丰富的代码范例)

https://github.com/NVIDIA/trt-samples-for-hackathon-cn

how-to-optim-algorithm-in-cuda

https://github.com/BBuf/how-to-optim-algorithm-in-cuda

A repository for storing models that have been inter-converted between various frameworks. Supported frameworks are TensorFlow, PyTorch, ONNX, OpenVINO, TFJS, TFTRT, TensorFlowLite (Float32/16/INT8), EdgeTPU, CoreML

https://github.com/PINTO0309/PINTO_model_zoo

手写类课程

手写量化、剪枝、蒸馏

https://github.com/mepeichun/Efficient-Neural-Network-Bilibili

AIGC

webui的安装相关教程合集

https://cloud.tencent.com/developer/news/1033320

python

anaconda基础

  • 国内的anaconda镜像下载

https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

  • (windows)anaconda与Jupyter notebook安装教程 (注意，powershell使用anaconda要记得init)

https://zhuanlan.zhihu.com/p/37093476

  • (linux)anaconda安装教程
    • 下载deb格式的anaconda安装包
    • 安装后在终端使用source ~/.bashrc即可在终端看到(base)标识（不要在管理员模式下运行）
  • anaconda 换源(记得更换源的时候删去default 以及备份原来的）

https://blog.csdn.net/qq_33590958/article/details/103291206

  • pip -i镜像源合集（个人喜欢用百度的）

https://www.cnblogs.com/sunnydou/p/5801760.html

  • 非conda pip直接换源（conf）

https://www.runoob.com/w3cnote/pip-cn-mirror.html

  • requirements.txt的生成教程

https://www.cnblogs.com/lvjinfeng/articles/16333180.html

  • conda与pip虚拟环境导出与转移（方便移植）

https://blog.csdn.net/weixin_42272869/article/details/122471357

  • conda常见命令和疑难问题解答：

有时候你可能会遇到类似Solving environment: failed with initial frozen solve. Retrying with flexible solve.的问题，先耐心等等！让他遍历重试完各个库（我在conda安装cling的时候遇到）

如果还是有问题再按照网上的方法进行更新conda或者重新安装conda。（或者不要在base下安装）

删除虚拟环境：conda remove -n ENV_NAME —all

conda更新：conda update anaconda

conda所有库更新：conda update --all

  • 导出自己安装的那些包（freeze是全部！）：使用pipreqs库
  • powershell下看不到（base）之类的虚拟库信息，显示出脚本安全问题无法启用，可在powershell管理员模式下输入Set-ExecutionPolicy -ExecutionPolicy RemoteSigned即可解决问题。
  • 使用pip命令时，报错：_sysconfigdata_x86_64_conda_cos7_linux_gnu.py：https://blog.csdn.net/weixin_44321570/article/details/128514763

pip 下载 cache不想默认在主目录：pip config set global.cache-dir 新目录

python 生成launch.json调试配置，zpdb库 https://github.com/LYMDLUT/zpdb

awesome项目（包含了绝大部分的python相关资源）

https://github.com/vinta/awesome-python

http://jobbole.github.io/awesome-python-cn/

Python Cookbook 3rd Edition

https://python3-cookbook.readthedocs.io/zh_CN/latest/index.html

Python并行编程

https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/index.html

Python 3 标准库实例教程(真正现代、进阶的python教程

https://learnku.com/docs/pymotw

完整的Python大项目模板，如果你想实现一个包含完整的静态检查、单元测试、CI、文档的项目

https://github.com/waynerv/cookiecutter-pypackage/tree/master

pandas教程

https://pandas.pydata.org/docs/getting_started/install.html

或者可以看看datawhale的教程

Scipy Lecture Notes//Advanced Python Constructs//Advanced NumP

http://scipy-lectures.org/index.html

SICP Python 描述 中文版

https://wizardforcel.gitbooks.io/sicp-py/content/

opencv图像处理100问，可用来查缺补漏（有些格式问题但不影响

https://github.com/gzr2017/ImageProcessing100Wen

有趣的Python爬虫和Python数据分析小项目（有些方法可能因为是3年前的东西会失效

https://github.com/Alfred1984/interesting-python

requests库官方手册（交互常用，主要需理解请求头等）

https://requests.readthedocs.io/en/latest/user/quickstart/#make-a-request

实例项目等

supervisor + gunicorn + flask 高并发的接口 + 完整（标准）的日志部署

https://zhuanlan.zhihu.com/p/79227989

教你阅读 Python 开源项目代码（里面有一些基础开源项目可以参考）

https://learnku.com/articles/23010/teach-you-to-read-the-python-open-source-project-code

很不错的python状态机（可以画成图）展示工具：

https://github.com/laike9m/Cyberbrain

常见问题解答

  • Python requests.exceptions.SSLError: EOF occurred in violation of protocol

python3.10开了代理request会出现类似情况，因为新的标准库更新了ssl版本，需要降低或者使用pip install urllib3==1.25.11或者request使用的代理改用

{"http": "http://122.230.151.87:35920", "https": "http://122.230.151.87:35920"}

C与汇编

翁恺的相关视频(入门和进阶)

https://www.icourse163.org/u/wengkai?userId=318013

100个GDB小技巧：

https://github.com/hellogcc/100-gdb-tips

https://wizardforcel.gitbooks.io/100-gdb-tips/content/part1.html

标准库收录网站

https://www.cplusplus.com/reference/

汇编语言在线解析网站

https://godbolt.org/

内联汇编学习

https://baijiahao.baidu.com/s?id=1722268508697136684

https://www.jianshu.com/p/1782e14a0766

"undefined reference to XXX"问题总结

https://github.com/Captain1986/CaptainBlackboard/blob/master/D%230001-undefined_reference_to_XXX/D%230001.md

有关硬件开发（嵌入式）的推荐个人博客列表

https://github.com/JesseGuoX/DoHard

A curated list of C good stuff.

This project does not index anything C++-related; only pure C stuff is considered.

https://github.com/sanbuphy/awesome-c

LLVM编译过程

wget https://github.com/llvm/llvm-project/releases/download/llvmorg-10.0.0/llvm-10.0.0.src.tar.xz
tar xvJf llvm-10.0.0.src.tar.xz
cd llvm-10.0.0.src
mkdir build
cd build
cmake .. -DLLVM_ENABLE_RTTI:BOOL=ON -DBUILD_SHARED_LIBS:BOOL=OFF -DCMAKE_BUILD_TYPE=Release -DLLVM_TARGETS_TO_BUILD=“X86;NVPTX” -DLLVM_ENABLE_ASSERTIONS=ON
# 如果你想在 NVIDIA Jetson TX2 上进行构建, 请使用 -DLLVM_TARGETS_TO_BUILD="ARM;NVPTX"
make -j 8
sudo make install
# 检查你安装的 LLVM 版本
llvm-config —version  # 应该是 10.0.0

C语言的jupyter notebook拓展安装：

pip install jupyter-c-kernel
install_c_kernel
jupyter kernelspec list

C++

c++入门学习（看自己兴趣按需索取）

可以和c++ primer一起看的 更现代的C++教程:

https://www.learncpp.com/

c++的jupyter notebook 扩展（用来写小作业）

conda install -c conda-forge xeus-cling

conda install -c conda-forge jupyterlab

然后输入 jupyter lab 就可以看到有c11到17内核支持的了。

如果想要在vscode使用，只要复制带token的那一大串东西然后在vscode打开jupyter下面找到server连接远程即可。

c++ 在线测试：

https://cpp.sh/

各类语言在线解析网站，包括汇编调试和各种C++标准下的insight函数

https://godbolt.org/

Composer is a PyTorch library that enables you to train neural networks faster, at lower cost, and to higher accuracy.

awesome项目（包含了绝大部分的c++相关资源）

https://github.com/fffaraz/awesome-cpp

http://jobbole.github.io/awesome-python-cn/

C++查看 算法原理

https://hackingcpp.com/cpp/std/algorithms.html

cmake 快速编译安装：

前往官网下载最新发行版：https://cmake.org/download/ 然后如下运行即可：

#卸载旧版本
sudo apt-get autoremove cmake

#安装新版本
./configure
make -j20
sudo make install

#如果此时cmake --verion 没有变化或者不存在，把下面这个加入程序到环境变量即可
vim ~/.bashrc
# export PATH=/usr/local/share/cmake-3.25:$PATH
source ~/.bashrc

Modern CMake 简体中文版

https://modern-cmake-cn.github.io/Modern-CMake-zh_CN/

cmakelist生成的makefile调试用make VERBOSE=1 而不是 make -nb

cmake快速入门

https://juejin.cn/post/6844903557183832078

CMake菜谱（CMake Cookbook中文版）（面向实际应用小工具，推荐）

https://www.bookstack.cn/read/CMake-Cookbook/README.md

cmake原理及其新手入门（知乎上的不错的文章

https://zhuanlan.zhihu.com/p/620839692

C++ reference（字典）

https://en.cppreference.com/w/

c++并发编程

https://paul.pub/cpp-concurrency/

双笙子佯谬 图形学大佬，Zeno和Taichi Blend的作者（by小彭老师

https://space.bilibili.com/263032155

高性能并行编程与优化（by小彭老师

https://github.com/parallel101/course

C++ Core Guidelines

https://github.com/isocpp/CppCoreGuidelines

Google C++ Style Guide

https://google.github.io/styleguide/cppguide.html

c++手写数据库练习 CMU 15-445: Database Systems

https://csdiy.wiki/数据库系统/15445/

C++ Standard Draft Sources（一起成为语言律师）

https://github.com/cplusplus/draft

详细的C/C++编程规范指南，由360质量工程部编著，适用于桌面、服务端及嵌入式软件系统。

https://github.com/Qihoo360/safe-rules

程序可移植性保证cmake。可获取系统信息、编译器、平台、指令集等信息。

https://www.bookstack.cn/read/CMake-Cookbook/content-chapter2-2.5-chinese.md

c++的那些事（合集了一些c++的相关小技巧和资料的开源仓库

https://github.com/Light-City/CPlusPlusThings

bazel的安装最佳实践：

官方github的release找到bash然后下载运行即可（如果安装到用户权限需要把用户的bin地址加到环境变量）

protobuf安装最佳实践（不是官网编译安装）

sudo apt install libprotobuf-dev protobuf-compiler

C++项目相关

DJI thermal analysis tool 相关教程（日文

https://qiita.com/tutu/items/b5cf2b39dd30786d9064

TinyWebServer

https://github.com/qinguoyi/TinyWebServer/tree/master

btop （实现一个硬件检测工具）

https://github.com/aristocratos/btop

内存泄露咋办？

先看监控一两周的情况。。实在不行上 ASAN Valgrind等

音视频相关

音视频原理必看国内大神-雷神

https://blog.csdn.net/leixiaohua1020/article/details/18893769

ffmpeg原理 罗上文

https://ffmpeg.xianwaizhiyin.net/cover.html

程序性能优化

性能优化实战收集（包括听风扇声音测性能）

https://github.com/plantegg/programmer_case

byte-unixbench 用于测试linux环境下的benchmark测试（包括云服务器）

https://github.com/kdlucas/byte-unixbench

学术论文

查询接受率的网站:

https://www.openresearch.org/wiki/Main_Page

LaTeX 图片转代码

点这里mathF

https://web.baimiaoapp.com/image-to-latex

LaTeX手写字符识别（不知道字符的代码是什么的时候）

http://detexify.kirelabs.org/classify.html

LaTeX开源OCR方案

https://github.com/lukas-blecher/LaTeX-OCR

论文翻译

https://tongtianta.site/

一文网尽CV/Robotics顶会论文常用高级词汇/句式！ by 叶小飞（推荐关注）

https://zhuanlan.zhihu.com/p/415926905

AI论文检索

https://elicit.org/

AI阅读论文

https://www.aminer.cn/

其他日常使用网站

有关思维导图的代码（类似markdown）生成：

https://xzmind.xuanzi.ltd/apps.html

流程图绘制：

https://app.diagrams.net/

json可视化：

https://c.runoob.com/front-end/53/

快速文件传输（随意分享给人不用网盘）(拷贝兔也可以）

https://www.wenshushu.cn/

偏极客的新闻网，无广告，而且有一套防刷热度算法，也不搞推荐算法

https://news.ycombinator.com/news

快速拼接图像和其他常用图片处理工具

http://www.atoolbox.net/Tool.php?Id=978

黑白照片上色

https://palette.fm/

让你“爱”上 GitHub，解决访问时图裂、加载慢的问题。（无需安装）

https://github.com/521xueweihan/GitHub520

利用学生、教职工身份可以享受到的相关学生优惠、教育优惠或教师优惠的权益合集

https://github.com/ivmm/Student-resources

免费好用的图床

https://imgur.com/

pdf24 免费操作pdf文件

https://tools.pdf24.org/zh/all-tools

在线生成透明ICO图标

https://www.ico51.cn/ 或者 https://tool.lu/favicon/

数以千计的免费svg/ico图标

https://icon-icons.com/zh/

免费的 svg 大图图标

https://undraw.co/illustrations

svg在线编辑器

http://www.zuohaotu.com/svg/、

Software Download Hub 纯净的软件下载区

https://www.fosshub.com/

查看开源项目的数据以及自己的个人数据（比如年度pr数量）：

https://ossinsight.io/

常用的在线avif格式转换器

https://convertio.co/zh/formats/avif/

在线图片批量缩放网站 birme

https://www.birme.net/?target_height=640

方便找素材的照片素材网站

https://pixabay.com/photos/

https://stockup.sitebuilderreport.com/

https://www.shopify.com/stock-photos

各类开源工具收录的网站HelloGitHub

https://hellogithub.com/

Machine Learning Engineering Online Book:

An open collection of methodologies to help with successful training of large language models and multi-modal models.

https://github.com/stas00/ml-engineering

excel表格转为markdown格式互转

https://tableconvert.com/zh-cn/excel-to-markdown#google_vignette

4k电影截图

https://highdefdiscnews.com/4k-screenshots/

arxiv 总结 推送

https://papers.cool/

the latest advances in MM-LLMs.

https://mm-llms.github.io/

有趣的项目

在自己电脑运行Stable Diffusion和完整项目下载

https://mp.weixin.qq.com/s/syEkqbBSmTwdi_cPB6Kd3g

StableDiffusion Int8量化教程与ONNX导出推理

https://mp.weixin.qq.com/s/18EIga7w9y1FG0oWcnysIw

ChatGPT 中文调教指南

https://github.com/PlexPt/awesome-chatgpt-prompts-zh

CodeGeeX: 多语言代码生成模型（代码生成与代码翻译）

https://github.com/THUDM/CodeGeeX/blob/main/README_zh.md

Whisper AI剪视频小工具

https://www.bilibili.com/video/BV1Pe4y1t7de/

https://github.com/mli/autocut/

“Codeium - a tool that helps developers make changes in unfamiliar languages or codebases”

https://www.codeium.com/playground

Turn your pandas dataframe into a Tableau-style User Interface for visual analysis（简单可视化数据分析）

https://github.com/Kanaries/pygwalker

利用chatgpt生成mermaid语言然后导入即可生成流程图

https://mermaid-js.github.io/mermaid-live-editor/edit

免费可用Typora Markdown

https://babudiu.com/archives/typora

Github下载很慢，用上了这个插件后，下载速度嗖嗖嗖的

https://github.com/fhefh2015/Fast-GitHub

硬盘空间分析工具spacesniffer

https://sourceforge.net/projects/spacesniffer/

开源下载工具

https://motrix.app/download

微软的免费用户行为洞察埋点工具

https://clarity.microsoft.com/

PPT之神

各种软件架构图

https://www.iodraw.com/template?pn=3

有趣的故事

谷歌背后的数学

https://www.changhai.org/articles/technology/misc/google_math.php

火光摇曳(数学科普) Rickjin(靳志辉) （非常好传递了统计之美）

https://uploads.cosx.org/2014/07/gamma.pdf

计算的极限

https://fwjmath.wordpress.com/recommended-list/

心理健康建设

如何在工作中学习（好的方法论）

https://plantegg.github.io/2018/05/24/如何在工作中学习V1.1/

2017年买房经历总结出来的买房购房知识

https://github.com/houshanren/hangzhou_house_knowledge

2022年杭州购房指南

github.com/zkqiang/hangzhou-house-guide

2020年11月上海购房指南

github.com/ayuer/shanghai_house_knowledge

开源工具推荐

跨平台的桌面截图 Flameshot

https://flameshot.org/

跨平台的类似ps的修图软件 gimp

https://www.gimp.org/

跨平台的看图工具

xnview.com/en/xnviewmp/

最好的windows下b站下载器

https://space.bilibili.com/1608325226

windows下的bilibli视频下载器（如果要使用ffmpeg，可以下载后加入到系统path环境变量）

https://github.com/nICEnnnnnnnLee/BilibiliDown

跨平台 Fast and simple video download library and CLI tool written in Go(适合多种网站)

https://github.com/iawia002/lux

跨平台 视频硬字幕提取，生成srt文件。无需申请第三方API，本地实现文本识别。基于深度学习的视频字幕提取框架，包含字幕区域检测、字幕内容提取

https://github.com/YaoFANGUK/video-subtitle-extractor

一个跨平台的划词翻译软件pot

https://github.com/pot-app/pot-desktop

tabby 最好的开源终端之一

https://tabby.sh/

windows下开源录制工具Capture Screen, Audio, Cursor, Mouse Clicks and Keystrokes

https://github.com/MathewSachin/Captura

kazam ubuntu下最轻便的录制工具，可以直接apt install kazam

油管视频下载器：

https://github.com/Tyrrrz/YoutubeDownloader

https://youtubemultidownloader.net/playlists.html

最好的免费pdf处理开源程序

https://github.com/torakiki/pdfsam

开源版本的按键精灵

https://github.com/taojy123/KeymouseGo

开源视频录制、git录制

https://github.com/NickeManarin/ScreenToGif

最好的windows开源OCR软件

https://github.com/hiroi-sora/Umi-OCR

开源视频编辑器

https://github.com/OpenShot/openshot-qt/releases/tag/v3.1.1

优雅的图片浏览器

https://imageglass.org/

开源、重复图片和文件搜索神器

https://github.com/qarmin/czkawka/releases/tag/7.0.0

startup协作工具

Ship your startup in days,not weeks

https://shipfa.st/ 包含一切所需的前后端健权等

英文论文好用工具

TextRanch 句子参考

https://textranch.com/

QuillBot 文段改写

https://quillbot.com/

About

计算机、人工智能学习网站、工具、技巧合集 | A collection of ComputerScience and DeepLearning tutorial and tools.

sanbuphy.github.io/p/%E6%88%91%E7%9A%84%E8%AE%A1%E7%AE%97%E6%9C%BA%E5%AD%A6%E4%B9%A0%E7%BD%91%E7%AB%99%E9%9B%86%E5%90%88/

Topics

computer-science tutorial ai deep-learning llm

Resources

Readme
Activity

Stars

314 stars

Watchers

5 watching

Forks

41 forks
Report repository

Releases

No releases published

Packages

No packages published