Skip to content

Commit 899bd41

Browse files
data-infradata-infra
committed
添加测试示例
1 parent 1e370dd commit 899bd41

34 files changed

+9987
-33
lines changed

‎.gitignore

+1-1
Original file line numberDiff line numberDiff line change
@@ -6,7 +6,7 @@ myapp/static/file
66
myapp/test
77
#/myapp/static/appbuilder/vison/*
88
/myapp/static/appbuilder/mnt
9-
/myapp/static/appbuilder/assets/
9+
# /myapp/static/appbuilder/assets/
1010
/images/web/target-detection/yolo/
1111
/install/docker/data/mysql/
1212
/myapp/visionPlus/node_modules

‎README_CN.md

+29-29
Original file line numberDiff line numberDiff line change
@@ -25,17 +25,17 @@ https://github.com/tencentmusic/cube-studio/wiki
2525
提示：
2626
- 1、可自由定制任务插件，更适用当前业务需求
2727

28-
| 模块 | 模板 | 类型 | 文档地址 |
29-
| :----- | :---- | :---- |:---- |
28+
| 模块 | 模板 | 类型 | 文档地址 |
29+
|:-------| :---- | :---- |:---- |
3030
| 数据导入导出 | datax | 单机 | job-template/job/datax/README.md
3131
| 数据导入导出 | 数据集导入 | 单机 | job-template/job/dataset/README.md
3232
| 数据导入导出 | 模型导入 | 单机 | job-template/job/model_download/README.md
33-
| 数据预处理 | data-process | 单机 | job-template/job/data-process/README.md
34-
| 数据处理 | hadoop | 单机 | job-template/job/hadoop/README.md
35-
| 数据处理 | spark | 分布式 | job-template/job/spark/README.md
36-
| 数据处理 | ray | 分布式 | job-template/job/ray/README.md
37-
| 数据处理 | volcanojob | 分布式 | job-template/job/volcano/README.md
38-
| 特征工程 | feature-process | 单机 | job-template/job/feature-process/README.md
33+
| 数据预处理 | data-process | 单机 | job-template/job/data-process/README.md
34+
| 数据处理工具 | hadoop | 单机 | job-template/job/hadoop/README.md
35+
| 数据处理工具 | spark | 分布式 | job-template/job/spark/README.md
36+
| 数据处理工具 | ray | 分布式 | job-template/job/ray/README.md
37+
| 数据处理工具 | volcanojob | 分布式 | job-template/job/volcano/README.md
38+
| 特征处理 | feature-process | 单机 | job-template/job/feature-process/README.md
3939
| 机器学习框架 | ray-sklearn | 分布式 | job-template/job/ray_sklearn/README.md
4040
| 机器学习算法 | random_forest | 单机 | job-template/job/random_forest/README.md
4141
| 机器学习算法 | lr | 单机 | job-template/job/lr/README.md
@@ -48,27 +48,27 @@ https://github.com/tencentmusic/cube-studio/wiki
4848
| 机器学习算法 | decision-tree | 单机 | job-template/job/decision_tree/README.md
4949
| 机器学习算法 | bayesian | 单机 | job-template/job/bayesian/README.md
5050
| 机器学习算法 | adaboost | 单机 | job-template/job/adaboost/README.md
51-
| 深度学习 | tfjob | 分布式 | job-template/job/tf/README.md
52-
| 深度学习 | pytorchjob | 分布式 | job-template/job/pytorch/README.md
53-
| 深度学习 | paddle | 分布式 | job-template/job/paddle/README.md
54-
| 深度学习 | mxnet | 分布式 | job-template/job/mxnet/README.md
55-
| 深度学习 | mindspore | 分布式 | job-template/job/mindspore/README.md
56-
| 深度学习 | horovod | 分布式 | job-template/job/horovod/README.md
57-
| 深度学习 | mpi | 分布式 | job-template/job/mpi/README.md
58-
| 深度学习 | colossalai | 分布式 | job-template/job/colossalai/README.md
59-
| 深度学习 | deepspeed | 分布式 | job-template/job/deepspeed/README.md
60-
| 深度学习 | megatron | 分布式 | job-template/job/megatron/README.md
61-
| 模型处理 | model-evaluation | 单机 | job-template/job/model_evaluation/README.md
62-
| 模型服务化 | model-convert | 单机 | job-template/job/model_convert/README.md
63-
| 模型服务化 | model-register | 单机 | job-template/job/model_register/README.md
64-
| 模型服务化 | deploy-service | 单机 | job-template/job/deploy-service/README.md
65-
| 模型服务化 | model-offline-predict | 分布式 | job-template/job/model_offline_predict/README.md
66-
| 多媒体类 | media-download | 分布式 | job-template/job/video-audio/README.md
67-
| 多媒体类 | video-img | 分布式 | job-template/job/video-audio/README.md
68-
| 多媒体类 | video-audio | 分布式 | job-template/job/video-audio/README.md
69-
| 大模型 | llama2 | 单机多卡 | job-template/job/llama2/README.md
70-
| 大模型 | chatglm2 | 单机多卡 | job-template/job/chatglm2/README.md
71-
| 大模型 | baichuan2 | 单机多卡 | job-template/job/baichuan2/README.md
51+
| 深度学习 | tfjob | 分布式 | job-template/job/tf/README.md
52+
| 深度学习 | pytorchjob | 分布式 | job-template/job/pytorch/README.md
53+
| 深度学习 | paddle | 分布式 | job-template/job/paddle/README.md
54+
| 深度学习 | mxnet | 分布式 | job-template/job/mxnet/README.md
55+
| 深度学习 | mindspore | 分布式 | job-template/job/mindspore/README.md
56+
| 深度学习 | horovod | 分布式 | job-template/job/horovod/README.md
57+
| 深度学习 | mpi | 分布式 | job-template/job/mpi/README.md
58+
| 深度学习 | colossalai | 分布式 | job-template/job/colossalai/README.md
59+
| 深度学习 | deepspeed | 分布式 | job-template/job/deepspeed/README.md
60+
| 深度学习 | megatron | 分布式 | job-template/job/megatron/README.md
61+
| 模型处理 | model-evaluation | 单机 | job-template/job/model_evaluation/README.md
62+
| 模型服务化 | model-convert | 单机 | job-template/job/model_convert/README.md
63+
| 模型服务化 | model-register | 单机 | job-template/job/model_register/README.md
64+
| 模型服务化 | deploy-service | 单机 | job-template/job/deploy-service/README.md
65+
| 模型服务化 | model-offline-predict | 分布式 | job-template/job/model_offline_predict/README.md
66+
| 多媒体类 | media-download | 分布式 | job-template/job/video-audio/README.md
67+
| 多媒体类 | video-img | 分布式 | job-template/job/video-audio/README.md
68+
| 多媒体类 | video-audio | 分布式 | job-template/job/video-audio/README.md
69+
| 大模型 | llama2 | 单机多卡 | job-template/job/llama2/README.md
70+
| 大模型 | chatglm2 | 单机多卡 | job-template/job/chatglm2/README.md
71+
| 大模型 | baichuan2 | 单机多卡 | job-template/job/baichuan2/README.md
7272

7373

7474
# 公司

‎job-template/service/ner/Dockerfile

+3-3
Original file line numberDiff line numberDiff line change
@@ -3,9 +3,9 @@ FROM pytorch/pytorch:1.12.1-cuda11.3-cudnn8-runtime
33

44
COPY . /SVC
55

6-
RUN python3 -m pip install pickle-mixin -i https://pypi.tuna.tsinghua.edu.cn/simple
7-
RUN python3 -m pip install FastAPI -i https://pypi.tuna.tsinghua.edu.cn/simple
8-
RUN python3 -m pip install uvicorn -i https://pypi.tuna.tsinghua.edu.cn/simple
6+
RUN python3 -m pip install pickle-mixin -i https://mirrors.aliyun.com/pypi/simple
7+
RUN python3 -m pip install FastAPI -i https://mirrors.aliyun.com/pypi/simple
8+
RUN python3 -m pip install uvicorn -i https://mirrors.aliyun.com/pypi/simple
99

1010

1111
ENTRYPOINT ["python3", "/SVC/launcher.py"]

‎myapp/translations/en/LC_MESSAGES/messages.po ‎myapp/example/__init__.py

File renamed without changes.

‎myapp/translations/zh/LC_MESSAGES/messages.po ‎myapp/example/pipeline/__init__.py

File renamed without changes.

‎myapp/example/pipeline/gpu/demo.py

+38
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,38 @@
1+
# pip install torch -i https://mirrors.aliyun.com/pypi/simple
2+
3+
import torch
4+
5+
# 检查是否有可用的GPU设备
6+
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
7+
print(device)
8+
# 定义模型
9+
class MyModel(torch.nn.Module):
10+
def __init__(self):
11+
super(MyModel, self).__init__()
12+
self.linear = torch.nn.Linear(10, 1)
13+
14+
def forward(self, x):
15+
return self.linear(x)
16+
17+
model = MyModel().to(device)
18+
19+
# 定义输入数据和目标标签
20+
inputs = torch.randn(100, 10).to(device)
21+
targets = torch.randn(100, 1).to(device)
22+
23+
# 定义损失函数和优化器
24+
criterion = torch.nn.MSELoss()
25+
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
26+
27+
# 训练模型
28+
for epoch in range(1000000):
29+
# 前向传播
30+
outputs = model(inputs)
31+
loss = criterion(outputs, targets)
32+
33+
# 反向传播和优化
34+
optimizer.zero_grad()
35+
loss.backward()
36+
optimizer.step()
37+
38+
print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, 100, loss.item()))

0 commit comments

Comments
 (0)