@@ -354,12 +354,6 @@ jobs:
354354 cd app/Converters
355355 python download_imagenet.py
356356 cd ../..
357- - name : Debug cache info
358- run : |
359- echo "Cache hit: ${{ steps.cache-imagenet.outputs.cache-hit }}"
360- echo "Cache key: ${{ steps.cache-imagenet.outputs.cache-primary-key }}"
361- echo "Dataset size:"
362- du -sh docs/ImageNet
363357 - name : Save ImageNet-Paste dataset
364358 uses : actions/cache/save@v4
365359 with :
@@ -424,9 +418,7 @@ jobs:
424418 if : matrix.model_url != ''
425419 run : |
426420 mkdir -p docs/models
427- echo "Скачивание ${{ matrix.model_file }} из ${{ matrix.model_url }}"
428421 wget -O docs/models/${{ matrix.model_file }} ${{ matrix.model_url }}
429- ls -la docs/models/
430422
431423 - name : Setup Python
432424 uses : actions/setup-python@v4
@@ -471,114 +463,25 @@ jobs:
471463 run : |
472464 chmod +x "${{ steps.set_eval_binary.outputs.EVAL_BINARY }}"
473465 echo "LD_LIBRARY_PATH=$PWD/build/bin/all_libs:/usr/lib/x86_64-linux-gnu" >> $GITHUB_ENV
474-
475- - name : Increase system limits
476- run : |
477- sudo prlimit --pid $$ --as=unlimited
478- ulimit -s unlimited
479- ulimit -c unlimited
480- echo "Новые лимиты:"
481- ulimit -a
482466
483467 - name : Run evaluation
484468 run : |
485469 DATASET_PATH="docs/ImageNet/test"
486470 MODEL="${{ matrix.model }}"
487471 EXTRA_ARGS="${{ matrix.extra_args }}"
488472
489- echo "Запуск оценки для модели $MODEL"
490- echo "Команда : ${{ steps.set_eval_binary.outputs.EVAL_BINARY }} --model $MODEL $EXTRA_ARGS"
491-
492- echo "Системная информация до запуска:"
493- echo "--- Память ---"
494- free -h
495- echo "--- CPU ---"
496- top -bn1 | head -5
497- echo "--- Диск ---"
498- df -h docs/ImageNet/test/
499-
500- TIMESTAMP=$(date +%s)
501- MONITOR_LOG="monitor_$MODEL.log"
502-
503- monitor_process() {
504- local pid=$1
505- local log_file=$2
506-
507- echo "Мониторинг процесса $pid..."
508-
509- while kill -0 $pid 2>/dev/null; do
510- NOW=$(date '+%H:%M:%S')
511-
512- MEM=$(ps -o rss= -p $pid 2>/dev/null | awk '{print $1/1024 " MB"}' || echo "N/A")
513-
514- CPU=$(ps -o pcpu= -p $pid 2>/dev/null || echo "N/A")
515-
516- TOTAL_MEM=$(free -m | awk 'NR==2{print $3 " MB / " $2 " MB"}')
517-
518- echo "[$NOW] PID : $pid | MEM: $MEM | CPU: $CPU% | System MEM: $TOTAL_MEM" >> $log_file
519-
520- sleep 2
521- done
522-
523- echo "Процесс $pid завершен" >> $log_file
524- }
525-
526- echo "Запуск ACC в фоновом режиме..."
527473 " ${{ steps.set_eval_binary.outputs.EVAL_BINARY }}" \
528474 --model $MODEL \
529- $EXTRA_ARGS > accuracy_$MODEL.txt 2>&1 &
530- ACC_PID=$!
531-
532- echo "PID процесса : $ACC_PID"
533-
534- monitor_process $ACC_PID $MONITOR_LOG &
535- MONITOR_PID=$!
536-
537- wait $ACC_PID
538- EXIT_CODE=$?
539-
540- kill $MONITOR_PID 2>/dev/null || true
541-
542- echo "Результаты мониторинга:"
543- if [ -f "$MONITOR_LOG" ]; then
544- cat "$MONITOR_LOG"
545- else
546- echo "Лог мониторинга не создан"
547- fi
548-
549- echo "Системная информация после запуска:"
550- free -h
551-
552- echo "Код завершения : $EXIT_CODE"
553-
554- if [ $EXIT_CODE -eq 143 ]; then
555- echo "Ошибка 143 (SIGTERM) - процесс убит системой"
475+ $EXTRA_ARGS > accuracy_$MODEL.txt 2>&1
556476
557- if sudo dmesg | tail -20 | grep -i "killed process" | grep -q "$ACC_PID"; then
558- echo "Подтверждено : процесс убит OOM Killer"
559- sudo dmesg | tail -20 | grep -i "killed process" | tail -5
560- else
561- echo "Не найдено подтверждение OOM Killer в логах"
562- sudo dmesg | tail -20
563- fi
564-
565- elif [ $EXIT_CODE -ne 0 ]; then
566- echo "Ошибка при оценке модели $MODEL (код : $EXIT_CODE)"
567- else
568- echo "Оценка успешно завершена"
569- fi
570-
571- echo "Лог ACC:"
572- if [ -f "accuracy_$MODEL.txt" ]; then
573- cat "accuracy_$MODEL.txt"
574- else
575- echo "Файл лога не создан"
477+ if [ $? -ne 0 ]; then
478+ echo "Ошибка при оценке модели $MODEL"
479+ cat accuracy_$MODEL.txt
480+ exit 1
576481 fi
577482
578- # Выход с ошибкой если нужно
579- if [ $EXIT_CODE -ne 0 ]; then
580- exit $EXIT_CODE
581- fi
483+ echo "Результат оценки:"
484+ cat accuracy_$MODEL.txt
582485
583486 - name : Extract accuracy value
584487 run : |
@@ -611,7 +514,6 @@ jobs:
611514
612515 if grep -q "<!--ACCURACY_${{ matrix.model }}_PLACEHOLDER-->" README.md; then
613516 sed -i "s|<!--ACCURACY_${{ matrix.model }}_PLACEHOLDER-->.*<!--END_ACCURACY_${{ matrix.model }}-->|${UPDATE_TEXT}|" README.md
614- echo "Обновлена точность для ${{ matrix.model }} в README"
615517 else
616518 echo "Ошибка : Плейсхолдер <!--ACCURACY_${{ matrix.model }}_PLACEHOLDER--> не найден в README.md"
617519 echo "Содержимое README.md:"
0 commit comments