Added export to Yandex Disk (#33)

* added export to yandex disk

* fixed

Author: adoomaxas

checker_export/README.md

@@ -3,5 +3,5 @@
 ## Инструкция по запуску скрипта
 
 ```bash
-python3 exporter.py [-h] [--google_token GOOGLE_TOKEN] --checker_token CHECKER_TOKEN [--checker_filter CHECKER_FILTER] --table_id TABLE_ID --sheet_id SHEET_ID
+python3 exporter.py [-h] [--google_token GOOGLE_TOKEN] --checker_token CHECKER_TOKEN [--checker_filter CHECKER_FILTER] --table_id TABLE_ID --sheet_id SHEET_ID [--yandex_token YANDEX_TOKEN --yandex_path YANDEX_PATH]
 ```

checker_export/exporter.py

@@ -5,7 +5,7 @@
 import requests
 from io import StringIO
 import urllib.parse
-
+import yadisk
 
 INT_MASS = [{
     "one": 1,
@@ -24,10 +24,12 @@ def parse_args():
     parser.add_argument('--checker_filter', type=str, required=False, help='Specify filter for slides-checker')
     parser.add_argument('--table_id', type=str, required=True, help='Specify Google sheet document id (can find in url)')
     parser.add_argument('--sheet_id', type=str, required=True, help='Specify title for a sheet in a document in which data will be printed')
+    parser.add_argument('--yandex_token', type=str, required=False, help='Specify Yandex token from https://oauth.yandex.ru/client/new application')
+    parser.add_argument('--yandex_path', type=str, required=False, help='Specify output filename on Yandex Disk')
     args = parser.parse_args()
     return args
 
-def write_data_to_table(checker_token, checker_filter, google_token, table_id, sheet_id):
+def write_data_to_table(checker_token, checker_filter, google_token, table_id, sheet_id, yandex_token=None, yandex_path=None):
     if google_token and sheet_id and table_id:
         gc = pygsheets.authorize(service_file=google_token)
         sh = gc.open_by_key(table_id)
@@ -44,11 +46,18 @@ def write_data_to_table(checker_token, checker_filter, google_token, table_id, s
     else:
         content = pd.DataFrame(INT_MASS)
     wk_content.set_dataframe(content, 'A1', copy_head=True)
+    if yandex_token and yandex_path:
+        try:
+            client = yadisk.YaDisk(token=yandex_token)
+            client.upload(str(csv_path), yandex_path)
+            print(f'Check data in your disk! Path to the table is: {yandex_path}')
+        except Exception as e:
+            print(f'Saving data to Yandex Disk failed. Error message: {e}')
 
 
 def main():
     args = parse_args()
-    write_data_to_table(args.checker_token, args.checker_filter, args.google_token, args.table_id, args.sheet_id)
+    write_data_to_table(args.checker_token, args.checker_filter, args.google_token, args.table_id, args.sheet_id, args.yandex_token, args.yandex_path)
 
 
 if __name__ == "__main__":

checker_export/requirements.txt

@@ -2,3 +2,4 @@ requests==2.27.1
 requests-oauthlib==1.3.1
 pygsheets==2.0.5
 pandas==1.4.3
+yadisk==1.2.19

moodle_export/README.md

@@ -9,17 +9,20 @@
 Чтобы получить данные в файл csv следует прописать:
 
 ``` python3 grades_parser.py --moodle_token "your token" --url http://e.moevm.info --course_id "your course id"[,"id",..] --csv_path "name of file" [--percentages] [--options github]```
- ```
+
 
 Если хотите получить не баллы за задания, а проценты, то нужно добавить параметр ``` --percentages ```.
 
 Также в таблицу можно добавить опциональные графы по тегу ``` --options ``` без пробелов через запятую. 
 Пока из доступных есть опциональное поле ``` github ```.
 
-Получение данных и в файл и в Google таблицу:
+Получение данных и в файл, и в Google таблицу:
+
+```python3 grades_parser.py grades_parser --moodle_token "your token" --url http://e.moevm.info --course_id "your course id"[,"id",..] --csv_path "name of file" [--percentages] [--options github] --google_token "your google token" --table_id "your table id"[,"id",..] [--sheet_id "name of sheet"[,"name",..]] ```
 
-``` python3 grades_parser.py grades_parser --moodle_token "your token" --url http://e.moevm.info --course_id "your course id"[,"id",..] --csv_path "name of file" [--percentages] [--options github] --google_token "your google token" --table_id "your table id"[,"id",..] [--sheet_id "name of sheet"[,"name",..]] ```
- ```
+Получение данных и в файл, и на Яндекс Диск:
+
+```python3 grades_parser.py grades_parser --moodle_token "your token" --url http://e.moevm.info --course_id "your course id"[,"id",..] --csv_path grades --yandex_token "Your yandex token" --yandex_path grades```
 
 Получение ``` .json ``` файла для google_token будет описано ниже.
 
@@ -56,6 +59,15 @@
 
 В таблице Service Accounts будет запись, нажимаем на нее. Сверху будет вкладка keys. Add key -> Create new key -> json -> create. Получаем нужный json файл.
 
+
+## Получение токена для работы с Yandex Disk.
+
+1. Необходимо создать приложение на [Yandex Приложения](https://oauth.yandex.ru/client/new).
+       В доступе к данным необходимо указать "Чтение всего диска" и "Запись в любом месте на диске", поле URL заполнить произвольно, например: ```http://127.0.0.1:123/test```.
+2. Чтобы получить токен, необходимо скопировать client_id и перейти по ссылке вида 
+       ```https://oauth.yandex.ru/authorize?response_type=token&client_id=<идентификатор приложения>``` и скопировать access_token из появившегося на экране запроса.
+
+
 ## Как подключиться к таблице, которая может дать права редактора для определенной почты.
 
 В полученном json файле есть почта некоторого формата, если в гугл таблице дать право редактора этой почте, приложение будет сохранять данные в таблицу.

moodle_export/args_parser.py

@@ -10,6 +10,8 @@ def arg_parser():
     parser.add_argument('--google_token', type=str, required=False, help='Specify path to google token file')
     parser.add_argument('--table_id', type=lambda s: [i for i in s.split(',')], required=False, help='Specify Google sheet document id (can find in url)')
     parser.add_argument('--sheet_id', type=lambda s: [i for i in s.split(',')], required=False, help='Specify title for a sheet in a document in which data will be printed')
+    parser.add_argument('--yandex_token', type=str, required=False, help='Specify Yandex token from https://oauth.yandex.ru/client/new application')
+    parser.add_argument('--yandex_path', type=str, required=False, help='Specify output filename on Yandex Disk')
     parser.add_argument('--percentages', required=False, action='store_true', help='If set then grades will be printed as percentages')
     parser.add_argument('--options', type=lambda s: [i for i in s.split(',')], required=False, help='Specify options for column names')
     args = parser.parse_args()

moodle_export/grades_parser.py

@@ -5,6 +5,7 @@
 import datetime
 import csv
 import args_parser
+import yadisk
 
 HEADERS = {
     "Content-Type": "charset=iso-8859"
@@ -146,7 +147,17 @@ def main():
                 sheet_id = 'course ' + course_id
 
             sheets.write_data_to_table(csv_path, args.google_token, table_id, sheet_id)
-
+            
+            # write data to yandex disk
+            if args.yandex_token and args.yandex_path:
+                yandex_path = args.yandex_path + '_' + args.course_id + '.csv'
+                try:
+                    client = yadisk.YaDisk(token=args.yandex_token)
+                    client.upload(csv_path, yandex_path)
+                    print(f'Course {args.course_id} saved to Disk! Path to the table is: {yandex_path}')
+                    print('********************************************************')
+                except Exception as e:
+                    print(f'Course {args.course_id}: saving data to Yandex Disk failed. Error message: {e}')
 
 if __name__ == "__main__":
     main()

moodle_export/requirements.txt

@@ -2,3 +2,4 @@ requests==2.27.1
 requests-oauthlib==1.3.1
 pygsheets==2.0.5
 pandas==1.4.3
+yadisk==1.2.19

stepik_export/README.md

@@ -11,10 +11,13 @@
 ``` python3 stepik_parser.py --client_id "Your client id" --client_secret "Your client secret" --url https://stepik.org:443/api --course_id "Your course id" --class_id "Your class id" --csv_path grades ```
 
 
-Получение данных и в файл и в Google таблицу:
+Получение данных и в файл, и в Google таблицу:
 
 ``` python3 stepik_parser.py --client_id "Your client id" --client_secret "Your client secret" --url https://stepik.org:443/api --course_id "Your course id" --class_id "Your class id" --csv_path grades --google_token "Path to your google token" --table_id "Your table id" [--sheet_id "Name of sheet"] ```
 
+Получение данных и в файл, и на Яндекс Диск:
+
+```python3 grades_parser.py grades_parser --moodle_token "your token" --url http://e.moevm.info --course_id "your course id"[,"id",..] --csv_path grades --yandex_token "Your yandex token" --yandex_path grades```
 
 Получение ``` .json ``` файла для google_token будет описано ниже.
 
@@ -53,6 +56,15 @@
 
 В таблице Service Accounts будет запись, нажимаем на нее. Сверху будет вкладка keys. Add key -> Create new key -> json -> create. Получаем нужный json файл.
 
+
+## Получение токена для работы с Yandex Disk.
+
+1. Необходимо создать приложение на [Yandex Приложения](https://oauth.yandex.ru/client/new).
+       В доступе к данным необходимо указать "Чтение всего диска" и "Запись в любом месте на диске", поле URL заполнить произвольно, например: ```http://127.0.0.1:123/test```.
+2. Чтобы получить токен, необходимо скопировать client_id и перейти по ссылке вида 
+       ```https://oauth.yandex.ru/authorize?response_type=token&client_id=<идентификатор приложения>``` и скопировать access_token из появившегося на экране запроса.
+
+
 ## Как подключиться к таблице, которая может дать права редактора для определенной почты.
 
 В полученном json файле есть почта некоторого формата, если в гугл таблице дать право редактора этой почте, приложение будет сохранять данные в таблицу.

stepik_export/args_parser.py

@@ -12,6 +12,8 @@ def arg_parser():
     parser.add_argument('--google_token', type=str, required=False, help='Specify path to google token file')
     parser.add_argument('--table_id', type=str, required=False, help='Specify Google sheet document id (can find in url)')
     parser.add_argument('--sheet_id', type=str, required=False, help='Specify title for a sheet in a document in which data will be printed')
+    parser.add_argument('--yandex_token', type=str, required=False, help='Specify Yandex token from https://oauth.yandex.ru/client/new application')
+    parser.add_argument('--yandex_path', type=str, required=False, help='Specify output filename on Yandex Disk')
     args = parser.parse_args()
     return args
 

stepik_export/requirements.txt

@@ -2,4 +2,4 @@ requests==2.27.1
 requests-oauthlib==1.3.1
 pygsheets==2.0.5
 pandas==1.4.3
-
+yadisk==1.2.19

stepik_export/stepik_parser.py

@@ -4,7 +4,7 @@
 import json
 import requests
 import csv
-
+import yadisk
 
 # check status code and if request is valid
 def check_access(response):
@@ -124,17 +124,27 @@ def main():
     print(f'Saved to csv file: {csv_path}')
 
     # write data to sheets document
-    if args.google_token:
-        if args.table_id:
-            print('Send data to Google Sheets')
-            if args.sheet_id:
-                sheet_id = args.sheet_id
-            else:
-                sheet_id = 'course ' + args.course_id
-            sheets.write_data_to_table(csv_path, args.google_token, args.table_id, sheet_id)
-            print(f'Check data in your table! List name is: {sheet_id}')
+    if args.google_token and args.table_id:
+        print('Send data to Google Sheets')
+        if args.sheet_id:
+            sheet_id = args.sheet_id
+        else:
+            sheet_id = 'course ' + args.course_id
+        sheets.write_data_to_table(csv_path, args.google_token, args.table_id, sheet_id)
+        print(f'Check data in your table! List name is: {sheet_id}')
+        print('********************************************************')
+    
+    # write data to yandex disk
+    if args.yandex_token and args.yandex_path:
+        yandex_path = args.yandex_path + '_' + args.course_id + '.csv'
+        try:
+            client = yadisk.YaDisk(token=args.yandex_token)
+            client.upload(csv_path, yandex_path)
+            print(f'Check data in your disk! Path to the table is: {yandex_path}')
             print('********************************************************')
-
+        except Exception as e:
+            print(f'Saving data to Yandex Disk failed. Error message: {e}')
+            exit(1)
 
 if __name__ == "__main__":
     main()

stepik_progress_export/README.md

@@ -13,10 +13,12 @@
 - `course_id` - ID курса (отсюда: https://stepik.org/course/63054/syllabus)
 - `class_id` - ID класса (отсюда: https://stepik.org/class/33587/gradebook)
 - `csv_path` - путь до CSV
+- `yandex_token` - токен доступа Yandex App (отсюда: https://oauth.yandex.ru/client/new)
+- `yandex_path` - путь до CSV на Диске
 
 Например:
 ```bash
-docker-compose run parser --client_id xxx --client_secret xxx --course_id 63054 --class_id 33587 --csv_path ./results/kek.csv 
+docker-compose run parser --client_id xxx --client_secret xxx --course_id 63054 --class_id 33587 --csv_path ./results/kek.csv --yandex_token xxx --yandex_path kek.csv
 ```
 
 Будет создан CSV-файл со следующим форматов:

stepik_progress_export/args_parser.py

@@ -16,5 +16,12 @@ def arg_parser():
     parser.add_argument(
         "--csv_path", type=str, required=True, help="Specify path to output csv file"
     )
+    parser.add_argument(
+        '--yandex_token', type=str, required=False, 
+        help='Specify Yandex token from https://oauth.yandex.ru/client/new application'
+    )
+    parser.add_argument(
+        '--yandex_path', type=str, required=False, help='Specify output filename on Yandex Disk'
+    )
     args = parser.parse_args()
     return args

stepik_progress_export/main.py

@@ -4,6 +4,7 @@
 import numpy as np
 import pandas as pd
 import requests
+import yadisk
 from tqdm import tqdm
 
 from args_parser import arg_parser
@@ -173,10 +174,20 @@ def postprocess_df(df):
 
     return new_df
 
+def load_to_yandex_disk(csv_path, dest_path, token):
+    try:
+        client = yadisk.YaDisk(token=token)
+        client.upload(csv_path, dest_path)
+        print(f'Check data in your disk! Path to the table is: {dest_path}')
+    except Exception as e:
+        print(f'Saving data to Yandex Disk failed. Error message: {e}')
+        return
 
 if __name__ == "__main__":
     args = arg_parser()
     token = get_access_token(client_id=args.client_id, client_secret=args.client_secret)
     df = get_info(access_token=token, course_id=args.course_id, class_id=args.class_id)
     new_df = postprocess_df(df)
     new_df.to_csv(args.csv_path, index=False)
+    if args.yandex_token and args.yandex_path:
+        load_to_yandex_disk(args.csv_path, args.yandex_path, args.yandex_token)

stepik_progress_export/requirements.txt

@@ -2,3 +2,4 @@ pandas==1.4.2
 numpy==1.22.3
 tqdm==4.64.0
 requests==2.27.1
+yadisk==1.2.19