Reduzir consultas e conexões ao banco de dados (#1410)

* config: ajusta limites de tempo e concorrência do Celery via variáveis de ambiente

- CELERY_TASK_TIME_LIMIT: hard limit configurável via env (default 36000s)
- CELERY_TASK_SOFT_TIME_LIMIT: soft limit configurável via env (default 3600s)
- Adiciona CELERY_WORKER_MAX_TASKS_PER_CHILD para reciclagem de workers (default 100)
- Adiciona CELERY_WORKER_CONCURRENCY configurável via env (default 4)
- Comenta CELERY_RESULT_BACKEND='django-db'; resultado já persiste via Redis

* config: otimiza configurações de banco de dados e sessão para produção

- Simplifica CONN_MAX_AGE para 60s fixo via env (remove variável duplicada)
- Remove POOL_OPTIONS (incompatível com django-prometheus backend)
- Migra SESSION_ENGINE para cache Redis (SESSION_ENGINE + SESSION_CACHE_ALIAS)
- Reduz escritas no PostgreSQL a cada request com SESSION_SAVE_EVERY_REQUEST=True

* core: corrige _get_user para usar request.user autenticado quando disponível

- Prioriza request.user.is_authenticated antes de consultar o banco
- Fallback para user_id e username quando request não tem usuário autenticado
- Remove acesso incorreto a request.user_id (AttributeError silencioso anterior)

* core: evita dupla avaliação de queryset em UserCollectionMiddleware

- Atribui request.user.collection.all() a variável local antes de reutilizar
- Elimina segunda query duplicada para set_current_collections e request.user_collection

* core: adiciona select_related('creator') no queryset de LicenseViewSet

- Evita N+1 queries ao listar licenças no admin Wagtail

* location: evita saves desnecessários em create_or_update comparando valores antes de persistir

- State.create_or_update: salva apenas se name ou acronym mudaram
- CountryName.create_or_update: salva apenas se country, language ou text mudaram
- Country.create_or_update: salva apenas se name, acronym ou acron3 mudaram
- CountryName.get_country: substitui loop por .filter(country__isnull=False).select_related().first()

* location: move busca de User e user_id para fora do loop em bulk_cities

- User.objects.get(id=user_id) executado uma única vez antes de iterar o CSV
- Elimina N queries redundantes ao banco durante importação em massa

* location: adiciona select_related no queryset de LocationAdmin

- Inclui country, state, city e creator para evitar N+1 no admin Wagtail

* institution: evita saves desnecessários em create_or_update comparando valores antes de persistir

- Institution.create_or_update: salva apenas se institution_type ou url mudaram
- InstitutionIdentification.create_or_update: salva apenas se is_official ou official mudaram
- Garante que updated_by só é gravado quando há mudança efetiva

* organization: refatora update_logo/update_url para retornar bool e consolidar saves

- update_logo e update_url retornam True/False sem chamar save() internamente
- create_or_update chama save() uma única vez se logo ou url mudaram
- update_institutions retorna bool; create_or_update chama save() apenas se houve mudança
- Organization.update_institutions remove save() interno; responsabilidade delegada ao chamador

* organization: adiciona select_related para institution_identification__official em task de migração

- Evita query extra ao acessar official durante migração de Institution para Organization

* journal: otimiza queries e substitui get/except por update_or_create em JournalHistory

- OfficialJournal.add_old_title/add_new_title: substitui loop por .filter().first()
- add_old_title: remove self.save() após M2M .add() (desnecessário)
- add_new_title: remove self.save(); responsabilidade delegada ao chamador
- Journal.collection_acrons: substitui loop por values_list com select_related
- Journal.get_ids / get_legacy_keys: adiciona select_related('collection') nos filtros
- JournalHistory.load: substitui get/except+save duplo por update_or_create para ADMITTED e INTERRUPTED

* issue: adiciona select_related para creator e updated_by no queryset de IssueAdminSnippetViewSet

- Evita N+1 queries ao listar issues no admin Wagtail

* researcher: substitui loops por values_list().first() nas properties orcid e lattes

- Elimina iteração desnecessária; retorna diretamente o primeiro identifier encontrado
- Remove acesso ao atributo do objeto relacionado; usa projeção via values_list

* researcher: adiciona select_related e prefetch_related na query de migração

- Adiciona select_related('affiliation__institution__location')
- Adiciona prefetch_related('researcheraka_set__researcher_identifier')
- Reduz queries N+1 ao acessar location e identifiers durante migração

* pid_provider: consolida saves e adiciona select_related para evitar queries extras

- XMLVersion.get_or_create: documenta fluxo de 3 saves (pk → arquivo → consolidação)
- PidProviderXML.public_items: adiciona select_related('current_version')
- PidProviderXML._add_current_version: remove save() interno; delegado ao chamador
- PidProviderXML._add_other_pid: remove save() interno; delegado ao chamador
- PidProviderXML._save: adiciona save() consolidado após _add_current_version/_add_other_pid
- best_matches: adiciona select_related('current_version') no iterator

* pid_provider: remove _get_user local e importa de core.utils.utils

- Elimina duplicação de _get_user em pid_provider/tasks.py
- Importa _get_user centralizado de core.utils.utils

* tracker: remove _get_user local duplicado

- Elimina definição local de _get_user em tracker/tasks.py
- Função centralizada já disponível em core.utils.utils

* bigbang: remove _get_user local e importa de core.utils.utils

- Elimina definição local de _get_user
- Atualiza chamadas para assinatura _get_user(request=None, user_id=..., username=...)
- Importa _get_user centralizado de core.utils.utils

* collection: corrige lógica if/elif e adiciona ValueError em task_load_collections

- Substitui if/if por if/elif para evitar reatribuição silenciosa de user
- Levanta ValueError explícito quando nem user_id nem username são fornecidos

* editorialboard: extrai request.user para variável local em import_file_ebm

- Atribui request.user a user antes do loop para evitar acesso repetido ao objeto request
- Padroniza uso de user nas chamadas a create_or_update dentro do loop

* thematic_areas: adiciona select_related('creator') nos querysets dos SnippetViewSets

- GenericThematicAreaAdmin, GenericThematicAreaFileAdmin
- ThematicAreaAdmin, ThematicAreaFileAdmin
- Evita N+1 queries ao listar registros no admin Wagtail

* article: adiciona select_related no iterator de bulk_export_articles_to_articlemeta

- Inclui journal, journal__official e pp_xml para evitar N+1 durante exportação em massa

* Potential fix for pull request finding

Co-authored-by: Copilot Autofix powered by AI <175728472+Copilot@users.noreply.github.com>

* Potential fix for pull request finding

Co-authored-by: Copilot Autofix powered by AI <175728472+Copilot@users.noreply.github.com>

* Apply suggestions from code review

Co-authored-by: Copilot Autofix powered by AI <175728472+Copilot@users.noreply.github.com>

---------

Co-authored-by: Copilot Autofix powered by AI <175728472+Copilot@users.noreply.github.com>

Author: robertatakenaka

article/controller.py

@@ -345,7 +345,7 @@ def bulk_export_articles_to_articlemeta(
             )
             return False
 
-        for article in queryset.iterator():
+        for article in queryset.select_related("journal", "journal__official", "pp_xml").iterator():
             try:
                 if force_update:
                     article.check_availability(user)

bigbang/tasks.py

@@ -8,6 +8,7 @@
 from collection.models import Collection
 from config import celery_app
 from core.models import Gender, Language, License
+from core.utils.utils import _get_user
 from editorialboard.models import RoleModel
 from institution.models import Institution, InstitutionType
 from journal.models import (
@@ -26,21 +27,14 @@
 User = get_user_model()
 
 
-def _get_user(user_id, username):
-    if user_id:
-        return User.objects.get(pk=user_id)
-    if username:
-        return User.objects.get(username=username)
-
-
 @celery_app.task(bind=True)
 def task_start(
     self,
     user_id=None,
     username=None,
 ):
     try:
-        user = _get_user(user_id, username)
+        user = _get_user(request=None, user_id=user_id, username=username)
         Language.load(user)
         Collection.load(user)
         Vocabulary.load(user)
@@ -73,7 +67,7 @@ def task_start(
 @celery_app.task(bind=True)
 def task_create_tasks(self, user_id=None, username=None, tasks_data=None):
     if not tasks_data:
-        user = _get_user(user_id, username)
+        user = _get_user(request=None, user_id=user_id, username=username)
         return schedule_tasks(user.username)
     for task_data in tasks_data:
         # {

collection/tasks.py

@@ -11,6 +11,8 @@
 def task_load_collections(self, user_id=None, username=None):
     if user_id:
         user = User.objects.get(pk=user_id)
-    if username:
+    elif username:
         user = User.objects.get(username=username)
+    else:
+        raise ValueError("user_id or username is required")
     Collection.load(user)

config/settings/base.py

@@ -374,11 +374,21 @@
 # http://docs.celeryproject.org/en/latest/userguide/configuration.html#std:setting-result_serializer
 CELERY_RESULT_SERIALIZER = "json"
 # http://docs.celeryproject.org/en/latest/userguide/configuration.html#task-time-limit
-# TODO: set to whatever value is adequate in your circumstances
-CELERY_TASK_TIME_LIMIT = 5 * 60
+# Hard time limit: o worker é terminado (SIGKILL) após este tempo.
+# Deve ser MAIOR que o soft time limit.
+CELERY_TASK_TIME_LIMIT = env.int('CELERY_TASK_TIME_LIMIT', default=36000)
 # http://docs.celeryproject.org/en/latest/userguide/configuration.html#task-soft-time-limit
-# TODO: set to whatever value is adequate in your circumstances
-CELERY_TASK_SOFT_TIME_LIMIT = 36000
+# Soft time limit: levanta SoftTimeLimitExceeded, permitindo cleanup.
+# Deve ser MENOR que o hard time limit.
+CELERY_TASK_SOFT_TIME_LIMIT = env.int('CELERY_TASK_SOFT_TIME_LIMIT', default=3600)
+
+# Recicla worker após N tarefas para liberar memória e conexões de banco de dados.
+# Cada worker filho é substituído após processar este número de tarefas.
+CELERY_WORKER_MAX_TASKS_PER_CHILD = env.int('CELERY_WORKER_MAX_TASKS_PER_CHILD', default=100)
+
+# Limita a concorrência do Celery worker.
+# Controla quantas tarefas cada worker processa simultaneamente.
+CELERY_WORKER_CONCURRENCY = env.int('CELERY_WORKER_CONCURRENCY', default=4)
 # http://docs.celeryproject.org/en/latest/userguide/configuration.html#beat-scheduler
 CELERY_BEAT_SCHEDULER = "django_celery_beat.schedulers:DatabaseScheduler"
 # http://docs.celeryproject.org/en/latest/userguide/configuration.html
@@ -404,8 +414,11 @@
 RUN_ASYNC = env.bool('RUN_ASYNC', default=0)
 # Celery Results
 # ------------------------------------------------------------------------------
-# https: // django-celery-results.readthedocs.io/en/latest/getting_started.html
-CELERY_RESULT_BACKEND = "django-db"
+# https://django-celery-results.readthedocs.io/en/latest/getting_started.html
+# NOTA: Não usar "django-db" como result backend em produção.
+# O result backend já está configurado como Redis (CELERY_BROKER_URL) acima.
+# Manter "django-db" aqui causaria escritas extras no PostgreSQL a cada tarefa concluída.
+# CELERY_RESULT_BACKEND = "django-db"  # REMOVIDO: já usa Redis acima
 CELERY_CACHE_BACKEND = "django-cache"
 CELERY_RESULT_EXTENDED = True
 

config/settings/production.py

@@ -14,19 +14,13 @@
 # ------------------------------------------------------------------------------
 DATABASES["default"] = env.db("DATABASE_URL")  # noqa F405
 DATABASES["default"]["ATOMIC_REQUESTS"] = True  # noqa F405
-DATABASES["default"]["CONN_MAX_AGE"] = env.int("CONN_MAX_AGE", default=0) or env.int("DJANGO_CONN_MAX_AGE", default=60)  # noqa F405
+# Reutilizar conexões por 60s por padrão para reduzir overhead de reconexão.
+# Em produção com gunicorn+gevent ou Celery, isto evita abrir/fechar conexão a cada request.
+DATABASES["default"]["CONN_MAX_AGE"] = env.int("CONN_MAX_AGE", default=60)  # noqa F405
 DATABASES["default"]["CONN_HEALTH_CHECKS"] = env.bool('DJANGO_CONN_HEALTH_CHECKS', True)
 DATABASES["default"]["ENGINE"] = 'django_prometheus.db.backends.postgresql'
-# Melhoria: Usando variáveis de ambiente para OPTIONS e POOL_OPTIONS com defaults
 DATABASES["default"]["OPTIONS"] = {
     "connect_timeout": env.int("DB_CONNECT_TIMEOUT", default=10),
-    # Adicione outras opções de conexão aqui se necessário
-}
-DATABASES["default"]["POOL_OPTIONS"] = {
-    'POOL_SIZE': env.int("DB_POOL_SIZE", default=10),
-    'MAX_OVERFLOW': env.int("DB_MAX_OVERFLOW", default=20),
-    'RECYCLE': env.int("DB_RECYCLE", default=300),
-    # Adicione outras opções do pool aqui se necessário
 }
 # CACHES
 # ------------------------------------------------------------------------------
@@ -82,6 +76,11 @@
 # Ex: export DJANGO_SESSION_SAVE_EVERY_REQUEST=False
 SESSION_SAVE_EVERY_REQUEST = env.bool('DJANGO_SESSION_SAVE_EVERY_REQUEST', True)
 
+# Sessões armazenadas no Redis em vez do PostgreSQL.
+# Reduz escritas no banco de dados a cada request quando SESSION_SAVE_EVERY_REQUEST=True.
+SESSION_ENGINE = "django.contrib.sessions.backends.cache"
+SESSION_CACHE_ALIAS = "default"
+
 # STATIC
 # ------------------------
 STATICFILES_STORAGE = "whitenoise.storage.CompressedManifestStaticFilesStorage"

core/middleware.py

@@ -15,9 +15,10 @@ def __call__(self, request):
 
         if request.user.is_authenticated:
             set_current_user(request.user)
-            set_current_collections(request.user.collection.all())
+            collections = request.user.collection.all()
+            set_current_collections(collections)
 
-            request.user_collection = request.user.collection.all()
+            request.user_collection = collections
         else:
             set_current_user(None)
             set_current_collections(None)

core/utils/utils.py

@@ -91,12 +91,14 @@ def fetch_data(url, headers=None, json=False, timeout=FETCH_DATA_TIMEOUT, verify
 
 def _get_user(request, username=None, user_id=None):
     try:
-        return User.objects.get(pk=request.user_id)
+        if request.user.is_authenticated:
+            return request.user
     except AttributeError:
-        if user_id:
-            return User.objects.get(pk=user_id)
-        if username:
-            return User.objects.get(username=username)
+        pass
+    if user_id:
+        return User.objects.get(pk=user_id)
+    if username:
+        return User.objects.get(username=username)
 
 
 def formated_date_api_params(query_params):

core/wagtail_hooks.py

@@ -175,3 +175,6 @@ class LicenseViewSet(SnippetViewSet):
     search_fields = ("license_type", "version")
     list_export = ("license_type", "version")
     inspect_view_enabled = True
+
+    def get_queryset(self, request):
+        return super().get_queryset(request).select_related("creator")

editorialboard/views.py

@@ -71,15 +71,16 @@ def import_file_ebm(request):
     file_path = file_upload.attachment.file.path
 
     try:
+        user = request.user
         with open(file_path, "r") as csvfile:
             data = csv.DictReader(csvfile, delimiter=";")
             for line, row in enumerate(data):
                 given_names = row.get("Nome do membro")
                 last_name = row.get("Sobrenome")
                 journal = Journal.objects.get(title__icontains=row.get("Periódico"))
-                gender = Gender.create_or_update(user=request.user, code=row.get("Gender"), gender="F")
+                gender = Gender.create_or_update(user=user, code=row.get("Gender"), gender="F")
                 location = Location.create_or_update(
-                    user=request.user,
+                    user=user,
                     city_name=row.get("institution_city_name"),
                     state_text=row.get("institution_state_text"),
                     state_acronym=row.get("institution_state_acronym"),
@@ -89,7 +90,7 @@ def import_file_ebm(request):
                     country_name=row.get("institution_country_name"),
                 )
                 researcher = Researcher.create_or_update(
-                    user=request.user,
+                    user=user,
                     given_names=given_names,
                     last_name=last_name,
                     suffix=row.get("Suffix"),
@@ -104,7 +105,7 @@ def import_file_ebm(request):
                     aff_name=row.get("Instituição"),
                 )
                 EditorialBoardMember.create_or_update(
-                    user=request.user,
+                    user=user,
                     researcher=researcher,
                     journal=journal,
                     declared_role=row["Cargo / instância do membro"],

institution/models.py

@@ -201,10 +201,16 @@ def create_or_update(
                 level_3=level_3,
                 location=location,
             )
-            institution.updated_by = user
-            institution.institution_type = institution_type or institution.institution_type
-            institution.url = url or institution.url
-            institution.save()
+            changed = False
+            if institution_type and institution_type != institution.institution_type:
+                institution.institution_type = institution_type
+                changed = True
+            if url and url != institution.url:
+                institution.url = url
+                changed = True
+            if changed:
+                institution.updated_by = user
+                institution.save()
             return institution
         except cls.DoesNotExist:
             return cls._create(
@@ -968,10 +974,16 @@ def create_or_update(
 
         try:
             obj = cls._get(name=name, acronym=acronym)
-            obj.updated_by = user
-            obj.is_official = is_official or obj.is_official
-            obj.official = official or obj.official
-            obj.save()
+            changed = False
+            if is_official is not None and is_official != obj.is_official:
+                obj.is_official = is_official
+                changed = True
+            if official and official != obj.official:
+                obj.official = official
+                changed = True
+            if changed:
+                obj.updated_by = user
+                obj.save()
             return obj
         except cls.DoesNotExist:
             return cls._create(