Очень большое потребление памяти

[IRainman]

Расширение потребляет почти 150 МБ памяти это ужас. Необходим перенос данных в БД и оптимизация потребления памяти.

[MarisKori]

Вообще так и задумывалось, что все данные в оперативной памяти в удобном виде для доступа. Если это менять, то нужно полностью менять архитектуру. Такое себе решение.

С точки зрения скорости и энергопотребления не факт, что использование БД лучше. Если ОЗУ много, то лучше как раз всю базу держать в ОЗУ в переменных javascript. Если же ОЗУ мало, то это печаль в любом случае.

[IRainman]

Ну я даже не знаю. Какая тут производительность? Проверить 1 IP на 1 вкладку? Ну даже если так то эти данные ещё можно держать в памяти, чтобы значок рисовать, ну а всё остальное (записи кем и когда заблокировано и прочее) уже точно надо в БД убрать. И это я не учитываю того что БД умные, у них есть кэш и там тоже всё быстро.

[IRainman]

У меня ещё соображения что списки ширятся. Очень плохо ради такой функциональности и одного раза работы с данными на загрузку вкладки впустую отъедать 100 - 150 МБ памяти.

[MarisKori]

Возможно, вы правы. Но вы просите сменить архитектуру. По сути почти полностью переписать. Если у вас есть время и желание, сделайте своё решение. Лично меня устраивает текущий вариант, без обид.

Сейчас база (в формате CSV или JSON) после скачивания фасуется в переменные, хешируется, пересчитываются маски адресов и пр. И всё направлено на то, чтобы проверка сводилась практически к is_banned['example.com'], т.е. O(1), максимальная скорость. Как вы понимаете, переписать это всё на поиск в БД означает переписать всё. Не предусмотрено каких-то особых слоёв абстракции с прицелом на то, что архитектуру придется менять, как перчатки.

Расширение задумывалось простым, а получилось довольно сложным, потому что в браузере сложно сделать полноценное сетевое приложение, приходится использовать разные хитрости, и всё равно не всегда красиво получается.

Если у вас совсем мало памяти, то я вижу для вас два выхода. Либо вообще используйте как можно меньше расширений (для повышения комфорта), либо сделайте свой комфортный аналог. Это расширение вроде имеет MIT лицензию, т.е. можете взять его за основу или просто подсматривать, что как сделано. Буду только рад, если появится что-то более (с ваших слов) легковесное при той же скорости. Ну ещё можно PR сюда сделать, хотя, как я уже сказал, это равносильно переписыванию.

[fixator10]

Не знаю как насчёт памяти, но в последнее время расширение стало жрать уж очень много ресурсов ЦП

[IRainman]

@fixator10 это взаимосвязано :) Собственно я отказался от использования расширения ибо это зашквар.

[MarisKori]

Оно не обновляется. Так что "последнее время" оно не могло внезапно начать больше жрать. Нагрузка на ЦП происходит в момент скачивания базы, то есть раз в N часов на 5-10 секунд происходит 100% нагрузка.

Возможно, база данных растёт, не слежу за этим пока что. Но чем больше заблокированных адресов, тем дольше расчёты.

P.S. Проверку на фейковые трекеры выпилю потом, хотя это мелочь. Но походу она никому не нужна.