Fixes for util unit tests

[tsayukov]

Часть коммитов здесь затрагивает только CMake файлы, а самые последние коммиты – это с изменениями в util – скорее иллюстрация, как я предлагаю решить проблему. Перед финальным мёржем эти изменения собираюсь откатить.

Здесь собрал все оставшиеся юнит-тесты из util, а именно:

• Fix src/util/datetime tests #155
• Fix src/util/generic tests #158
• Fix src/util/memory tests #159
• Fix src/util/random tests #161
• Fix src/util/stream tests #162
• Fix src/util/string tests #163
• Fix src/util/system tests #164
• Fix src/util/thread tests #165

В списке #146 не было util/draft, но если ничего не пропустил, эта либа нигде не используется, может, убрать?

Теперь к деталям.

Падающие тесты:

• В util/system, а именно, в src_root_ut и src_location_ut проверялась корректная работа макроса __SOURCE_FILE__, который брал макро переменные ARCADIA_ROOT или ARCADIA_BUILD_ROOT и обрезал у __FILE__ совпадающий префикс. ARCADIA_ROOT и ARCADIA_BUILD_ROOT передавались через -D опцию как ${YDB_SDK_SOURCE_DIR} и ${YDB_SDK_BINARY_DIR} соответственно, и это всегда абсолютные пути. Однако если __FILE__ вернёт относительный путь, тогда всё сломается. В нашем случае это происходило из-за использования ccache вместе с переменной окружения CCACHE_BASEDIR, а именно, "if you specify an absolute path to the source code file, __FILE__ macros will be expanded to a relative path instead". Не вижу, как можно заранее понять на стороне CMake, что потом будет использоваться CCACHE_BASEDIR, поэтому пока захаркодил нужные пути в build/action.yaml.
• В util/random/common_ops_ut падал тест TestStlCompatibility. Насколько я понимаю, здесь тестировалась совместимость с STL, то есть чтобы TRng мог передаваться в std::normal_distribution::operator(), и всё компилировалось бы. Для этого достаточно проверок, которые всегда выполняются, – какие предлагаю я. Магические числа в предыдущем варианте скорее всего подбирались таким образом, чтобы IntHash от числа 17 совпадал с результатом от вызова std::normal_distribution::operator(), но возможно, внутренняя реализация поменялась, и теперь это не так.
• В util/system/direct_io_ut падал тест TDirectIoErrorHandling::Constructor, там проверялось, что при попытке открытия несуществующего файла ./test.file будет выброшено исключение. Но если файл уже существует, то тест падает. Оказалось, такой файл создавался в util/stream/direct_io_ut в функции Test. Поэтому в конце функции я теперь удаляю этот файл, всё равно каждый раз он создаётся заново (из-за опции CreateAlways).
• В util/system/fstat_ut падали тесты из-за того, что TFile не создаёт для файла родительскую директорию, если такой не существует (по крайней мере open на линуксе не создаёт). Добавил создание и удаление директорий.
• В util/system/type_name_ut падали тесты, когда проверяли имя типа с вложенными типовыми параметрами, например, std::basic_string<char, std::char_traits<char>, std::allocator<char>>. Внутренняя реализация в libstdc++ ещё добавляет пробел между двумя подряд закрывающимися угловыми скобками. Я решил в util/system/type_name в функции TypeName ещё добавить замену всех > на >.

Отсутствующие библиотеки:

• Тест util/system/unaligned_mem_ut зависит от отсутствующей либы library/cpp/testing/benchmark, там нужна функция NBench::Clobber, это барьер против оптимизации памяти. Думаю, придётся притащить эту либу. Этот тест я пока закомментировал.
• Тест util/generic/string_transparent_hash_ut зависит от отсутствующей либы library/cpp/containers/absl_flat_hash. Но там единственное, что нужно, это способность std::unordered_set уметь в transparent в методе find (C++20). Может, просто навесить макросы, как я предлагаю? Ну или нужно притащить либу.

Мелочи:

• В cmake/ccache.cmake убрал ненужную проверку на CCACHE_PATH перед find_program(CCACHE_PATH ccache). В прошлый раз сгоряча её поставил. На самом деле, "if the variable is already set before the call (as a normal or cache variable) then the search will not occur".

[Gazizonoki]

@tsayukov Привет, по поводу предложений:

• util/system/direct_io_ut и util/stream/direct_io_ut. Бинари к этим тестам располагались в разных директориях, тут и тут, поэтому коллизий не было. Лучше разнеси сами тесты
• util/system/fstat_ut. Наша система сборки Ya Make сама перед запуском тестов создает пути WorkPath и OutputPath. В данном случае лучше сделать это через CMake, в виде необязательного параметра в add_ydb_test
• util/system/type_name_ut. Этот тест не должен запускаться с системной стандартной библиотекой, он явно выключен. Просто не подключай его
• util/system/unaligned_mem_ut тут придется возвращать либу, заведи issue на этот тест, права вроде у тебя есть
• util/generic/string_transparent_hash_ut во внутреннем репозитории у нас уже C++20, даже макросы не нужны. Замена должна пройти достаточно просто, этот фикс я донесу к нам
• util/random/common_ops_ut все же на мой взгляд проверок на компилируемость тут недостаточно, такой фикс вряд ли пропустят, этот тест можно не запускать совсем, сделай макрос, который будет этот тест выключать

[tsayukov]

@Gazizonoki Привет, добавил в add_ydb_test три новых параметра:

• WORKING_DIRECTORY — вспомнил, что у add_test есть такой полезный параметр, — таким образом разнёс по разным директориям не только исполнение тестов stream и system, но и всех остальных. Всё-таки изначально предполагалось, что они все вместе не будут исполняться по одному пути.
• OUTPUT_DIRECTORY для создания OutputPath, чтобы работал тест util/system/fstat_ut.
• TEST_ARG пробрасывает аргументы для экзешника теста дальше в add_yunittest. Может быть в принципе полезно передавать такие аргументы в add_ydb_test, а в данном случае я просто отключил конкретный сломанный тест-кейс в util/random/common_ops_ut.

Открыл issue:

• Add library/cpp/testing/benchmark library #296

Также добавил новых пресетов.

[Gazizonoki]

Вынеси куда нибудь все фиксы, которые надо донести. Так мне будет удобнее

[Gazizonoki]

@tsayukov Заведи issue на патча теста string_transparent_hash_ut, пока я донести фикс не могу, руки не доходят, а то, что это надо сделать, потеряется. Если получится, было бы круто приложить к issue сам патч

[tsayukov]

@tsayukov Заведи issue на патча теста string_transparent_hash_ut, пока я донести фикс не могу, руки не доходят, а то, что это надо сделать, потеряется. Если получится, было бы круто приложить к issue сам патч

@Gazizonoki Готово! Я тебя отметил в issues, как assignee, если ты не против...
Ещё, если не видел, составил для тебя список, как ты просил.