Закомментированное объявление индексируется как метод, а настоящий экспортный метод теряется (70 из 12290 модулей)

[zeegin]

Кратко

_parse_procedures_from_lines ищет объявления методов регексом .search() по строкам файла, не отбрасывая комментарии. Поэтому // Процедура Имя(...) в шапке-примере попадает в индекс как настоящий метод — а настоящий метод, чьё тело этот призрак «съедает» по end_line, из индекса исчезает совсем.

На реальной вендорской конфигурации это 70 модулей из 12 290, включая ядро БСП: ОбщегоНазначенияКлиент, СтандартныеПодсистемыКлиент, СтандартныеПодсистемыСервер, УправлениеДоступом, УправлениеПечатью, ДлительныеОперации, Пользователи, ВариантыОтчетов, РаботаСФайламиКлиент, ОтчетыКлиентСервер.

Проверено на 1.29.1. src/rlm_tools_bsl/bsl_index.py побайтово идентичен в v1.29.1 и v1.30.1, так что в 1.30.1 поведение то же (готового бинарника 1.30.1 под рукой не было, поэтому прогон — на 1.29.1).

Минимальное воспроизведение

src/CommonModules/Демо/Ext/Module.bsl (UTF-8 с BOM):

#Область ПрограммныйИнтерфейс

// Пример вызова:
//
// Процедура ОпределитьНастройки(Форма, Ключ) Экспорт
// 	// Код процедуры.
// КонецПроцедуры
//
Процедура НастроитьВарианты(Настройки) Экспорт

	Возврат;

КонецПроцедуры

Процедура ВтораяПроцедура() Экспорт

	Возврат;

КонецПроцедуры

#КонецОбласти

RLM_INDEX_DIR=./idx rlm-bsl-index index build ./src
sqlite3 ./idx/*/bsl_index.db \
  "select name, type, is_export, line, end_line, params from methods order by line;"

Фактический результат:

name                 type       is_export  line  end_line  params
-------------------  ---------  ---------  ----  --------  -----------
ОпределитьНастройки  Процедура  1          5     13        Форма, Ключ
ВтораяПроцедура      Процедура  1          15    19

Ожидалось:

НастроитьВарианты    Процедура  1          9     13        Настройки
ВтораяПроцедура      Процедура  1          15    19

То есть:

• ОпределитьНастройки не существует в модуле, но лежит в индексе как экспортный метод, с параметрами, вытащенными из текста комментария;
• end_line=13 — это КонецПроцедуры настоящей процедуры, то есть призрак поглощает её тело;
• НастроитьВарианты — настоящий экспортный метод — в индексе отсутствует. Никакой поиск по имени его не найдёт.

Что именно триггерит

Семь модулей, по одному на вариант, один прогон index build:

Модуль	Содержимое	Что в индексе
V1Простой	// Процедура Призрак() Экспорт + // КонецПроцедуры	Призрак, is_export=1, 1–4
V2БезЗакрытия	только // Процедура Призрак(А)	Призрак, 1–3
V3ВСередине	// См. также Процедура Призрак() из другого модуля	Призрак, 1–3
V4Отступ	//\t\t\tПроцедура Призрак()	Призрак, 1–3
V5Функция	// Функция Призрак()	Призрак, тип Функция, 1–5
V6Строка	Т = "Процедура Призрак()"; внутри тела	Настоящая — верно
V7English	// Procedure Ghost() Export	Ghost, is_export=1, 1–4

Во всех случаях кроме V6 настоящий метод из индекса исчезает: 7 модулей → 7 методов, и в шести из них единственный метод — призрак.

Из этого видно три вещи:

1. Комментарии не отбрасываются. Строковые литералы отбрасываются (V6 отработал верно) — за это отвечает _PROC_STRING_LITERAL_RE (bsl_knowledge.py:164). Для // аналога нет.
2. Регекс не заякорен. V3 — объявление в середине прозаической строки, и оно всё равно захватывается. Это .search(), а не .match().
3. Настоящий метод теряется, а не просто получает неверные координаты. Это следствие того, как продвигается курсор (ниже).

Место в коде

src/rlm_tools_bsl/bsl_knowledge.py:15:

"procedure_def": r"(Процедура|Функция|Procedure|Function)\s+(\w+)\s*\(([^)]*)\)\s*(Экспорт|Export)?",

src/rlm_tools_bsl/bsl_index.py:2397 — незаякоренный поиск по строке, без учёта комментариев:

m = _PROC_DEF_RE.search(merged)

src/rlm_tools_bsl/bsl_index.py:2440-2445 — курсор перескакивает за end_line призрака, поэтому настоящее объявление вообще не рассматривается:

# Advance m_idx past the КонецПроцедуры line.
new_m = m_idx + 1
while new_m < total_merged and line_map[new_m] <= end_line:
    new_m += 1
m_idx = new_m

Показательно, что рядом в этом же файле уже есть заякоренный вариант того же паттерна — _PROC_DEF_PREFIX_RE (bsl_knowledge.py:160) с ^\s*, используемый для склейки многострочных сигнатур. И в самом bsl_index.py комментарии в других местах отбрасываются штатно: строки 1586, 4875, 4924 (stripped.startswith("//")). То есть обе нужные конвенции в кодовой базе уже приняты, просто не применены на этом пути.

Предлагаемое исправление

Минимально: перед поиском объявления убирать хвост от // (с учётом того, что // внутри строкового литерала не начинает комментарий — маска _PROC_STRING_LITERAL_RE для этого уже есть), и заякорить паттерн на начало логической строки:

"procedure_def": r"^\s*(Процедура|Функция|Procedure|Function)\s+(\w+)\s*\(([^)]*)\)\s*(Экспорт|Export)?",

Заякоривание само по себе закрывает V3, но не V1, V2, V4, V5, V7 — там объявление стоит в начале строки, просто за //. Поэтому нужны оба изменения.

Стоит учесть, что это меняет содержимое индекса, то есть требует bump версии билдера, чтобы существующие базы перестроились.

Почему это ощутимо

Индекс — источник для find_definition, search, get_module_outline и find_callers_context. Потеря настоящего экспортного метода означает, что:

• find_definition("НастроитьВарианты") не находит существующую процедуру;
• get_module_outline отдаёт структуру, которой в файле нет, и при этом молчит;
• призрак предлагается как экспортное API.

В БСП шапка с примером вызова — стандартный стиль оформления переопределяемых модулей, поэтому попадание неслучайное и концентрируется именно в тех модулях, которые чаще всего разбирают.

Отдельно отмечу: сравнение шло с bsl-analyzer v0.2.62 (полноценный парсер BSL) на том же корпусе — он на всех 12 290 модулях дал 0 диагностик и во всех 70 расхождениях прав именно он. Расхождения были только по методам; области (regions) совпали на всех 12 290 модулях, включая имена с хвостовым //-комментарием и области внутри тел методов.

Окружение

• rlm-tools-bsl / rlm-bsl-index 1.29.1, darwin-arm64
• корпус для статистики: выгрузка Designer, платформа 8.3.27.2074, формат 2.20, 12 290 файлов *.bsl
• сверка: bsl-analyzer v0.2.62 (rev 9a6cb15d)

[Dach-Coin]

Спасибо за разбор - регресс воспроизводится ровно как описано, включая то, что настоящий
экспортный метод пропадает из индекса целиком, а не просто получает неверные координаты.
Проверил все семь вариантов из таблицы: совпадают.

Но при проверке выяснилось, что проблема шире, и предложенный минимальный фикс её не
закроет, а частично сделает хуже. Три уточнения.

1. Дело не только в комментариях - строковые литералы тоже.

Вывод «строковые литералы отбрасываются, за это отвечает _PROC_STRING_LITERAL_RE»
не подтвердился: этот регекс используется только для подсчёта скобок при склейке
многострочных сигнатур и до поиска объявления не доходит. Вариант V6 отработал верно
случайно — литерал лежал внутри уже проглоченного тела, и парсер эту строку просто не
рассматривал. Если вынести литерал за пределы тела метода, призрак возвращается:

Шаблон = "Процедура Призрак(А) Экспорт";
Процедура Настоящая()
КонецПроцедуры

→ в индексе Призрак, is_export=1, а Настоящая исчезает.

То же со строкой-продолжением текста запроса (|Процедура Призрак(Б) Экспорт).
Так что маскировать нужно и комментарии, и строковые литералы.

2. Заякоривание регекса само по себе - регресс.

Асинх Функция ЗагрузитьДанные(Ссылка) Экспорт сейчас индексируется правильно именно
потому, что поиск не заякорен. Якорь ^\s* без опционального префикса
(?:Асинх|Async)\s+ этот метод потеряет — то есть закроет одну дырку и откроет другую.

Попутно нашлось родственное: многострочная Асинх Функция не индексируется уже сегодня.
_PROC_DEF_PREFIX_RE заякорен и про Асинх не знает, склейка не срабатывает, а
несклеенную сигнатуру основной регекс не матчит. Тот же пробел в сканере аннотаций
расширений. Префикс надо добавлять в три места разом.

И ещё: procedure_end править не нужно, он уже заякорен - // КонецПроцедуры его
не обманывает.

3. Одного бампа версии билдера для пересборки не хватит.

Замечание про bump верное по сути, но недостаточное. При 14→15 update() уходит в ветку
несовпадения версии → полный скан, а он считает дельту по mtime/size и нетронутые модули
не перечитывает. Призраки в существующих базах выживут. Реальную пересборку даёт только
порог принудительного rebuild (if old_version < 14:) — его надо поднимать вместе с
BUILDER_VERSION.

Плюс тот же дефект есть в read-time парсере модулей расширений: если починить только
билдер, основная конфигурация станет чистой, а расширения продолжат отдавать призраков.

Итог по срокам: правка получается не косметическая — маскировщик комментариев и строк
с сохранением смещений (чтобы не потерять точность params вида
Знач Адрес = "http://x/y"), изменение общего регекса и принудительная полная пересборка
всех индексов у всех пользователей. Это не патч-уровень, поэтому в ближайший фикс-релиз
не берём.

Issue оставляем открытым: чиним в релизе, который поднимает версию индекса, — там
пересборка всё равно неизбежна и заплатить за неё придётся один раз, а не дважды.
Разбор целиком записан, повторно анализировать не будем.

Ещё раз спасибо за сверку с bsl-analyzer и за статистику по 12 290 модулям — без неё
масштаб был бы неочевиден.