HY2XS_flamy

prod/HY2XS_flamy

Fork 0

Commit Graph

Author	SHA1	Message	Date
founder	4e7f54b9ff	fix(orchestrator): сделать staged firewall guard транзакционным Снятие автоматического отката firewall было утверждением, а не фактом: systemctl stop <unit>.timer <unit>.service \|\| true -> "firewall rollback timer disarmed" -> phase=installed Отказ остановки стирался через `\|\| true`, и взведённый таймер мог вернуть прежний firewall уже ПОСЛЕ долговечной записи успеха. Просто убрать `\|\| true` нельзя: для транзиентного юнита, уже убранного systemd, `systemctl stop` возвращает 5 — законный исход, неотличимый от успеха. Соседний дефект того же корня: guard мог сработать ВО ВРЕМЯ успешного smoke. Окно 45 секунд короче худшего случая smoke, а единственной проверкой firewall был `nft -c` — разбор текущего файла, каким бы он ни был. Откатившийся прежний ruleset проходил её зелёным, и сервер объявлялся настроенным с firewall, который операция же и заменила. Оба закрываются маркером /run/hy2xs/rollback/<op>/auto-rollback-fired, который rollback-скрипт создаёт первым действием. Инвариант стал детерминированным: маркер отсутствует И timer/service inactive => можно фиксировать успех Остальное в том же проходе: - auto-rollback переехал из однострочного `sh -c` в сгенерированный скрипт. Прежний держался на склейке соседних кавычек и на том, что op-id не содержит пробелов; теперь ключ проверяется, а скрипт покрыт тестом и shell-парсером; - скрипт накапливает rc и уходит в failed вместо молчаливого 0 при частичном восстановлении. Состояние nftables.service он сознательно не трогает: ExecStop у него делает `nft flush ruleset`; - smoke сверяет ЭФФЕКТИВНЫЙ firewall: фрагмент на диске против отрендеренного, принадлежность entrypoint и загруженность таблицы inet hy2xs; - откат восстанавливает enabled/active nftables.service — стадиями, идущими до применения ruleset; - остановка guard'а в rollbackFirewallNow стала стадией с отчётом, а не вызовом с `\|\| true` внутри; - `*.candidate` больше не остаются на диске навсегда; - стадии восстановления reconfigure независимы по ОТДЕЛЬНОМУ ФАЙЛУ, а не по группе; - ключ операции считается одной функцией: install писал в маркер сырой ISO-timestamp, и путь /run/hy2xs/rollback/<op_id> из runbook не существовал.	2026-08-30 22:54:57 +05:00
founder	330a63b050	fix(v1): сделать надёжным нижний слой отката, а не только его запуск Верхнеуровневый откат стал неотменяемым в прошлом проходе, и на этом фоне проявилось, что его substrate этой надёжности не соответствует: откат гарантированно запускался, но отдельные его шаги могли молча не выполнить восстановление, отчитаться успехом и уничтожить резервную копию. 1. Данные для отката уничтожались ДО фиксации успеха (commit ordering). cancelFirewallRollback снимала таймер автоотката И удаляла резервные копии firewall, а вызывалась до долговечной записи phase=installed. Отказ этой записи (ENOSPC/EIO/read-only ФС) приводил в обработчик ошибки, обязательный откат честно запускался и сообщал "no HY2XS rollback markers found": откатывать было нечем. Причём отказ записи маркера — ровно тот сценарий, который прошлый проход специально сделал безопасным. Разделено на disarmFirewallRollback (снять таймер, копии оставить) и cleanupFirewallRollback (удалить копии). Порядок в install и reconfigure: smoke_ok -> disarm -> durable installed -> cleanup best-effort. 2. Резервные копии снимались без доказательства. И firewall, и reconfigure копировали как `cp ... \|\| true`: отказ игнорировался, операция шла менять систему без копии, на которую рассчитывает откат. У firewall маркер prepared («данные для отката существуют») выставлялся вообще ДО копирования. Копирование строгое, факт создания проверяется, маркер ставится после. 3. Копии reconfigure смешивались между операциями. Общий набор *.bak в /etc/hy2xs/backups не был привязан к проходу. Если у операции B копирование падало, B всё равно менял систему, а его откат восстанавливал файлы операции A — сервер возвращался в более старое состояние и это выглядело успешным откатом. Копия стала операционной: /etc/hy2xs/backups/<op-id>/ с манифестом, где отсутствие файла записано явно ("present": false), а не выведено из неудачи cp. Разбор строгий, включая проверку opId. 4. Ошибка восстановления скрывалась, и после неё копии удалялись. rollbackFirewallNow выполняла cp и nft -f с `\|\| true`, затем безусловно удаляла /run/hy2xs/rollback/<op>. Худшая комбинация: неудача не видна, стадия успешна, данные для ручной починки уничтожены. Теперь копии удаляются только после подтверждённого успеха, иначе сохраняются с сообщением manual recovery data preserved at ... 5. Команды отката глушили собственный код возврата. До стадийного раннера `\|\| true` был единственной защитой от обрыва цепочки; после его появления стал маскировкой — стадия не могла сообщить, что ничего не сделала. Убран; rollbackCurrentState разбита на семь независимых стадий. 6. Долговечность записи каталога маркера. writeTextAtomic синхронизирует файл и его каталог, но при первой установке /var/lib/hy2xs создаётся тут же, и запись "hy2xs" в /var/lib оставалась несинхронизированной. ensureDir сообщает о фактическом создании и синхронизирует родителя только тогда. Отдельно про doctor. Утверждение аудита, что doctor вызывает UpdatePeerLastConnectionAt через успешную machine-auth, кодом не подтверждается: проба с действующим паролем ограничена `context.mode === "install"`, а doctor работает в режиме reconfigure. Инвариант, однако, ничем не охранялся — добавлены тест и приёмка. Документация уточнена: guard действует внутри процесса, а границу «что doctor шлёт по сети» держит состав проб; единственный остающийся след — записи в журнале админки, и это сказано прямо. Тесты: backup-integrity.test.ts (манифест, строгий разбор, копия до мутации, сохранение копий при неудачном восстановлении), commit-ordering.test.ts (disarm/cleanup разделены, порядок фиксации в обеих командах). Три теста, закреплявших прежний инвариант «каждая команда отката несёт \|\| true», переписаны на обратный: команды обязаны сообщать о своих отказах.	2026-08-30 19:32:43 +05:00
founder	e84fdedc4b	fix(v1): сделать откат неотменяемым, а маркер установки — долговечным Три дефекта одного класса в failure path install/reconfigure. 1. Запись состояния отказа отменяла откат. Обработчик ошибки первым делом писал в install-state фазу отказа обычным await и только потом откатывался. Эта запись — mkdir, write и chown в /var/lib/hy2xs, то есть она падает ровно там, где откат нужнее всего: заполненный диск, read-only ФС, ошибка ввода-вывода. Бросок уносил управление наружу, и обязательное восстановление не выполнялось вовсе — применённый firewall и развёрнутые сервисы оставались на сервере. Необязательная телеметрия состояния стояла перед обязательным восстановлением. Для диагностики это уже было закрыто, для записи состояния — нет. 2. Откат отменял сам себя. Он был написан цепочкой await, а каждая его стадия — systemctl, cp, rm -rf и nft, то есть умеет упасть сама. Отказ первой стадии отменял все последующие. В reconfigure это означало сервер одновременно с применённым сломанным firewall И без восстановленных из /etc/hy2xs/backups конфигов. Внутри rollbackCurrentState болезнь та же: единственная команда без `\|\| true` (systemctl daemon-reload) отменяла перезапуск сервисов строкой ниже, и восстановленные unit-файлы не применялись. Стадии стали независимыми: выполняются все, отказавшие перечисляются в журнале, наружу уходит исходная ошибка операции. 3. У маркера установки было два писателя с разными гарантиями. install перезаписывал файл на месте (writeText), reconfigure подставлял атомарно. Слабейшая гарантия досталась команде, которая этот файл создаёт. Перезапись на месте укорачивает файл до нуля и только потом наполняет: отказ между этими моментами оставляет половину JSON, который не разбирается — reconfigure видит его как отсутствующий, clean-host как присутствующий, а хост уже изменён. Атомарности при этом мало. rename() без fsync даёт атомарность видимости без долговечности: после потери питания ext4 штатно отдаёт по этому пути нулевой файл. Для метаданных восстановления это неприемлемо, поэтому порядок теперь: права/владелец -> fsync файла -> rename -> fsync каталога. Заодно ownership-флаг переименован в stateTouched и взводится ДО записи: отказ на chown после успешного write оставлял файл на диске при невзведённом флаге, то есть давал fatal_pre_apply («ничего не изменено») при уже существующем маркере установки. Тесты: rollback-mandatory.test.ts (внедрение отказа в стадию, проводка команд), atomic-write.test.ts (замена целиком, прежний файл при отказе, отсутствие временных файлов, права, guard). Приёмка сборки закрепляет порядок шагов атомарной записи, отсутствие незащищённой записи состояния в обработчиках и отсутствие отменяемых цепочек в откате.	2026-08-30 18:11:55 +05:00

Author

SHA1

Message

Date

founder

4e7f54b9ff

fix(orchestrator): сделать staged firewall guard транзакционным

Снятие автоматического отката firewall было утверждением, а не фактом:

    systemctl stop <unit>.timer <unit>.service || true
    -> "firewall rollback timer disarmed"
    -> phase=installed

Отказ остановки стирался через `|| true`, и взведённый таймер мог вернуть
прежний firewall уже ПОСЛЕ долговечной записи успеха. Просто убрать `|| true`
нельзя: для транзиентного юнита, уже убранного systemd, `systemctl stop`
возвращает 5 — законный исход, неотличимый от успеха.

Соседний дефект того же корня: guard мог сработать ВО ВРЕМЯ успешного smoke.
Окно 45 секунд короче худшего случая smoke, а единственной проверкой firewall
был `nft -c` — разбор текущего файла, каким бы он ни был. Откатившийся прежний
ruleset проходил её зелёным, и сервер объявлялся настроенным с firewall,
который операция же и заменила.

Оба закрываются маркером /run/hy2xs/rollback/<op>/auto-rollback-fired, который
rollback-скрипт создаёт первым действием. Инвариант стал детерминированным:

    маркер отсутствует И timer/service inactive => можно фиксировать успех

Остальное в том же проходе:

- auto-rollback переехал из однострочного `sh -c` в сгенерированный скрипт.
  Прежний держался на склейке соседних кавычек и на том, что op-id не содержит
  пробелов; теперь ключ проверяется, а скрипт покрыт тестом и shell-парсером;
- скрипт накапливает rc и уходит в failed вместо молчаливого 0 при частичном
  восстановлении. Состояние nftables.service он сознательно не трогает:
  ExecStop у него делает `nft flush ruleset`;
- smoke сверяет ЭФФЕКТИВНЫЙ firewall: фрагмент на диске против отрендеренного,
  принадлежность entrypoint и загруженность таблицы inet hy2xs;
- откат восстанавливает enabled/active nftables.service — стадиями, идущими до
  применения ruleset;
- остановка guard'а в rollbackFirewallNow стала стадией с отчётом, а не вызовом
  с `|| true` внутри;
- `*.candidate` больше не остаются на диске навсегда;
- стадии восстановления reconfigure независимы по ОТДЕЛЬНОМУ ФАЙЛУ, а не по
  группе;
- ключ операции считается одной функцией: install писал в маркер сырой
  ISO-timestamp, и путь /run/hy2xs/rollback/<op_id> из runbook не существовал.

2026-08-30 22:54:57 +05:00

founder

330a63b050

fix(v1): сделать надёжным нижний слой отката, а не только его запуск

Верхнеуровневый откат стал неотменяемым в прошлом проходе, и на этом фоне
проявилось, что его substrate этой надёжности не соответствует: откат
гарантированно запускался, но отдельные его шаги могли молча не выполнить
восстановление, отчитаться успехом и уничтожить резервную копию.

1. Данные для отката уничтожались ДО фиксации успеха (commit ordering).

cancelFirewallRollback снимала таймер автоотката И удаляла резервные копии
firewall, а вызывалась до долговечной записи phase=installed. Отказ этой
записи (ENOSPC/EIO/read-only ФС) приводил в обработчик ошибки, обязательный
откат честно запускался и сообщал "no HY2XS rollback markers found":
откатывать было нечем. Причём отказ записи маркера — ровно тот сценарий,
который прошлый проход специально сделал безопасным.

Разделено на disarmFirewallRollback (снять таймер, копии оставить) и
cleanupFirewallRollback (удалить копии). Порядок в install и reconfigure:
smoke_ok -> disarm -> durable installed -> cleanup best-effort.

2. Резервные копии снимались без доказательства.

И firewall, и reconfigure копировали как `cp ... || true`: отказ
игнорировался, операция шла менять систему без копии, на которую
рассчитывает откат. У firewall маркер prepared («данные для отката
существуют») выставлялся вообще ДО копирования. Копирование строгое, факт
создания проверяется, маркер ставится после.

3. Копии reconfigure смешивались между операциями.

Общий набор *.bak в /etc/hy2xs/backups не был привязан к проходу. Если у
операции B копирование падало, B всё равно менял систему, а его откат
восстанавливал файлы операции A — сервер возвращался в более старое
состояние и это выглядело успешным откатом. Копия стала операционной:
/etc/hy2xs/backups/<op-id>/ с манифестом, где отсутствие файла записано
явно ("present": false), а не выведено из неудачи cp. Разбор строгий,
включая проверку opId.

4. Ошибка восстановления скрывалась, и после неё копии удалялись.

rollbackFirewallNow выполняла cp и nft -f с `|| true`, затем безусловно
удаляла /run/hy2xs/rollback/<op>. Худшая комбинация: неудача не видна,
стадия успешна, данные для ручной починки уничтожены. Теперь копии
удаляются только после подтверждённого успеха, иначе сохраняются с
сообщением manual recovery data preserved at ...

5. Команды отката глушили собственный код возврата.

До стадийного раннера `|| true` был единственной защитой от обрыва цепочки;
после его появления стал маскировкой — стадия не могла сообщить, что
ничего не сделала. Убран; rollbackCurrentState разбита на семь независимых
стадий.

6. Долговечность записи каталога маркера.

writeTextAtomic синхронизирует файл и его каталог, но при первой установке
/var/lib/hy2xs создаётся тут же, и запись "hy2xs" в /var/lib оставалась
несинхронизированной. ensureDir сообщает о фактическом создании и
синхронизирует родителя только тогда.

Отдельно про doctor. Утверждение аудита, что doctor вызывает
UpdatePeerLastConnectionAt через успешную machine-auth, кодом не
подтверждается: проба с действующим паролем ограничена `context.mode ===
"install"`, а doctor работает в режиме reconfigure. Инвариант, однако, ничем не
охранялся — добавлены тест и приёмка. Документация уточнена: guard действует
внутри процесса, а границу «что doctor шлёт по сети» держит состав проб;
единственный остающийся след — записи в журнале админки, и это сказано прямо.

Тесты: backup-integrity.test.ts (манифест, строгий разбор, копия до мутации,
сохранение копий при неудачном восстановлении), commit-ordering.test.ts
(disarm/cleanup разделены, порядок фиксации в обеих командах). Три теста,
закреплявших прежний инвариант «каждая команда отката несёт || true»,
переписаны на обратный: команды обязаны сообщать о своих отказах.

2026-08-30 19:32:43 +05:00

founder

e84fdedc4b

fix(v1): сделать откат неотменяемым, а маркер установки — долговечным

Три дефекта одного класса в failure path install/reconfigure.

1. Запись состояния отказа отменяла откат.

Обработчик ошибки первым делом писал в install-state фазу отказа обычным
await и только потом откатывался. Эта запись — mkdir, write и chown в
/var/lib/hy2xs, то есть она падает ровно там, где откат нужнее всего:
заполненный диск, read-only ФС, ошибка ввода-вывода. Бросок уносил
управление наружу, и обязательное восстановление не выполнялось вовсе —
применённый firewall и развёрнутые сервисы оставались на сервере.

Необязательная телеметрия состояния стояла перед обязательным
восстановлением. Для диагностики это уже было закрыто, для записи
состояния — нет.

2. Откат отменял сам себя.

Он был написан цепочкой await, а каждая его стадия — systemctl, cp, rm -rf
и nft, то есть умеет упасть сама. Отказ первой стадии отменял все
последующие. В reconfigure это означало сервер одновременно с применённым
сломанным firewall И без восстановленных из /etc/hy2xs/backups конфигов.
Внутри rollbackCurrentState болезнь та же: единственная команда без
`|| true` (systemctl daemon-reload) отменяла перезапуск сервисов строкой
ниже, и восстановленные unit-файлы не применялись.

Стадии стали независимыми: выполняются все, отказавшие перечисляются в
журнале, наружу уходит исходная ошибка операции.

3. У маркера установки было два писателя с разными гарантиями.

install перезаписывал файл на месте (writeText), reconfigure подставлял
атомарно. Слабейшая гарантия досталась команде, которая этот файл создаёт.
Перезапись на месте укорачивает файл до нуля и только потом наполняет:
отказ между этими моментами оставляет половину JSON, который не
разбирается — reconfigure видит его как отсутствующий, clean-host как
присутствующий, а хост уже изменён.

Атомарности при этом мало. rename() без fsync даёт атомарность видимости
без долговечности: после потери питания ext4 штатно отдаёт по этому пути
нулевой файл. Для метаданных восстановления это неприемлемо, поэтому
порядок теперь: права/владелец -> fsync файла -> rename -> fsync каталога.

Заодно ownership-флаг переименован в stateTouched и взводится ДО записи:
отказ на chown после успешного write оставлял файл на диске при
невзведённом флаге, то есть давал fatal_pre_apply («ничего не изменено»)
при уже существующем маркере установки.

Тесты: rollback-mandatory.test.ts (внедрение отказа в стадию, проводка команд),
atomic-write.test.ts (замена целиком, прежний файл при отказе, отсутствие
временных файлов, права, guard). Приёмка сборки закрепляет порядок шагов
атомарной записи, отсутствие незащищённой записи состояния в обработчиках и
отсутствие отменяемых цепочек в откате.

2026-08-30 18:11:55 +05:00

3 Commits