672d455467
Hardening-проход перед первой сборкой на Debian. Три из найденного не воспроизводились ни на одном dry-run и проявились бы только на живом сервере. Установка * preflight внутри install вызывался дважды и оба раза проверял clean-host. Ко второму вызову на диске лежал собственный /var/lib/hy2xs/install-state.json, записанный после первого preflight, и опознавался как маркер посторонней установки: КАЖДАЯ чистая установка падала сразу после apt-get с fatal_post_apply и оставляла сервер наполовину настроенным. Чистота хоста — условие входа в операцию, возможности платформы проверяются уже внутри PHASE 1, поэтому checkCleanHost стал отдельным параметром без умолчания. * PHASE 1 начиналась в install.sh: shell сам создавал /usr/local/lib/hy2xs, ставил бинарник, вешал symlink и копировал runtime-пакет, и только потом запускал оркестратор с его собственным preflight. Отказ того preflight объявлялся fatal_pre_apply — «на сервере ничего не изменено» — при уже созданном каталоге оркестратора. Отследить владение мутацией невозможно, пока мутируют двое: install.sh больше не изменяет ничего, раскладку выполняет steps/bootstrap.ts под ownership.bootstrapTouched, пути попали в owned_paths. Как следствие удалено деление clean-host на фазы. * diagnosticsCollect стояла перед rollback обычным await в install и в reconfigure. На заполненном диске она падает сама и отменяла откат целиком. Диагностика — best effort, откат — обязателен. * reconfigure/repair выбирали записываемую фазу отказа регулярным выражением по тексту ошибки. Переведено на ownership-флаги. Секреты * Журнал админки писал RequestURI, то есть путь вместе с query. Hysteria обращается к /internal/hysteria/auth?access_token=<секрет> при каждом подключении пира, поэтому действующий machine token оседал открытым текстом в hy2xs-admin.log, который отдаётся через ExportLog и попадает в diagnostics-бандл. Логируется путь; значения query не пишутся, имена — пишутся. Канала было два: gin.Default() печатает path?query в stdout, оттуда в journald и в тот же бандл, — панель переведена на gin.New() + Recovery(). Журналы внутри бандла и журнал Hysteria из ExportLog теперь проходят санитайз. Сравнение токена — constant time. * Config API позволял прочитать и подменить ключи приложения: getConfig и listConfig принимали произвольный ключ, а проверка записи была denylist'ом из трёх ключей оркестратора. Запрос ?key=PEER_SECRET_ENCRYPTION_KEY отдавал master-key шифрования секретов пиров. Доступ переведён на allowlist, маршрут getConfig удалён целиком — потребителей у него не было ни одного. Пиры * Импорт применялся по одной записи вне транзакции, вопреки собственному контракту. Валидация не знает, что уже лежит в базе: cross-conflict по UNIQUE(name) оставлял часть файла применённой. Применение выполняется одной транзакцией, криптоматериал считается до её открытия. * Файл импорта мог содержать хвостовой JSON-документ, который молча не применялся. После разбора проверяется io.EOF. * Экспорт разделён на «Экспорт настроек» и «Резервная копия» с секретами и подтверждением: обычный экспорт выдаёт пирам новые секреты при импорте, и прежние клиентские ссылки после переноса переставали работать. Сборка * Два stale-грепа в приёмке роняли build.sh в самом конце, внутри verify_archive. Первый искал в smoke.ts исчезнувший литерал URL, второй совпадал с router_test.go, который перечисляет удалённые маршруты, потому что проверяет их отсутствие: добавление регрессионного теста ломало сборку. * verify_archive требовал наличия мутирующей строки в install.sh. Инвариант перевёрнут: их не должно быть ни одной. Очистка * Удалены entity.LegacyAccount, миграции 002/003 и мёртвые хелперы listSQLMigrationFiles и envInt: v1 не мигрирует базу 0.x ни при каком сценарии. Номера оставшихся миграций сохранены. H UI-словарь убран из обычных доков, в docs/14 он остаётся — там это имена объектов для удаления. * Список непубличных IPv4 приведён к IANA Special-Purpose Address Registry: 203.0.113.5 из RFC-примеров считался публичным адресом сервера. Отказ резолвера отделён от отсутствия A-записи. Проверено: bun test 233, go test 71, tsc/vue-tsc, bash -n 11 скриптов, приёмка прогнана против дерева.
79 lines
3.8 KiB
Go
79 lines
3.8 KiB
Go
package service
|
|
|
|
import (
|
|
"regexp"
|
|
"strings"
|
|
)
|
|
|
|
// Санитайз свободного текста логов.
|
|
//
|
|
// Отличается от YAML-санитайзера тем, что у него нет структуры: журнал — это
|
|
// строки, а не документ. Поэтому правил ровно два и оба консервативные:
|
|
//
|
|
// 1. всё, что разбирается как URL, прогоняется через тот же sanitizeURLValue,
|
|
// что и экспорт конфига: host/port/path остаются читаемыми, встроенные
|
|
// учётные данные и секретные query-параметры вырезаются;
|
|
// 2. отдельно ловятся пары `имя=значение` с секретоподобным именем, которые
|
|
// встречаются в тексте вне URL.
|
|
//
|
|
// Зачем это журналу Hysteria: HY2_AUTH_URL содержит access_token, и upstream
|
|
// волен упомянуть его в сообщении об ошибке обращения к auth-backend. Свой
|
|
// журнал админки мы контролируем, чужой — нет, а ExportLog отдаёт его
|
|
// оператору тем же файлом.
|
|
|
|
var logURLPattern = regexp.MustCompile(`[a-zA-Z][a-zA-Z0-9+.\-]*://[^\s"'<>` + "`" + `]+`)
|
|
|
|
// Имена подобраны по тем же маркерам, что и secretKeyMarkers, но записаны
|
|
// явным перечислением: в свободном тексте подстрочный поиск по «token» дал бы
|
|
// слишком много ложных срабатываний на словах вроде «tokenizer».
|
|
var logSecretAssignmentPattern = regexp.MustCompile(
|
|
`(?i)([a-z0-9_\-]*(?:access_token|token|secret|password|passwd|passphrase|credential|api_?key|authorization|signature)[a-z0-9_\-]*)\s*[=:]\s*([^\s&,;"'<>` + "`" + `]+)`,
|
|
)
|
|
|
|
// SanitizeLogText вырезает секреты из произвольного текста журнала.
|
|
func SanitizeLogText(raw string) string {
|
|
if raw == "" {
|
|
return raw
|
|
}
|
|
|
|
withSafeURLs := logURLPattern.ReplaceAllStringFunc(raw, func(match string) string {
|
|
body, trailing := splitTrailingPunctuation(match)
|
|
return sanitizeURLValue(body) + trailing
|
|
})
|
|
|
|
return logSecretAssignmentPattern.ReplaceAllStringFunc(withSafeURLs, func(match string) string {
|
|
groups := logSecretAssignmentPattern.FindStringSubmatch(match)
|
|
if len(groups) != 3 {
|
|
return match
|
|
}
|
|
value, trailing := splitTrailingPunctuation(groups[2])
|
|
|
|
// Значение уже вырезано URL-санитайзером: percent-кодированный маркер
|
|
// внутри готового URL трогать нельзя, иначе адрес перестанет быть
|
|
// валидным URL.
|
|
if value == RedactedPlaceholder || strings.EqualFold(value, encodedRedactedPlaceholder) {
|
|
return match
|
|
}
|
|
|
|
separator := "="
|
|
if strings.Contains(match, ":") && !strings.Contains(match, "=") {
|
|
separator = ": "
|
|
}
|
|
return groups[1] + separator + RedactedPlaceholder + trailing
|
|
})
|
|
}
|
|
|
|
// encodedRedactedPlaceholder — то, во что превращается маркер внутри query
|
|
// после url.Values.Encode().
|
|
const encodedRedactedPlaceholder = "%3Credacted%3E"
|
|
|
|
// splitTrailingPunctuation отделяет хвостовую пунктуацию предложения от
|
|
// значения: в «...access_token=abc.» точка принадлежит тексту, а не токену.
|
|
func splitTrailingPunctuation(value string) (string, string) {
|
|
end := len(value)
|
|
for end > 0 && strings.ContainsRune(".,;:)]}!?", rune(value[end-1])) {
|
|
end--
|
|
}
|
|
return value[:end], value[end:]
|
|
}
|