Підсумки тестування та контролю якості Rocky Linux 8.6

Останнє оновлення: 13 травня 17:36:41 UTC 2022 р.

Сфера застосування

У цьому документі буде зафіксовано зведення всіх результатів контролю якості та тестування для випуску Rocky Linux 8.6. Це лише літопис успіхів та/або невдач. Обговорення рішення має відбуватися в іншому місці.

SOP

• Будь ласка, вказуйте відповідними способами: PASS (Пройдено), FAIL (Непройдено), NOTABUG (Непомилка), INVESTIGATE (Розслідування) або UPSTREAM (Вгору за течією) у всіх записах.
• Будь ласка, надайте лише короткий виклад. Деталі слід надсилати Рокі Пастебіну, посилання тут підійдуть.
• Особливо у випадку негативного результату, будь ласка, залиште свій MM @handle, щоб ми могли зв'язатися з вами для вирішення проблеми.
• Якщо елемент, про який ви повідомляєте, пов'язаний з тестовим сценарієм контролю якості (QA:Testcase), будь ласка, згадайте про це. Якщо це має бути тестовий випадок контролю якості (QA:Testcase), навіть якщо це не є поточною вимогою, запропонуйте назву та створіть задачу у вікі-репозиторії, щоб ми могли її додати.

ДОСЛІДЖЕННЯ

• помилки у всіх тестах в openQA - ДОСЛІДЖУЙТЕ - див. розділ openQA нижче.
• ДІЗНАЙТЕСЯ, чи впливає проблема kdump на QCows із зашифрованими розділами в createhdds. Це передумови для багатомашинних тестів OpenQA. ПРИМІТКА: Це питання розглядається нижче в розділі - @tcooper
• Образи KDE та XFCE Life пошкоджені - ДОСЛІДЖУЙТЕ - @label

UPSTREAM

• Помилка Anaconda, коли певні кроки виконуються в правильному порядку (налаштувати мережу -> вимкнути kdump -> вибрати певну групу встановлення ОС -> налаштувати сховище за замовчуванням -> налаштувати сховище вдруге, але цього разу з увімкненим шифруванням, підтверджено кількома тестовими наборами OpenQA та ручною інсталяцією на ESXi) - повторно протестовано в RC1_2 - UPSTREAM - @lumarel
• Проблема повторюється на RHEL8.6 - @atomicturtle
• Проблему повідомлено RH https://bugzilla.redhat.com/show_bug.cgi?id=2085321 - @stack

ПОМИЛКА

• ESXi secureboot (x86_64) все ще не працює, хоча очікувалося - @lumarel

NOTABUG

• Мінімально: Вибір профілю SCAP із недоступними залежностями (aide тощо) та вибір опції «Ігнорувати залежність» під час встановлення призведе до аварійного завершення роботи Anaconda під час фінальної перевірки OSCAP. NOTABUG, це для документації - @atomicturtle
• Мінімальний ISO: знову відсутній вихідний код для rsyslog, і якимось чином він також не завантажується під час встановлення, що означає, що він відсутній після встановлення (цього не трапляється для завантажувального ISO та ISO dvd1) - NOTABUG (за @label) - @lumarel
• Мінімальний ISO: якщо базове середовище сервера встановлено з мінімальним ISO, а cockpit увімкнено після встановлення, у підменю SELinux відображається помилка "semanage: команда не знайдена" (не трапляється з boot/dvd-iso) - також позначено як очікуване - NOTABUG (відповідно до @label) - @lumarel

Повідомлення про успіх ручного виконання в MM

• мінімальна інсталяція з мінімальним штрафом ISO - ПРОХОДИТЬ - @Luna Jernberg
• Встановлення робочої станції (x86_64) з програмами пройшло нормально - повторно протестовано в RC1_2 - ПРОЙДЕНО - @lumarel
• усі репозиторії доступні з точними назвами, як вони є в пакеті rocky-repos (nfv потребує виправлення для цього) - повторно протестовано в RC1_2 - ПРОЙДЕНО - @lumarel
• Збірка пакера для версії 8.6 працювала бездоганно - повторно протестовано @neil у RC1_2 - ПРОЙДЕНО - @gmazrael
• Профілі безпеки добре виглядають в інтерфейсі Anaconda - ПРОЙДЕНО - @atomicturtle (потрібне тестування OpenQA)
• minimal та dvd розпізнаються як Rocky Linux 8 у KVM - PASS - @atomicturtle
• Профілі CIS підтверджено хорошими на рівнях 1/2 в Anaconda - ПРОЙДЕНО - @atomicturtle
• Профілі DISA підтверджені як хороші в Anaconda - PASS - @atomicturtle
• DVD: libvirt коректно завантажується, коли вибрано профіль Rocky Linux 8 - PASS - @atomicturtle
• SELinux перевіряє сервер (x86_64) (залишив його працювати годину та виконав sealert -a /var/log/audit/audit.log) - все гаразд - повторно перевірено в RC1_2 - ПРОЙДЕНО - @lumarel
• SELinux перевіряє на робочому столі (x86_64) (запустіть засіб усунення неполадок GNOME SE через кілька хвилин роботи) - все гаразд - повторно перевірено в RC1_2 - ПРОЙДЕНО - @lumarel
• DVD: Ручне налаштування мережі Anaconda та вибраний профіль PCI-DSS SCAP підтверджено як успішний - PASS - @atomicturtle
• QA:Testcase_Mediacheck - ПРОЙДЕНО для всіх ISO x86_64 - @tcooper
• QA:Testcase_Mediacheck - PASS for all aarch64 ISOs - @tcooper
• QA: Testcase Media Repoclose - ПРОЙДЕНО для minimal та dvd1 для x86_64 та aarch64 (підтверджує результати RelEng) - @tcooper
• Контроль якості: Конфлікти медіафайлів тестового випадку - ПРОЙДЕНО для мінімальних x86_64 та aarch64 (знайдено 0 конфліктів файлів та 0 конфліктів пакетів) - @tcooper
• QA: Тестовий сценарій Базового графічного режиму - ПРОЙДЕНО - перевірено вручну для Rocky-8.6-x86_64-dvd1.iso у VirtualBox на macOS X - @tcooper
• DVD: Встановлення Anaconda зі стороннім репозиторієм, зашифрованою файловою системою, вибраним профілем HIPAA SCAP, підтверджено успішне проходження - PASS - @atomicturtle
• Тестування оновлення на кількох тестових машинах з 8.5 до 8.6, без проблем, без сповіщень SELinux - ПРОЙДЕНО - @lumarel
• Усі потоки модулів, окрім perl:5.32 та log4j:2, мають правильно встановлені залежності, і пакети виглядають коректно зібраними - PASS - @lumarel
• Потік модуля log4j був зламаний (має бути можливість підключатися до java-8 та 11) - виправлено в RC1_2 - ПРОЙДЕНО - @lumarel
• Все, що було зламано в perl 5.32 (потік модулів), виправлено в RC1_2 - ПРОЙДЕНО - @nazunalika
• Тест встановлення побутової техніки Greenbone (https://rpa.st/DQNA) – ПРОЙДЕНО – @atomicturtle
• QA: Дебрендінг тестового випадку для контенту RC2 від Koji (srpms, kernel-rt та ПК не всі на DVD1) - 46/47 ПРОЙДЕНО, 1 НЕ ПРОЙДЕНО - https://rpa.st/raw/QK3A - @tcooper
• QA: Перевірка узгодженості медіафайлів у тестовому випадку (ще не написано) для всіх RC2 ISO x86_64, aarch64 - ПРОЙДЕНО - @tcooper
• QA: Конфлікти медіафайлів тестового випадку - ОЧІКУВАЛИСЯ (за @label) для Rocky-8.6-x86_64-dvd1.iso (знайдено 4 конфлікти файлів та 13 конфліктів пакетів, вони схожі на конфлікт 8.5 між пакетами/файлами mariadb та mysql, повні результати - https://rpa.st/raw/ZWPQ) - @tcooper
• QA: Конфлікти медіафайлів тестового випадку - ОЧІКУВАЛИСЯ (за @label) для Rocky-8.6-aarch64-dvd1.iso (проблеми модульних залежностей, знайдено 3 конфлікти файлів, знайдено 4 конфлікти пакетів, повні результати - https://rpa.st/raw/KOFQ) - @tcooper
• Захист якості: Конфлікти медіафайлів тестового випадку для x86_64 (https://rpa.st/raw/NLGA) та aarch64 (https://rpa.st/raw/4SFQ) по суті не змінилися та залишаються – ОЧІКУВАНИМИ (згідно з @label) з ISO-образами RC1_2. - @tcooper
• Тести OpenQA від @lumarel - є помилки в тестових випадках, але все, що пов'язано з зображеннями та репозиторіями, виглядає добре - ПРОЙДЕНО - @lumarel
• ISO-образ dvd1 для aarch64 не показує базове середовище робочої станції - у нього немає середовища робочої станції - PASS - @lumarel
• Встановлення систем aarch64 усіх 3 ISO виглядає добре, а встановлення з усіма базовими середовищами працює належним чином від них - ПРОЙДЕНО - @lumarel
• Робоча станція Live Image та Workstation Lite виглядають добре - ПРОЙДЕНО - @lumarel
• Контроль якості: Методи завантаження тестового випадку Завантажувальний ISO-образ - ПРОЙДЕНО - @neil
• Контроль якості: Методи завантаження тестового випадку Завантажувальний ISO-образ - ПРОЙДЕНО - @neil
• Контроль якості: Тестове завантаження/встановлення мінімальної x86_64 архітектури через DVD/Blu-ray (записаний за допомогою Fedora Mediawriter) на ноутбуці ASUS G752 - ПРОЙДЕНО - @atomicturtle
• Образи контейнерів для x86_64 та aarch64 працюють належним чином у Docker, Podman та WSL - PASS - @lumarel
• Контроль якості: Зміна розміру тома сховища тестового випадку - ПРОЙДЕНО - @raktajino https://rpa.st/MQSA
• QA: Оновлення образу тестового випадку - ПРОЙДЕНО - @raktajino (вручну перевірено з тестовим випадку Fedora (https://fedoraproject.org/wiki/QA:Testcase_Anaconda_updates.img_via_URL), needles також все ще збігаються в openQA)

Короткий опис openQA

• помилки у всіх тестах в openQA - ДОСЛІДЖЕННЯ
• RC1_1 run 1:
• @lumarel: https://rpa.st/CCPQ
• @raktajino: https://rpa.st/5RVA
• RC1_1 run 2
• @lumarel: https://rpa.st/FWTQ
• @raktajino:
• RC1_2 run 1:
• @lumarel: https://rpa.st/EOGQ
• @raktajino:https://rpa.st/VHLQ
• RC1_2 run 2:
• @raktajino: https://rpa.st/DKCQ
• Оновлення F35 -> F36 потребує postgresql-setup --upgrade для конвертації бази даних openqa у новий формат - @alangm
• Згідно з обговоренням на зустрічі команди тестування, нам потрібно виправити приблизно 4-8 проблем в openQA (needles та код), щоб завершити всі тести. @lumarel створив проблеми в нашому репозиторії openQA (https://github.com/rocky-linux/os-autoinst-distri-rocky), і ми вирішимо їх якомога швидше.

Зведення тесту файлу kickstart createhdds

Метод тестування: Використано пакувальник для створення віртуальної машини. Завантажена віртуальна машина. Підтверджений root-вхід. Вимкнення віртуальної машини.

• Тестування UEFI:
• desktop.ks - ПРОЙДЕНО - Примітка: отримане зображення запитує прийняття ліцензії EULA під час завантаження через firstboot --enal (не впевнений, чи це бажана поведінка)
• desktopencrypt.ks - PASS - Примітка: отримане зображення запитує прийняття EULA під час завантаження через firstboot --enal (не впевнений, чи це бажана поведінка)
• minimal-uefi.ks - ПРОЙДЕНО
• server.ks - ПРОЙДЕНО
• support.ks - ПРОЙДЕНО
• Тестування BIOS:
• desktop.ks - ПРОЙДЕНО - Примітка: отримане зображення запитує прийняття ліцензії EULA під час завантаження через firstboot --enal (не впевнений, чи це бажана поведінка)
• desktopencrypt.ks - PASS - Примітка: отримане зображення запитує прийняття EULA під час завантаження через firstboot --enal (не впевнений, чи це бажана поведінка)
• minimal.ks - ПРОЙДЕНО
• server.ks - ПРОЙДЕНО
• support.ks - ПРОЙДЕНО

Author: Trevor Cooper