FUSE SUPPORT #184

dura0ok · 2025-02-20T09:24:39Z

No description provided.

demonolock · 2025-02-20T15:59:47Z

testgres/node.py

@@ -316,7 +316,14 @@ def logs_dir(self):
    @property
    def data_dir(self):
        # NOTE: we can't run initdb without user's args
-        return os.path.join(self.base_dir, DATA_DIR)
+        if hasattr(self, '_data_dir'):


как-то путанно выходит, может через DATA_DIR, только проверять абсолютный или относительный путь там указан? Есть абсолютный, то не подставлять base_dir

Не, я создаю просто пустую директорию куда буду монтировать fuse и хочу потом сменить data_dir у ноды на нее, чтобы можно было ноду запустить с новой директорией.
У директория куда монтируется не обязательно называется data.
Какая разница.

Привет.

Я с подозрением отношусь к этой фиче со сменой директории у ноды. Ноду нужно сразу создать с указанием нужной директории и после этого не давать её менять. То, что это (как я понимаю) сейчас невозможно - это другой вопрос.

У нас есть base_dir. От неё мы "наследуем" data_dir и log_dir.

Нужно иметь возможность явно указать эти data_dir и base_dir. Это будет уже совсем другой тип ноды, у которой нет base_dir.

По хорошему тут нужен другой вариант, который, в упрощенной форме, выглядит так:

Нужно соорудить базовый класс для PostgresNode - PostgresNodeBase.

У PostgresNodeBase будет два "абстрактных" свойства - data_dir и log_dir.

Туда же, в PostgresNodeBase, перенесем функционал PostgresNode.

Текущий PostgresNode наследует этот PostgresNodeBase и завязывает data_dir и log_dir на base_dir

Вариант ноды, в которой можно указывать data_dir и log_dir делаем другим классом. Скажем - PostgresNode2. В его конструктор будут передаваться явные значения для data_dir и log_dir.

Как идея может просто тогда давать возможность задавать DataDir при конструкции ноды?

можно, но тогда нужно custom_data_dir задавать, чтобы не конфликтовало с def data_dir(self). а вот в data_dir определять в зависимости от того задан custom_data_dir или нет.

@demonolock @dmitry-lipetsk
Подумал и переделал это в корне по другому. Теперь можно указать при старте ноды и ее остановке custom_data_dir.
Так ок?

@demonolock @dmitry-lipetsk убрал сеттер вовсе, обошелся без него пустой нодой. Таки сообразил как. Вы правы. Аппрув?

demonolock · 2025-02-20T16:03:30Z

testgres/plugins/pg_probackup2/pg_probackup2/app.py

@@ -61,7 +62,7 @@ def __init__(self, test_class: unittest.TestCase,
        self.execution_time = None

    def run(self, command, gdb=False, old_binary=False, return_id=True, env=None,
-            skip_log_directory=False, expect_error=False, use_backup_dir=True):
+            skip_log_directory=False, expect_error=False, use_backup_dir=True, daemonize=False):
        """


Это будет раз на команду задаваться или на весь тестовый прогон?

Раз на команду, нужно для того чтобы мочь запустить команду в фоновом режиме. В моем случае чтобы запустить пробэкап с опцией fuse в фоне.

demonolock · 2025-02-20T16:11:40Z

testgres/plugins/pg_probackup2/pg_probackup2/app.py

+                logging.info(f"Process started in background with PID: {self.process.pid}")
+
+                if self.process.stdout and self.process.stderr:
+                    stdout_thread = threading.Thread(target=stream_output, args=(self.process.stdout,))


, daemon=True?

Да, кажется разумно, поправлю.

Поправлено

demonolock · 2025-02-20T16:16:11Z

testgres/plugins/pg_probackup2/pg_probackup2/app.py

-                stderr=subprocess.STDOUT,
-                env=env
-            ).decode('utf-8', errors='replace')
+            if daemonize:


часть в daemonize можно вынести в функцию например такую form_daemon_process

Сделаю, разумно

Поправлено

demonolock · 2025-02-20T16:17:04Z

testgres/plugins/pg_probackup2/pg_probackup2/app.py

+            if daemonize:
+
+                def stream_output(stream: subprocess.PIPE) -> None:
+                    for line in iter(stream.readline, ''):


что если в цикле ошибка будет? Кажется нужен try - finally

Разумно, сделаю

Поправлено

demonolock · 2025-03-12T08:04:19Z

testgres/node.py

@@ -1028,7 +1027,7 @@ def LOCAL__raise_cannot_start_node__std(from_exception):
        self.is_started = True
        return self

-    def stop(self, params=[], wait=True):
+    def stop(self, params=[], wait=True, custom_data_dir=None):


Может быть проблема при внезапной остановке теста. В местах с вызовом stop(), например _try_shutdown. На cleanup еще пожалуйста посмотри, как он должен отработать, обе директории custom_data_dir и data_dir зачищать или только одну?

Хм, а как быть? Сохранять custom_data_dir в self и в try shutdown смотреть и убивать?
Вот если бы не в with force, то он просто бы по пиду убивал и все..
cleanup я бы оставил на откуп внешнего пользователя..

Как быть - не знаю.

Но выглядит так, как будто код пошел вразнос ))

Думаю, что все таки надо будет реализовывать ту идею, которую я предложил с самого начала.

Там еще под раздачу попадает os_ops.

В текущем варианте реализована своеобразная логика выбора os_ops для PostgresNode у которой есть проблемы.

dmitry-lipetsk · 2025-03-16T15:30:14Z

Насчет data_dir.

Посмотрите #222.

Я пока не добавлял производный класс с поддержкой явных data_dir и logs_dir.

demonolock · 2025-03-19T15:37:47Z

testgres/node.py

@@ -440,7 +440,6 @@ def logs_dir(self):

    @property
    def data_dir(self):
-        # NOTE: we can't run initdb without user's args


Верни пожалуйста комментарий

Поправил

dura0ok changed the title ~~add change data dir option~~ FUSE SUPPORT Feb 20, 2025

dura0ok force-pushed the fuse-helpers branch 2 times, most recently from ca2bf88 to 032f142 Compare February 20, 2025 12:34

demonolock reviewed Feb 20, 2025

View reviewed changes

Stepan Neretin added 4 commits March 12, 2025 14:50

add change data dir option

726edc7

add daemonize run binary option

57c98b1

add ability assert logs

b7595ad

probackup plugin fixes

e63371a

dura0ok force-pushed the fuse-helpers branch from 7dd98fe to d70af29 Compare March 12, 2025 07:50

demonolock reviewed Mar 12, 2025

View reviewed changes

dura0ok force-pushed the fuse-helpers branch from d70af29 to e63371a Compare March 12, 2025 08:51

dmitry-lipetsk mentioned this pull request Mar 16, 2025

PostgresNode_Base is added #222

Closed

demonolock reviewed Mar 19, 2025

View reviewed changes

dura0ok force-pushed the fuse-helpers branch from e81a89d to 5e6863e Compare March 19, 2025 15:43

revert data dir setter changes because it not needed

a8f042c

dura0ok force-pushed the fuse-helpers branch from 5e6863e to a8f042c Compare March 19, 2025 15:44

demonolock approved these changes Mar 19, 2025

View reviewed changes

dmitry-lipetsk approved these changes Mar 19, 2025

View reviewed changes

demonolock merged commit 81a5eb4 into master Mar 19, 2025
1 of 2 checks passed

FUSE SUPPORT #184

FUSE SUPPORT #184

Uh oh!

Conversation

dura0ok commented Feb 20, 2025

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

dmitry-lipetsk Feb 20, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

dura0ok Mar 12, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

dmitry-lipetsk Mar 12, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

dmitry-lipetsk commented Mar 16, 2025

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

dmitry-lipetsk Feb 20, 2025 •

edited

Loading

dura0ok Mar 12, 2025 •

edited

Loading

dmitry-lipetsk Mar 12, 2025 •

edited

Loading