Проект "Свободные голосования"
http://gplvote.andyhost.ru/forum/

Оптимизация трафика в распределенной сети
http://gplvote.andyhost.ru/forum/viewtopic.php?f=5&t=212		 Страница 2 из 3
Автор:  Dim [ 15 окт 2011, 17:39 ]
Заголовок сообщения:  Re: Оптимизация трафика в распределенной сети
"Использовать ли блоки голосов и что это даст процедуре голосования." Эта тема к оптимизации трафика не относится. А вот "как блок экономит трафик" уже относится. И юзабилити может и вовсе не будет затронута.
Автор:  Андрей [ 15 окт 2011, 20:34 ]
Заголовок сообщения:  Re: Оптимизация трафика в распределенной сети
Dim писал(а):
"Использовать ли блоки голосов и что это даст процедуре голосования." Эта тема к оптимизации трафика не относится. А вот "как блок экономит трафик" уже относится. И юзабилити может и вовсе не будет затронута.

Ну, у меня тоже первая мысль была передавать данные пачками (пакетами). Т.е. в транспортном модуле нужно будет делать некую очередь и передавать данные блоками, а не по одному пакету. Но это не принципиальные изменения. Оно не даст большого выигрыша. Учитывая что соединения по умолчанию будут постоянными.
Автор:  Dim [ 15 окт 2011, 21:12 ]
Заголовок сообщения:  Re: Оптимизация трафика в распределенной сети
Я собственно речь веду об обработке блоками.
Автор:  Андрей [ 15 окт 2011, 21:14 ]
Заголовок сообщения:  Re: Оптимизация трафика в распределенной сети
Dim писал(а):
Я собственно речь веду об обработке блоками.

Т.е. о снижении нагрузки на клиента? Это тоже важно. Но нагрузка на сеть мне кажется более важной.
Автор:  yurial [ 15 окт 2011, 21:23 ]
Заголовок сообщения:  Re: Оптимизация трафика в распределенной сети
Предлагаю просто по мере роста сети делить все ноды на группы.
Все данные делятся равно между группами.
Все ноды 1ой группы синхронизируются между собой 1:1.
Все ноды имеют m связей с нодами каждой из групп.
Далее разработать протоколы обмена данными между нодами разных групп.

Таким образом трафик на ноду снизится пропорционально количеству групп, размер хранимых данных - аналогично.
Автор:  Dim [ 15 окт 2011, 22:10 ]
Заголовок сообщения:  Re: Оптимизация трафика в распределенной сети
Андрей писал(а):
Т.е. о снижении нагрузки на клиента? Это тоже важно. Но нагрузка на сеть мне кажется более важной.
Да вроде это связанные вещи.
yurial писал(а):
Предлагаю просто по мере роста сети делить все ноды на группы.Все данные делятся равно между группами.Все ноды 1ой группы синхронизируются между собой 1:1.Все ноды имеют m связей с узлами каждой из групп.Далее разработать протоколы обмена данными между нодами разных групп.Таким образом трафик на ноду снизится пропорционально количеству групп, размер хранимых данных - аналогично.
Экспромт? Нода и есть узел. В связи с чем это за пределами понимания. Что-то разумное есть, но непонятно.
Автор:  yurial [ 16 окт 2011, 02:04 ]
Заголовок сообщения:  Re: Оптимизация трафика в распределенной сети
Dim писал(а):
Экспромт?

да
Dim писал(а):
Нода и есть узел.

да (свое сообщение поправил)
Dim писал(а):
В связи с чем это за пределами понимания. Что-то разумное есть, но непонятно.

Если вы про "Все ноды имеют m связей с нодами каждой из групп." имеется ввиду следующее:
Нода будет иметь непосредственные соединения с нодой (-ами) каждой из групп, что позволит ей получить любые данные в пределах одного "хопа".
Автор:  Андрей [ 16 окт 2011, 12:27 ]
Заголовок сообщения:  Re: Оптимизация трафика в распределенной сети
yurial писал(а):
Если вы про "Все ноды имеют m связей с нодами каждой из групп." имеется ввиду следующее:
Нода будет иметь непосредственные соединения с нодой (-ами) каждой из групп, что позволит ей получить любые данные в пределах одного "хопа".

Тут не все так очевидно как кажется. Фактически, объем необходимой для хранения информации будет снижаться пропорционально количеству групп. Однако, при слишком маленьком размере группы система становится уязвимой. При выведении из строя такой группы часть информации в сети теряется. Что не очень хорошо.

Думаю, все-таки, нужно что-то более естественное.

Например, свою собственную информацию (источником которой является данный клиент) клиент хранит у себя очень долго. Возможно что для таких целей нужно создавать отдельное хранилище на клиенте, где будет храниться только она.

В кэширующем хранилище можно хранить данные, представляющие интерес для текущего клиента - данные по голосованиям и субъектам, к которым данный клиент имеет отношение. По идее, срок хранения в таком хранилище тоже должен быть относительно высоким.

Транзитное хранилище - вот тут уже можно гибко варьировать.

Кстати, раз уж поднялась эта тема, предлагаю еще раз использовать анонимные кэширующие/транспортные сервера. Они будут устанавливаться любым желающим без необходимости сложной настойки и будут выступать в качестве основных дублированных хранилищ и посредников для транспортного уровня. Тут главное то что для их установки нужно будет только их поставить и указать выделяемое для них место на дисках сервера.
Автор:  yurial [ 16 окт 2011, 15:54 ]
Заголовок сообщения:  Re: Оптимизация трафика в распределенной сети
Андрей писал(а):
Тут не все так очевидно как кажется. Фактически, объем необходимой для хранения информации будет снижаться пропорционально количеству групп. Однако, при слишком маленьком размере группы система становится уязвимой. При выведении из строя такой группы часть информации в сети теряется. Что не очень хорошо.

Достаточно хорошо проработать алгоритм выбора количества групп.
Андрей писал(а):
Кстати, раз уж поднялась эта тема, предлагаю еще раз использовать анонимные кэширующие/транспортные сервера. Они будут устанавливаться любым желающим без необходимости сложной настойки и будут выступать в качестве основных дублированных хранилищ и посредников для транспортного уровня. Тут главное то что для их установки нужно будет только их поставить и указать выделяемое для них место на дисках сервера.

Против. Анонимное хранилище = анонимное искажение данных. Каждый узел и так будет являться хранилищем - этого достаточно.
Андрей писал(а):
Например, свою собственную информацию (источником которой является данный клиент) клиент хранит у себя очень долго. Возможно что для таких целей нужно создавать отдельное хранилище на клиенте, где будет храниться только она.

Согласен.
Автор:  Андрей [ 16 окт 2011, 16:11 ]
Заголовок сообщения:  Re: Оптимизация трафика в распределенной сети
yurial писал(а):
Андрей писал(а):
Кстати, раз уж поднялась эта тема, предлагаю еще раз использовать анонимные кэширующие/транспортные сервера. Они будут устанавливаться любым желающим без необходимости сложной настойки и будут выступать в качестве основных дублированных хранилищ и посредников для транспортного уровня. Тут главное то что для их установки нужно будет только их поставить и указать выделяемое для них место на дисках сервера.

Против. Анонимное хранилище = анонимное искажение данных. Каждый узел и так будет являться хранилищем - этого достаточно.

Анонимное в том смысле что "прозрачное". Пакеты транспортного уровня будут идти через сервер в неизменном виде. Я лично не вижу каким образом даже подложный сервер может чем-то навредить системе. Здесь полная аналогия с подложным клиентом - поддельные пакеты просто не уйдут в сеть.

Смысл в том, что сервер НИЧЕГО НЕ БУДЕТ ПОДПИСЫВАТЬ. Т.е., например, для вброса голосов через такой сервер все-равно нужен будет авторизованный персональный (транспортный) ключ. Тут как ни крути, а подделать вряд-ли что-то получится.
Страница 2 из 3 Часовой пояс: UTC + 3 часа [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/