Здравствуйте, AndrewVK, Вы писали:
AVK>Здравствуйте, AlexNek, Вы писали:
AN>>А что тогда остается из проблем?
AVK>1) Повторно запрашивать все профили каждый раз неправильно. Значит надо проверять, каких нет. Это, при разрастании БД, операция весьма затратная.
Ну вроде идею я описал, только вот не знаю как при больших базах будет происходить отлов дубликата. То есть я сделал список нужных пользователей, хочу их кинуть в базу на запрос передачи, а они уже там есть. AVK>2) Уже скачанные профили периодически меняются. Как это отслеживать, учитывая что линейная последовательность при произвольном доступе отсутствует?
А как это сейчас отслеживается?
... << RSDN@Home 1.2.0 alpha 5-AN rev. 1495>>
Re[18]: Проблема: пользователи загружаются по 1000 за цикл
Здравствуйте, AlexNek, Вы писали:
AVK>>1) Повторно запрашивать все профили каждый раз неправильно. Значит надо проверять, каких нет. Это, при разрастании БД, операция весьма затратная. AN>Ну вроде идею я описал
Ну вот в твоей идее будет запрос, в котором, с одной стороны до нескольких миллионов записей в таблице сообщений, а с другой несколько десятков тысяч записей в таблице пользователей. Джойн будет очень недешевым. И это на каждую синхронизацию.
AVK>>2) Уже скачанные профили периодически меняются. Как это отслеживать, учитывая что линейная последовательность при произвольном доступе отсутствует? AN>А как это сейчас отслеживается?
По максимальному rowversion. Но это работает только при последовательном (в плане изменений) считывании профилей. С произвольной выборкой такой режим несовместим.
Единственное, что придумывается — спрашивать пользователей по результатам последнего запроса в параллель с основным алгоритмом скачивания. Но это тоже ощутимо затормозит синхронизацию, так как нужно будет проверять до 1000 профилей на их присутствие в БД. Получается улучшение на первые несколько дней на свежей БД vs постоянные увеличивающиеся тормоза при последовательной эксплуатации. ИМХО, овчинка не стоит выделки. Лучше увеличить до 10К лимит.
... << RSDN@Home 1.2.0 alpha 5 rev. 1495 on Windows 7 6.1.7601.65536>>
Здравствуйте, AndrewVK, Вы писали:
AVK>Здравствуйте, AlexNek, Вы писали:
AVK>>>1) Повторно запрашивать все профили каждый раз неправильно. Значит надо проверять, каких нет. Это, при разрастании БД, операция весьма затратная. AN>>Ну вроде идею я описал
AVK>Ну вот в твоей идее будет запрос, в котором, с одной стороны до нескольких миллионов записей в таблице сообщений, а с другой несколько десятков тысяч записей в таблице пользователей. Джойн будет очень недешевым. И это на каждую синхронизацию.
А откуда тут возьмется столько новых сообщений за раз (все равно 1000)? Во время приема делаем словарик который потом скидывам в базу, последнего считанного можно также где-то хранить.
AVK>>>2) Уже скачанные профили периодически меняются. Как это отслеживать, учитывая что линейная последовательность при произвольном доступе отсутствует? AN>>А как это сейчас отслеживается?
AVK>По максимальному rowversion. Но это работает только при последовательном (в плане изменений) считывании профилей. С произвольной выборкой такой режим несовместим.
А как вообще работает rowversion? Что то типа временной метки? получается что измененные профили попадают просто как новые? Нельзя ли просто совместить произвольный с паралельным? То бишь В какой то момент говорим что у нас база полная и потом берем только последовательно.
AVK>Единственное, что придумывается — спрашивать пользователей по результатам последнего запроса в параллель с основным алгоритмом скачивания. Но это тоже ощутимо затормозит синхронизацию, так как нужно будет проверять до 1000 профилей на их присутствие в БД. Получается улучшение на первые несколько дней на свежей БД vs постоянные увеличивающиеся тормоза при последовательной эксплуатации. ИМХО, овчинка не стоит выделки. Лучше увеличить до 10К лимит.
Против вроде никого нет, просто рассматриваем другие варианты.
... << RSDN@Home 1.2.0 alpha 5-AN rev. 1495>>
Re[20]: Проблема: пользователи загружаются по 1000 за цикл
Здравствуйте, AlexNek, Вы писали:
AN> Во время приема делаем словарик который потом скидывам в базу, последнего считанного можно также где-то хранить.
А если синхронизация сбойнет?
AVK>>По максимальному rowversion. Но это работает только при последовательном (в плане изменений) считывании профилей. С произвольной выборкой такой режим несовместим. AN>А как вообще работает rowversion? Что то типа временной метки?
Да. Для клиента важно лишь знать, что это число непрерывно возрастает по временной оси.
AN>получается что измененные профили попадают просто как новые?
Просто нет такого понятия — измененные/новые.
AN> То бишь В какой то момент говорим что у нас база полная
Кто говорит?
... << RSDN@Home 1.2.0 alpha 5 rev. 1495 on Windows 7 6.1.7601.65536>>
Здравствуйте, AndrewVK, Вы писали:
AVK>Здравствуйте, AlexNek, Вы писали:
AN>> Во время приема делаем словарик который потом скидывам в базу, последнего считанного можно также где-то хранить.
AVK>А если синхронизация сбойнет?
То бишь сообщения будут в базе а пользователи нет? А если в одну транзакцию их?
AN>>получается что измененные профили попадают просто как новые?
AVK>Просто нет такого понятия — измененные/новые.
А что есть? Говорит ведь столько то пользователей получено значит среди них либо новые либо измененые.
AN>> То бишь В какой то момент говорим что у нас база полная
AVK>Кто говорит?
Да хоть бы и сетап.
... << RSDN@Home 1.2.0 alpha 5-AN rev. 1495>>
Re[22]: Проблема: пользователи загружаются по 1000 за цикл
Здравствуйте, AlexNek, Вы писали:
AVK>>А если синхронизация сбойнет? AN>То бишь сообщения будут в базе а пользователи нет? А если в одну транзакцию их?
Включать в транзакцию обращение по сети — очень плохая идея.
AN>>> То бишь В какой то момент говорим что у нас база полная
AVK>>Кто говорит? AN>Да хоть бы и сетап.
Сетап в какой то момент?
... << RSDN@Home 1.2.0 alpha 5 rev. 1495 on Windows 7 6.1.7601.65536>>
Здравствуйте, AndrewVK, Вы писали:
AVK>Здравствуйте, AlexNek, Вы писали:
AVK>>>А если синхронизация сбойнет? AN>>То бишь сообщения будут в базе а пользователи нет? А если в одну транзакцию их?
AVK>Включать в транзакцию обращение по сети — очень плохая идея.
Я не говорил про сеть, только про запись в базу. Если собъется загрузка так не будет и записи.
AN>>>> То бишь В какой то момент говорим что у нас база полная
AVK>>>Кто говорит? AN>>Да хоть бы и сетап.
AVK>Сетап в какой то момент?
Или после первого старта, незнаю. Главное, что получаем пользователей по двум каналам.
... << RSDN@Home 1.2.0 alpha 5-AN rev. 1495>>
Re[24]: Проблема: пользователи загружаются по 1000 за цикл
Здравствуйте, AlexNek, Вы писали:
AN>Я не говорил про сеть, только про запись в базу. Если собъется загрузка так не будет и записи.
Ты не понял. Загрузили сообщения, записали в БД, полезли за пользователями и навернулись? Дальнейшие действия? Будет мержить сбойный словари и новый? Не слишком ли сложная система получается?
AVK>>Сетап в какой то момент? AN>Или после первого старта, незнаю.
Вот и я не знаю.
AN> Главное, что получаем пользователей по двум каналам.
Главное — чтобы количество проблем, привнесенных новой фичей, не было больше положительного эффекта от нее.
... << RSDN@Home 1.2.0 alpha 5 rev. 1495 on Windows 7 6.1.7601.65536>>
Здравствуйте, AndrewVK, Вы писали:
AVK> AN>Я не говорил про сеть, только про запись в базу. Если собъется загрузка так не будет и записи.
AVK> Ты не понял. Загрузили сообщения, записали в БД, полезли за пользователями и навернулись? Дальнейшие действия? Будет мержить сбойный словари и новый? Не слишком ли сложная система получается?
Загрузили сообщения, записали в БД, записали пользователей в запрос БД, полезли за пользователями и навернулись? Ну и фиг с ним у запросов не будет флага прочитано.
AVK> AVK>>Сетап в какой то момент?
AVK> AN>Или после первого старта, незнаю.
AVK> Вот и я не знаю.
Можно монетку кинуть
AVK> AN> Главное, что получаем пользователей по двум каналам.
AVK> Главное — чтобы количество проблем, привнесенных новой фичей, не было больше положительного эффекта от нее.
Согласен, но пока вроде никто не планирует подобного, просто иногда даже с "дурного" обсуждения можно вынести что то полезное.
Эх опасно, в Янусе чего набирать, установил авто синхронизацию, написал ответ и вылетело. Кто то в соседней ветке утверждал что Fast Fail это просто здорово.
database is locked ---> System.Data.SQLite.SQLiteException: The database file is locked
database is locked
at System.Data.SQLite.SQLite3.Step(SQLiteStatement stmt)
at System.Data.SQLite.SQLiteDataReader.NextResult()
at System.Data.SQLite.SQLiteDataReader..ctor(SQLiteCommand cmd, CommandBehavior behave)
at System.Data.SQLite.SQLiteCommand.ExecuteReader(CommandBehavior behavior)
at System.Data.SQLite.SQLiteCommand.ExecuteNonQuery()
at BLToolkit.Data.DbManager.ExecuteOperation[T](OperationType operationType, Func`1 operation)
--- End of inner exception stack trace ---
at BLToolkit.Data.DbManager.OnOperationException(OperationType op, DataException ex)
at BLToolkit.Data.DbManager.HandleOperationException(OperationType op, Exception ex)
at BLToolkit.Data.DbManager.ExecuteOperation[T](OperationType operationType, Func`1 operation)
at BLToolkit.Data.DbManager.ExecuteNonQueryInternal()
at BLToolkit.Data.DbManager.ExecuteNonQuery()
at BLToolkit.Data.DbManager.BLToolkit.Data.Linq.IDataContext.ExecuteNonQuery(Object query)
at BLToolkit.Data.Linq.Query`1.NonQueryQuery(IDataContextInfo dataContextInfo, Expression expr, Object[] parameters)
at BLToolkit.Data.Linq.Query`1.<SetNonQueryQuery>b__c(QueryContext ctx, IDataContextInfo db, Expression expr, Object[] ps)
at BLToolkit.Data.Linq.Table`1.System.Linq.IQueryProvider.Execute[TResult](Expression expression)
at BLToolkit.Data.Linq.LinqExtensions.Insert[T](IValueInsertable`1 source)
at Rsdn.Janus.OutboxHelper.AddOutboxMessage(IServiceProvider provider, IOutboxMessage message) in Y:\user_alex_new\dot_net\-Janus\Janus-Common\rsdn.ru\OutboxHelper.cs:line 50
at Rsdn.Janus.MessageForm.SaveMessage(Boolean closeOnSave) in Y:\user_alex_new\dot_net\-Janus\Janus\Features\ForumViewer\MessageEditor\MessageForm.cs:line 707
at Rsdn.Janus.MessageForm.SendMessage() in Y:\user_alex_new\dot_net\-Janus\Janus\Features\ForumViewer\MessageEditor\MessageForm.cs:line 825
at Rsdn.Janus.MessageEditorService.SendMessage() in Y:\user_alex_new\dot_net\-Janus\Janus\Features\ForumViewer\MessageEditor\MessageEditorService.cs:line 35
at Rsdn.Janus.MessageEditorCommandTarget.ExecuteSend(ICommandContext context) in Y:\user_alex_new\dot_net\-Janus\Janus\Features\ForumViewer\MessageEditor\Commands\MessageEditorCommandTarget.cs:line 21
--- End of inner exception stack trace ---
at System.RuntimeMethodHandle._InvokeMethodFast(Object target, Object[] arguments, SignatureStruct& sig, MethodAttributes methodAttributes, RuntimeTypeHandle typeOwner)
at System.RuntimeMethodHandle.InvokeMethodFast(Object target, Object[] arguments, Signature sig, MethodAttributes methodAttributes, RuntimeTypeHandle typeOwner)
Здравствуйте, AlexNek, Вы писали:
AN>Еще почему то & mdash ; мозилла не воспринимает. Ошибка в мозилле? И почему не оставить просто минус? AN>И картинок чего то нет и при экпорте всего форума (Философия программирования) хтмл получается получается слишком "широким" (это дуреет
из за последней цитаты) Видимо в css лажа. Кто спец и может сразу сказать что править?
Картинки же вроде бы в базу не попадают? Болтаются внешними ссылками.
Или на нах даже ссылки теряются?
Кстати, тут совсем неясная выгода от экспорта сообщений, когда в них есть ссылки на внешние картинки.
Здравствуйте, ixor, Вы писали:
i> AN>Еще почему то & mdash ; мозилла не воспринимает. Ошибка в мозилле? И почему не оставить просто минус? i> AN>И картинок чего то нет и при экпорте всего форума (Философия программирования) хтмл получается получается слишком "широким" (это дуреет
из за последней цитаты) Видимо в css лажа. Кто спец и может сразу сказать что править?
i> Картинки же вроде бы в базу не попадают? Болтаются внешними ссылками. i> Или на нах даже ссылки теряются? i> Кстати, тут совсем неясная выгода от экспорта сообщений, когда в них есть ссылки на внешние картинки.
С картинками я вообще не разбирался, но нет даже смайликов.
А с css и "-" похоже прийдется самому разбираться.
Здравствуйте, AlexNek, Вы писали:
AN>Здравствуйте, ixor, Вы писали:
i>> AN>Еще почему то & mdash ; мозилла не воспринимает. Ошибка в мозилле? И почему не оставить просто минус?
i>> Тире
i>>
i>> — (черта длиной в заглавную букву М)
AN>Кому в форуме эти отличия нужны и кто о них знает и помнит? Если бы этот символ еще везде нормально отображался.
Я помню, что — это не просто тире))) Поэтому и ссылку прислал)))) Чисто для информации.
Про глюк у мозилы в инете тишина. Были какие-то глюки, но в древних версиях.
Как тебе вот такой код?
/// <summary>
/// EN DASH
/// </summary>
/// <remarks><c>&ndash</c> in HTML</remarks>public static readonly string EnDash = Convert.ToChar(0x2013).ToString();
Здравствуйте, ixor, Вы писали:
i> AN>Здравствуйте, ixor, Вы писали:
i> i>> AN>Еще почему то & mdash ; мозилла не воспринимает. Ошибка в мозилле? И почему не оставить просто минус?
i> i>> Тире
i> i>>
i> i>> — (черта длиной в заглавную букву М)
i> i>>
i> AN>Кому в форуме эти отличия нужны и кто о них знает и помнит? Если бы этот символ еще везде нормально отображался.
i> Я помню, что — это не просто тире))) Поэтому и ссылку прислал)))) Чисто для информации.
Спасибо конечно, но я имел в виду другое. Ведь когда в форуме пишешь, думается: сейчас поставлю малое тире, здесь требуется поширше, а тут нужно обязательно большое. То бишь есть в ответах "нормальный минус/тире" ну так и оставить его как есть. Какие были требования для такой конвертации.
i> Про глюк у мозилы в инете тишина. Были какие-то глюки, но в древних версиях.
А нафиг мне что искать — открываю а тама "квадратик" (3.5 разве уже древняя?)
i> Как тебе вот такой код? i>
i> /// <summary>
i> /// EN DASH
i> /// </summary>
i> /// <remarks><c>&ndash</c> in HTML</remarks>
i> public static readonly string EnDash = Convert.ToChar(0x2013).ToString();
i>
Какие то двойственные чувства.
Если бы был уже готовый набор констант и от них генерить строки, то было бы более положительно. А так мне лично более приятней эта запись
public const string EnDash = "&ndash"; // 0x2013
Но это типа, "тебе больше нравятся брюнетки или блондинки"
Здравствуйте, AlexNek, Вы писали:
AN>Здравствуйте, ixor, Вы писали:
i>> AN>Здравствуйте, ixor, Вы писали:
i>> i>> AN>Еще почему то & mdash ; мозилла не воспринимает. Ошибка в мозилле? И почему не оставить просто минус?
i>> i>> Тире
i>> i>>
i>> i>> — (черта длиной в заглавную букву М)
i>> i>>
i>> AN>Кому в форуме эти отличия нужны и кто о них знает и помнит? Если бы этот символ еще везде нормально отображался.
i>> Я помню, что — это не просто тире))) Поэтому и ссылку прислал)))) Чисто для информации. AN>Спасибо конечно, но я имел в виду другое. Ведь когда в форуме пишешь, думается: сейчас поставлю малое тире, здесь требуется поширше, а тут нужно обязательно большое. То бишь есть в ответах "нормальный минус/тире" ну так и оставить его как есть. Какие были требования для такой конвертации.
А они разве были? 0_о
anw, если проблемно, то можно и "-", но насколько я помню, в html нету минуса — есть —
Скинь в почту пример, где не отображается, 3го числа гляну, если не забуду
i>> Про глюк у мозилы в инете тишина. Были какие-то глюки, но в древних версиях. AN>А нафиг мне что искать — открываю а тама "квадратик" (3.5 разве уже древняя?)
А с кодировками точно всё нормально???
i>> Как тебе вот такой код? i>>
i>> /// <summary>
i>> /// EN DASH
i>> /// </summary>
i>> /// <remarks><c>&ndash</c> in HTML</remarks>
i>> public static readonly string EnDash = Convert.ToChar(0x2013).ToString();
i>>
AN>Какие то двойственные чувства. AN>Если бы был уже готовый набор констант и от них генерить строки, то было бы более положительно. А так мне лично более приятней эта запись AN>
public const string EnDash = "&ndash"; // 0x2013
AN>
AN>Но это типа, "тебе больше нравятся брюнетки или блондинки"
&ndash не отображается в WindowsForms и производных, а Convert.ToChar(0x2013).ToString()
Это был пример из жизни, используется везде где нужен символ "-" в WF 2.0
Здравствуйте, ixor, Вы писали:
i> AN>Здравствуйте, ixor, Вы писали:
i> i>> AN>Здравствуйте, ixor, Вы писали:
i> i>> i>> AN>Еще почему то & mdash ; мозилла не воспринимает. Ошибка в мозилле? И почему не оставить просто минус?
i> i>> i>> Тире
i> i>> i>>
i> i>> i>> — (черта длиной в заглавную букву М)
i> i>> i>>
i> i>> AN>Кому в форуме эти отличия нужны и кто о них знает и помнит? Если бы этот символ еще везде нормально отображался.
i> i>> Я помню, что — это не просто тире))) Поэтому и ссылку прислал)))) Чисто для информации.
i> AN>Спасибо конечно, но я имел в виду другое. Ведь когда в форуме пишешь, думается: сейчас поставлю малое тире, здесь требуется поширше, а тут нужно обязательно большое. То бишь есть в ответах "нормальный минус/тире" ну так и оставить его как есть. Какие были требования для такой конвертации.
i> А они разве были? 0_о
А нафига тогда было еще делать? Я всегда набираю "-". Хотя может кто, что другое набирает? i> anw, если проблемно, то можно и "-", но насколько я помню, в html нету минуса — есть — i> Скинь в почту пример, где не отображается, 3го числа гляну, если не забуду
Счас поищу тест.... не нашел, тогда отправлю это сообщение и сделаю ему экспорт, я то точно минус вбил
i> i>> Про глюк у мозилы в инете тишина. Были какие-то глюки, но в древних версиях.
i> AN>А нафиг мне что искать — открываю а тама "квадратик" (3.5 разве уже древняя?)
i> А с кодировками точно всё нормально???
А разве подобные вещи зависят от кодировки?
i> AN>Какие то двойственные чувства. i> AN>Если бы был уже готовый набор констант и от них генерить строки, то было бы более положительно. А так мне лично более приятней эта запись i> AN>
public const string EnDash = "&ndash"; // 0x2013
i> AN>
i> AN>Но это типа, "тебе больше нравятся брюнетки или блондинки"
i> &ndash не отображается в WindowsForms и производных, а Convert.ToChar(0x2013).ToString() i> Это был пример из жизни, используется везде где нужен символ "-" в WF 2.0
Подожди, тире или минус? Ну если "платформно независимое" представление символа, то нормалек. А константу (для 0x2013) отчего не использовать?
Здравствуйте, AlexNek, Вы писали:
AN>Это также исправил. Возможно лучше было иф инвертировать, но так уж с решарпером автоматом получилось. Может позже и поменяю.
AN>
public static string ToHexString(this byte[] array)
AN> {
AN> if (array != null)
AN> {
AN> StringBuilder sb = new StringBuilder(array.Length * 2);
AN> foreach (byte b in array)
AN> {
AN> sb.AppendFormat(CultureInfo.InvariantCulture, "{0:X2}", b);
AN> }
AN> return sb.ToString();
AN> }
AN> return string.Empty;
AN> }
AN>
Здравствуйте, ixor, Вы писали:
I>Здравствуйте, AlexNek, Вы писали:
AN>>Это также исправил. Возможно лучше было иф инвертировать, но так уж с решарпером автоматом получилось. Может позже и поменяю.
AN>>
public static string ToHexString(this byte[] array)
AN>> {
AN>> if (array != null)
AN>> {
AN>> StringBuilder sb = new StringBuilder(array.Length * 2);
AN>> foreach (byte b in array)
AN>> {
AN>> sb.AppendFormat(CultureInfo.InvariantCulture, "{0:X2}", b);
AN>> }
AN>> return sb.ToString();
AN>> }
AN>> return string.Empty;
AN>> }
AN>>
I>Fixed rev 1513
Я уже и забыл о чем речь, но главное что пошло на пользу дела.
Я помню, что — это не просто тире))) Поэтому и ссылку прислал)))) Чисто для информации.
