Facebook Twitter
Linkedin LJ
Git Instagram
IPv6
36 posts tagged

linux

Later Ctrl + ↑

Sieve: фильтрация почты на стороне сервера

осле того, как Google закрыл Reader, я утратил веру в большую компанию, которая делает для меня инструмент, решающий важные мне задачи. Я решился строить свой собственный Луна-парк с читалками, агрегаторами, болжеком и т.п. Почта на своем домене — первое, что приходит в голову. Не вопрос прописать MX запись, поставить Postfix на локальную доставку, установить IMAP-сервер Dovecot и почтовый веб-клиент Roundcube, вопрос повторить функциональность «большой» системы, в первую очередь, сортировку. Я не буду дублировать существующие инструкции, опишу только неочевидные моменты.

Что меня не устраивает в Gmail? Это идеология меток (labels), которых можно прицепить к одному и тому же письму несколько, а в IMAP отобразить их в виде папок. В результате корневая папка всегда полна писем, а я такой человек (возможно, мой случай уникален), что всю «лишнюю» почту я удаляю, а всю «нужную» раскладываю по папкам. Я стираю все уведомления от веб-магазинов, форумов, сервисов и т.п., что не укладывается в идеологию Гугла «зачем удалять, если место бесконечно?». Гугл хочет видеть у меня как можно больше, а я не хочу видеть мусор. Далее, я пользовался iCloud/me.com, там все просто: правила сортировки входящей почты просто не работают и все.

Итак, задача: чтобы Dovecot сам раскладывал почту по папкам IMAP’а. Честно говоря, я провел минут 20 в поиске «а где же у Roundcube’а настройки фильтрации?», а потом начал читать инструкции. К сожалению, все, что можно найти в вебе, не содержит полного списка граблей, на которые можно наступить, постараюсь по горячим следам описать их тут.

Сперва, надо выучить слово sieve, это целый язык описания правил фильтрации, созданный Cyrusoft’ом во время работы над почтовым сервером Cyrus (не к ночи помянут). Он позволяет писать такие вот самоочевидные правила
в ~/.dovecot.sieve:

require ["fileinto"];
# rule:[LinkedIn]
if header :contains "From" "linkedin.com"
{
	fileinto "INBOX/LinkedIn";
	stop;
}
# rule:[Drupal Alerts]
if header :contains "Subject" "yet another home page"
{
	fileinto "INBOX/Drupal Alerts";
	stop;
}
if header :contains "From" [ "user@example.com" ] {      
  addflag "\\flagged";
  fileinto "Trash";
  stop;
}
# rule:[Paypal]
if allof (header :contains "From" "paypal")
{
	fileinto "INBOX/Ebay, Paypal";
	stop;
}

Конечно, не очень хочется лезть в консоль, чтобы прописать новое правило фильтрации, к счастью, есть протокол managesieve, который позволяет почтовому клиенту рулить правилами на сервере. Удачно, что и Dovecot, и Roundcubе поддерживают обе функциональности. А дальше, начинаются грабли.

Во-первых, самое простое и естественное, что делается для включения seive, это установка mail_plugins = sieve где-то глобально для всего Dovecot’а. Это неправильно! Будет так:

Error: dlopen(/usr/lib64/dovecot/lib90_sieve_plugin.so) failed: /usr/lib64/dovecot/libdovecot-sieve.so.0: undefined symbol: mail_deliver_get_log_var_expand_table

Переменную следует выставить в /etc/dovecot/conf.d/15-lda.conf, для lda, локальной доставки. Включение managesieve и в Dovecot’е и в Roundcube проблем не вызывает (плагины есть в стандартной поставке), надо только не забыть прописать порт. Можно начинать писать правила, только работать они не будут, так как хотя почта раскладыватеся по папкой из клиента, «локальный доставщик» по-прежнему Postfix и INBOX не в /home/username, а в /var/mail/username. Надо прописать в main.cf mailbox_command = /usr/lib/dovecot/deliver -d «$USER». Теперь кажется, что все нормально: почти все письма раскладываются по почти всем правилам. Я потратил день на то, чтобы выяснить почему почта не попадает в папку и вывел коллег-из себя своими экспериментами. Я думал, что неправильно описываю свойства заголовка, так как там данные конверта и доставки отличаются (потому что общение происходит на сервере рассылки в рассылке, а выглядеть все должно как от собеседника собеседнику). Потом я увидел ошибку:

Mar 16 17:53:01 DJBZ002 dovecot: lda(shaman007): Error: write() failed with mbox file /home/shaman007/mail/INBOX/LOR: File too large (process was started with ulimit -f limit)
Mar 16 17:53:01 DJBZ002 dovecot: lda(shaman007): Error: sieve: msgid=<d068a42487535146ce3e7ec8b6557b27@andreybondarenko.com>: failed to store into mailbox 'INBOX/LOR': Internal error occurred. Refer to server log for more information. [2013-03-16 17:52:57]
Mar 16 17:53:01 DJBZ002 dovecot: lda(shaman007): sieve: msgid=<d068a42487535146ce3e7ec8b6557b27@andreybondarenko.com>: stored mail into mailbox 'INBOX'
Mar 16 17:53:01 DJBZ002 dovecot: lda(shaman007): Error: sieve: execution of script /home/shaman007/.dovecot.sieve failed, but implicit keep was successful (user logfile /home/shaman007/.dovecot.sieve.log may reveal additional details)
Mar 16 17:53:01 DJBZ002 postfix/local[13359]: 4575811F76E: to=<shaman007@andreybondarenko.com>, orig_to=<me@andreybondarenko.com>, relay=local, delay=3.9, delays=0.21/0.02/0/3.7, dsn=2.0.0, status=sent (delivered to command: /usr/libexec/dovecot/dovecot-lda -f "$SENDER" -a "$RECIPIENT")
Mar 16 17:53:01 DJBZ002 postfix/qmgr[29435]: 4575811F76E: removed

File too large! Целых 100 мегабайт! Оказалось, что хотя инициирует ошибку Dovecot, дело в параметре mailbox_size_limit Postfix’а. По умолчанию там 5 что-ли мегабайт, надо выставить в 0. Кажется, это все грабли.

 2   2016   IT   linux

Доклад по вопросам сравнения антиспамов и построения спам-фильтров

Ссылка на конференицию UNИX;

Презентации: ODPPDF;

Спам

Сколько вам приходит спама в день? Мне около 1000-1500 сообщений на abondarenko@gmail.comи корпоративный ящик. Это много, друзья, моя жена, спам-аналитик, не даст мне соврать, но эти адреса принадлежат живому человеку и им больше 5 лет.

Нормальные люди решают задачи минимизации потока мусора в свои ящики, а мне как-то довелось решать обратную задачу, мне нужно было сделать спам-ловушки, то есть адреса, на которые будет приходить 100% спам дабы можно было обучать фильтры и смотреть статистику их работы. Казалось бы, чего проще! Ну зарегистрируем мы немного ящиков на разных сервисах платных и не очень, заведем какой-нибудь неприметный домен с ничего не говорящим именем digitalhardcore.us, будем эти адреса оставлять в регистрационных карточках заказа рекламы Pfizer’a и еще какой-нибудь дряни (естественно, отписавшись сразу же от легитимной рекламы) и дело в шляпе. И так, что было сделано:

  • Несколько адресов на mail.com, yahoo.com и еще где-то с форвардом на приемник потока у нас.
  • digitalhardcore.us, вся почта с которого форвардится на тот же приемник.
  • Регистрируемся на множестве сайтов разной направленности от торрент-трекеров и обзоров железа до секс-шопов оставляя там эти адреса.
  • Постим на форумах разные нейтральные комментарии указывая в подписях адреса.

Результат выполнения пунктов 3 и 4 ночными дежурными за 1 год – около 100 писем в день на адрес (плюс-минус), хотя ожидался на порядок больше.

Второй интересный момент: на 1 адрес мы собирали “не спам”, то есть рекламу уважаемых контор вроде cocacola или hp чтобы тестировать себя на ложные срабатывания. Результат через год – 10-20 спамовых писем в день в потоке честной рекламы, хотя адрес живым людям кроме меня был не известен.

Третий интересный момент относится уже к наблюдению за личным потоком: стоит написать какому-нибудь недалекому человеку и характер спама меняется. Появляется реклама продуктов, которых раньше не было, его становится заметно больше. Происходит это потому, что у недалеких людей есть трояны, которые извлекают полезные сведения из их переписки.

Отсюда лично я делаю выводы:

  • крупные неуважаемые места торгуют базами пользователей (удав, фишки).
  • крупные уважаемые места ими не торгуют (LOR, Lepra), но некоторые все-таки торгуют. основной метод сбора адресов для набития баз – это не прочесывание стайтов и перебор имен, а потрошение записных книжек почтовиков троянами.

По этому можете смело писать свои адреса без дурацких _at_ или _здесь_была_собака_, форумы – капля в море.

Антиспам – отстой

Антиспамами принято меряться, давать им разные крутые награды и хвалить на форумах. Я хочу рассказать о том, как ими меряться правильно и что следует из измерений.

Сначала надо определиться, что есть спам. Вопрос не так прост, как кажется. Вот так определяет спам Лаборатория Касперского: “Массовая не запрошенная анонимная рассылка”. Массовая – потому, что единичный blackmail не есть результат работы спамера, а есть просто частный конфликт двух-трех людей. Незапрошенная – потому, что запрошенная реклама – не спам, ведь пользователь сам хотел ее у себя видеть и спамфильтр ее резать не должен. Анонимная (технически), потому, что с непрошенными письмами людей, которые себя никак не скрывают вопрос решают административно. Яркий пример таких писем – разные повестки или оповещения. Важность этого определения в том, что например, Яндекс спам определяет иначе, у него это “вся нежелательная почта и все рассылки”. Можно дискутировать на тему правы они или нет, но это однозначно надо учитывать при сравнении результатов их работы. Вообще на сколько мне известно, на сегодняшний момент консорциум по борьбе со спамом определение термина так и не утвердил, но рабочий вариант максимально приближен к определению ЛК.

Второе – в каких условиях сравнивать? Сравнивать надо только на живом потоке почты, а не на старой коллекции спама, потому, что то, что попало в “коллекцию” уже никогда не встретится в реальной жизни и ее фильтрация нам ни о чем реальном не скажет. Все тестируемые антиспамы должны быть поставлены в равные условия, то есть не последовательно, а параллельно. И тестировать надо неделю или две на хорошем потоке, а не на десятке сообщений и не один день.

Третье – что сравнивать кроме скорости. Сравнивать надо 2 величины – уровень детектирования (Detection Rate) и уровень ложных срабатываний (False Positive Rate). Первое число – это число верно распознанных как спам писем поделенное на общее число спама. Это число НИКАК нельзя посчитать при помощи робота потому, что робот не видит собственных ошибок. Уровень ложных срабатываний – это число распознанных как спам нормальных писем поделенное на общее число нормальных писем. Если первый параметр указывают, то второй либо замалчивают либо пишут откровенные небылицы. Нужно помнить, что FPR резко растет с увеличением агрессивности фильтра и, например, при замене антиспама на тупой скрипт “помечать как спам вообще все” и DR и FPR будут равны 100%: 100% спама мы распознаем уверенно, но и все чистые письма тоже зарубим.. Пример реальных цифр – Spam SLA Message Labs гарантирует деньгами 95%DR, 0.0004%FPR.

А теперь, почему антиспам – отстой. Потому, что хороший антиспам при низком FPR (одно на 10000) имеет в реальности DR около 93-96%. То есть например я при хорошем эгрегоре и чистой карме получу 40-70 спамовых писем в день (что собственно и происходит). По опыту, спам начинает бесить пользователя где-то на 14-16 письмах в день, так что меня ярость должна разорвать на куски :-).

Персональный спам

Для того, чтобы понять как нам сделать жизнь удобнее, надо разобраться, как вообще работают антиспамы. Есть 3 больших класса методов борьбы со спамом (классификация моя, можете поправить):
Разграничение прав доступа. То есть блокировка письма по признаку отправителя, не важно как мы его ограничиваем: авторизацией или урезанием пулов IP по DNSBL, greylist’у или как-то еще.

Анализ контента. Когда какой-то нормализованый кусочек письма рассматривается как образец спама, характеристический термин, URI из блек-листа чего угодно (IP, телефоны, URL, whatever).
Статистика. Ведение персональной базы по отдельно взятому потоку спама-неспама любым удобным алгоритмом, например байесом.

Недостаток первого метода в том, что слишком грубая резка порождает ложные срабатывания и RBLы часто обслуживаются полностью невменяемыми людьми. Второго в том, что база сигнатур-признаков-терминов всегда в большей или меньшей степени не поспевает за спамерами и отражают некий усредненный поток, а рассылки нынче уникальные с очень коротким временем жизни. Третьего (кроме традиционной убогости реализации) в вечном мусоре в базе, опасностью перекормить спамом и необходимостью вести статистическую базу для каждого пользователя (если мы хотим хорошего результата), а по сему по моему глубокому убеждению подкрепленному опытом Байесу на серверах делать совершенно нечего. Первый метод используют все, второй – практически все коммерческие вендоры (Message Labs, Yandex, Kasperksy, Symantec), третий – spamassasin и производные, а так же все персональные.

Так как спамассасин все-таки ставят на сервера, а ведением персональных баз никто себя не утруждает, то можно смело заявлять, что ваш серверный антиспам использует анализ некоего усредненного потока, и то, что все-таки проходит к вам в ящик – это либо очень хороший спам, либо “выбросы” из этого среднего потока. Так как хороший спам – это наверняка инновации и его поимку через некоторое время лечит вендор серверного антиспама, то нам следует сосредоточится на “выбросах” – вот тут-то нам и поможет Байес. Он встроен во все персональные антиспамы в том или ином виде с разной степенью убогости (самая убогая реализация – у Microsoft при совершенном отсутствии причин делать плохо очевидные вещи по известным алгоритмам имея в общем полноценный почтовый клиент и не полхой сервер) и так как он наш, то настроить и обучить его мы вполне способны так, чтобы снизить вредное влияние его традиционно большого false positive rate. Мой рецепт счастья: скидывать спам, отфильтрованный им в отдельный ящичек не смешивая со спамом отфильтрованным сервером, чтобы просматривать его перед удалением. Первое время там окажется довольно много нужной почты и потребуется явные корректировки настройки, но месяца через 3 он перестанет фалсить.

 1   2016   IT   linux   spam

Простой личный анонимайзер

В свете последних событий и вероятного будущего, нам всем может понадобиться удобная утилита, которая позволяет смотреть на Web глазами цивилизованного европейца, а лучше голландца. Это может быть нужно для проверки доступности сайта, обхода слишком навязанного геотрекинга, неуместного черного списка или для осуществления любой другой легитимной законной деятельности в интернетах, которую нам не позволяют в данной сети неправильно сконфигурированный шлюз или прокси-сервер.

Конечно, можно воспользоваться публичным анонимайзером, ТОРом или VPN’ом, но это не всегда удобно и не всегда возможно: например, публичный терминал в интернет-кафе или любой компьютер, на котором у нас нет прав, не позволит нам воспользоваться TOR’ом или VPN, а “анонимные прокси” вообще вещь в себе: никогда не знаешь как монетизирован именно этот хост. Личный анонимайзер же будет работать на любом устройстве и с большой вероятностью не будет заблокирован на бордере. Предлагаемый метод не отменяет TOR или VNP, а дополняет их возможностью доступа с чужих хостов.

Нулевое необязательное требование: домен. Это около 10 долларов в год, в принципе не обязательно, но удобно и желательно.

Во-первых, нам понадобится личный экзит-поинт в нужной стране. К нашим услугамhttps://www.leaseweb.com/, где всего за 9 евро в месяц можно пользоваться VPS’кой. Очень полезный в хозяйстве инструмент для многих нужд! На этом хосте должен быть настроен Apache и PHP, я опущу этот вопрос, так как он достаточно подробно освещен другими.
Во-вторых, нам понадобится скрипт, который будет показывать собственную адресную строку, искомый сайт во фрейме ниже и будет обладать другими полезными опциями вроде скрэмблера URL’ов, выкидывания всего embedded-хлама и кукисов, хранение кукисов на стороне сервера и т.п. Решений несколько, простое и работающее – Glype Proxy, который можно взять наhttp://glype.com/.

Установка скрипта проста.

  1. скачиваем сам архив со скриптом.
  2. создаем директорию в своем DocRoot’е c ничего не говорящим названием, например, wabba. Это нужно для обхода потенциального фильтра и для сокрытия его от лишних людей и роботов.
  3. распаковываем скрипт в эту директорию.
  4. поправляем права:
[root@D002 wabba]# cd /var/www/wabba/ 
[root@D002 wabba]# chown apache.apache -R /var/www/wabba/ 
[root@D002 wabba]# chmod 755 includes/ 
[root@D002 wabba]# chmod 755 tmp/ 
[root@D002 wabba]# chmod 755 plugins/
  1. заходим по адресу http://yourdoman.com/wabba/, если ошибок нет, то скрипт спросит нас о новом администраторе и пароле для него.
  2. заходим опять на наш анонимайзер и видим, что все работает:  
  1. (optional) – чтобы оградиться от ошибок в Glype и не дать пользоваться инструментом посторонним, мы можем сделать .htacces в котором позволим заходить в директорию wabba только себе.
  2. (optional) – чтобы скрыть работу скрипта от чужих глаз, можно разрешить доступ к wabba только по https. Подойдет и самоподписанный сертификат.
  3. (even more optiolan) – можем заплатить 10 долларов разработчикам, убрать из скрипта все ссылки на его разработчиков, сделать ему новую тему с рекламой и полным логгированием и запустить продажу логов интересующимся Шутка, но многие владельцы анонимайзеров так и делают.

Все! Можно пользоваться, во имя Луны.

 1   2016   IT   linux

Технический анализ поставок IBS

Качество поставки Alt Linux в школы, выполненными компанией IBS, вызвало бурный общественный резонанс. Группа технических экспертов (среди которых некоторые модераторы ЛОР и другие, известные в сообществе специалисты) провели технический анализ материалов — как первоначальной, так и повторно (исправляющей) поставки. Результаты анализа представлены в виде документа.

 1   2016   IT   linux   жизнь   зло

Как я делал телевизор на кухне из Samsung’a ue40c6510uw, WD TV Live и 802.11n

Проект

Я планировал пойти по легкому и универсальному пути: панель + компьютер. Преимущества очевидны: гибкость и всеядность компьютера как плеера + возможность пользоваться им для других целей. Недостатки тоже есть: обилие не уместных проводов, наличие клавиатуры и мышки, нетривиальность подключения “телевизионного” пульта ДУ, невозможность совершенно бесшумного решения, цена.

Кандидатом выходил Eee Box (или аналогичный Acer) на nVidia ION, но от него пришлось отказаться по совершенно неожиданной причине: предложений его продать не было. Плюс пришлось бы решать что-то для замены интерфейса 802.11g на n. Идея поставить mac mini была признана упаднической, так как его цена слишком высокая. На помощь пришли производители телевизора, которые вроде как встроили все необходимое прямо в него.

Телевизор

Посмотрев на то, что предлагают сегодня разные производители, я решил, что телевизор должен поддерживать 1080р, быть с LED-подсветкой и 100Гц частотой. LED считаю необходимым качеством, если телевизор висит на стене, иначе он сильно из нее выделяется, это не красиво. Был выбран Samsung 6й серии 2010 модельного года, привезен домой и повешен на стену. Встроенный плеер прекрасно открывает с накопителя любой файл (народ говорит, что не такой уж он всеядный, но я не нашел среди своих файлов того, что он не ест), позволяет выбирать звуковую дорожку. Отлично, подумал я, а теперь давайте устроим все то же самое, но по сети. И тут начались проблемы.

Медиасерверы

Я никогда не был поклонником велосипедостроения ради упрощения жизни “обычным пользователям”, я считаю такой подход глубоко порочным. В первую очередь потому, что никто не занимается вопросом “что нужно обычному пользователю” кроме пары компаний, а остальные лепят это так как увидел программист глядя на ТЗ, которе сделал маркетолог глядя в исследование рынка, которое сделали инопланетяне. В телевизоре Samsung у них получилось так, что плеер может ходить в сеть только по протоколу DLNA, а по CIFS или NFS не может.

В чем проблема сходить в сеть и взять там видеофайл? Пользователю надо ввести пароль! А еще ему, возможно, понадобится информация об именах ресурсов и путях в них. Плюс неплохо было бы не показывать медиаплееру файлы, которых он не поймет, можно логически отделить музло от киношек и предусмотреть возможность перекодировать видео-аудио, если сеть не поспевает или клиент не понимает формат. Отличные идеи, которые реализовали в стандарте DLNA (uPnP самсунгом не поддерживается, по этому ничего не могу сказать об этом типе серверов, но предполагаю, что проблемы те же и они тоже не нужны).

Первым мне попался Twonky Media Sever, который уже работал на моем файловом сервере WD Share Space. Некоторые файлы телевизор проигрывал без проблем, некоторые не воспринимал. MKV не воспринимал все. Так как файлсервер маломощный, то опция transcode была не доступна, переустановил Twonky на большой компьютер. Результат ровно такой же, транскодинг не помог.

Далее был Elgato eyeconnect с тем же результатом: часть файлов проигрывсется, часть нет.
Далее выясниласть глобальная засада на уровне протокола DLNA: невзможность выбора звуковой дорожки. Решение было в виде PS3Mediaserver, который виртуально размножал файл на несколько (по одному на дорожку) и умел транскодировать фильмы в нужном для телевизора формате. Очень круто, но есть 1 проблема: сколько я ни бился и не читал форумы, сколько бы я не пробовал настроек, телевизор файлы не воспринимал.

По инерции попробовал Mediatomb с таким же результатом.

Стало ясно, что без внешнего плеера никуда.

Плеер

Свой выбор я остановил на WD TV Live. Во-перывх, он умеет все, что мне нужно. Во-вторых, в отличие от того же Попкорна, он не стоит как крыло Боинга. В третьих, WiFi-донгл с поддержкой n, который у меня был, подходит к нему без проблем (Trendnet TEW664UB, выбран, потому что подходил к телевизору, так как Samsung не поставляет собственные WiFi-донглы в Россию, а с Амазона он приедет еще не скоро). В четвертых, WD TV маленький и поддерживает HDMI, что позволяет скрыть его с глаз долой на холодильник, а к телевизору пойдет всего 1 провод.
Плеер решил все проблемы совместимости, но вылезли еще 2 проблемы:

  • VOB’ы по сети заикаются. Это признанная проблема прошивки, которую должны были решить в текущей прошивке (и так написано в релизноте), но не решили.
  • остальные фильмы тоже инода заикаются.

Вторая проблема оказалась немного более сложной. Дело в том, что роутер у меня Asus WL-500W с прошивкой “от последователей Олега” и передача данных по WiFi – не самая сильная его сторона. Я решил выделить отдельный WiFi-сегмент, который будет обслуживать только телевизор при помощи Apple Airport Express (он гарантированно поддерживает n). Результат вышел почти удовлетворительный, почти все проблемы прошли когда я сделал 2 вещи:

  • У WiFi есть такой неочевидный параметр Multicast Rate. Подсказка в настройках по нему невнятная (мол, данный параметр определяет Multicast Rate, выбирайте по умолчанию), но на самом деле он очень важен. Это минимальная пропускная способность, которая выделяется на клиента. Чем больше величина, тем меньше радиус покрытия, тем меньше возможное число клиентов, но и тем большая стабильность скорости у каждого клиента. По умолчанию там настройка как для интернет-кафе, 2 мегабита.
  • В smb.conf файлового сервера надо было прописать socket options = TCP_NODELAY SO_RCVBUF=65536 SO_SNDBUF=65536, который говорит серверу, что у нас быстрая сеть и нам нужны минимальные задержки.

Почти все, но не все, потому что WiFi работает медленно.

Как заставить работать WiFi 802.11n быстрее, чем 802.11g и добиться от него работы эффективнее, чем 22 Мб/c? Очень просто: заменить его на ethernet.

Почему так получается, ведь на коробке с оборудованием нарисована цифра 300 мегабит в секунду? Потому, что 802.11n для работы на скоростях выше, чем g должен использовать несколько каналов, до 2/3 всего диапазона. В практическом плане это означает, что в изолированной комнате, где никто больше не использует WiFi и оборудование на его частотах, скорость для одного клиента будет близка к указанной в рекламе. В реальности, если выполняется хотя бы 1 пункт из списка:

  • есть клиенты, не поддерживающие n
  • много клиентов (по отзываем “много” – это больше 1го)
  • есть еще сегменты, которые сидят на вашем канале (в многоквартирном доме они точно есть)
  • есть соседи с не подконтрольным вам WiFi (точки доступа которых стремятся захватить несколько каналов)
  • все проваливается в g и максимально, что удается выжать – это 22 мегабита. Даже, если приемник и передатчик находятся в прямой видимости. К списку можно еще добавить пункт “производитель приемника и передатчика должен совпадать”, так как n долго не ратифицировался, а draft-n клепать никто не стеснялся, понимая стандарт по-своему.

Зачем это все и почему 22 Мб/с мало? Вообще говоря, 22 мегабита в секунду – это довольно много. Достаточно, чтобы смотреть веб, онлайновые ролики, слушать музыку и играть в сетевые игры. Даже для видео HD-качества этого почти достаточно, фильм в 720р (да и 1080р) сжатый x264 будет иметь средний битрейт около 5 мегабит. Но в том-то и дело, что средний, в динамической сцене может вырасти до 25 и больше, произойдет затык, который может быть плохо обработан плеером. Например, WDTV после затыка теряет синхронизацию видеопотока по времени (видео играется то быстрее то медленнее, а звука нет). Приходится жать на паузу, ждать, пока все вернется на место и только потом смотреть дальше. Когда так смотришь фильм, успеваешь выучить все места, где изображение резко меняется, а большинство спецэффектов можно вообще не увидеть, придется их проматывать.

Такие дела.

802.11n? PLC!

Вечером попробовал заменить одну технологию другой, так как неожиданно мне предложили 2 Trendnet TPL-303e (заявляют до 200Мбит/c, у меня цепляются друг за друга на ~100), за что ему огромное человеческое спасибо. По простому, это такие штуки, которые позволяют делать из линий передачи электричества в квартире делать большой управляемый свитч на столько портов, сколько есть этих девайсов (у меня 2). Замеров не делал, только тесты на просмотр фильмов, потом может отпишусь подробнее.

  • заметно стабильнее WiFi в плане неожиданного падения скорости.
  • заметно быстрее WiFi: из 3х моих тестовых фрагментов остались тормозящими только титры “Ситы” в 1080р, где такие цветные фейрверки (которые судя по всему совсем не жмутся) и то, теперь плеер нормально обрабатывает эту ситуацию, не сваливается в рассинхронизацию.
  • подвержен влиянию помех. В той же розетке сидит холодильник, когда он включается, скорость несколько падает.
  • утилита конфигурирования написана на .Net 1.1. Даже не буду комментировать как она работает. Благо, задача разбиения на VLANы не стоит.

Заключение

По какой-то тайной причине производители, которые делают просто отличное железо (Samsung, WD) по прежнему выпускают очень странные прошивки, а написанное в рекламном буклете может не соответствовать реальности. WiFi же годен для чтения почты и просмотра SD-контента.

Итого: задача выполнена на 99%, этот 1%, конечно, раздражает, но стену ковырять и плинтус открывать пока не буду. В принципе, если поставить htpc с VLC вместо wdtv и выкрутить у VLC префетч, то будет все совсем гладко.

PS
Комментарий жены: “и это все ради того, чтобы не носить флешку?”.

2015   IT   linux   железо

Time Capsule своими руками за 2 часа и 5000р

Задача

У меня есть macbook, старенький по нынешним временам, но любимый. С ростом объемов баз Aperture и iTunes проблема резервного копирования встала довольно остро, для чего был в свое время приобретен WD mybook на 500 Гигабайт и Hitachi с USB-коробкой на 400. Хитачи использовался как диск с данными, а WD для резервного копирования Time Machine, подключалось же все по USB. Данная схема меня не устраивала обилием проводов и привязкой к столу: отключаясь от USB я терял связь с накопителями, пойти на кухню с ноутбуком и музыкой я не мог. Я решил сделать файловый сервер, который бы раздавал нужные мне файлы по сети, скажем через WiFi. Здесь обнаружились некоторые проблемы:

• если я буду раздавать файлы по NFS или CIFS, то сами носители мне придется как-то конвертировать из HFS+ в ext3. На сколько мне известно, единственный способ, это стереть и разметить заново, что с 250Gb нужных данных как минимум муторно.
• если я буду раздавать файлы по NFS или CIFS, то TimeMachine будет игнорировать эти диски и как объекты для резервного копирования, и как ресурсы для резервного копирования.
• Spotlight не будет правильно работать с CIFS.

Конечно, я могу реализовать Time Machine своими руками на bash’е, cron’e и rsync’е, но знание решения этой задачи делает ее неинтересной. Кроме того, Time Machine просто работает (tm) и тесно интегрирована с различными программами Apple. Удобная она. Решение мне подсказали коллеги, надо использовать iSCSI, который работает на уровне устройства и отдает файл или дисковый массив с сервера (так назваемый target) на клиент (initiator) как блочное устройство. Для клиента такой диск ничем не отличается от локально подключенного SCSI-устройства, что решает мои проблемы.

Специальные требования

В целях борьбы с гаджетоманией и косньюмеризмом бюджет был определен в 5000р максимум без учета стоимости накопителей, что дешевле Time Capsule в несколько раз. Решение не должно иметь ни одного вентилятора, а желательно чтобы оно не имело движщихся частей вообще.

Аппаратная часть

Я знал, что один мой коллега когда-то делал беспроводную точку доступа, совмещенную с файловым сервером своими руками, но что-то у него не заладилось и компьютер отправился на шкаф. В результате за символические деньги мне досталась старая безвентиляторная VIA Epia c процессором VIA Samuel-2 в хорошем корпусе и 128 мегабайт оперативной памяти к ней. Конечно, следовало бы купить Intel D301GLY, цена которой в Москве 1500р, Mini ITX корпус (еще 1500-2000р) и память DDR II (еще около 1000р). Оставшиеся деньги можно вложить в карточку WiFi и flash, с которой будет загружаться операционная система. Я просто взял флешку, которой не часто пользовался, а WiFi у меня раздает роутер Asus WL-500W. Если роутера нет, то можно использовать свободный PCI-слот для сетевой карты с несколькими портами, а WiFi повесить на USB или использовать Apple Airport Express, что вплотную приблизит нас к формфактору Time Capsule.

Замечу, что даже с учетом роутера, даже более дорогого гигабитного LinkSys и жесткого диска, вся система получается дешевле оригинального Time Capsul и функциональнее ее, хотя и больше по размеру.

Можно также в качестве платформы использовать Ausus EEEPC или просто старый ноутбук.

Программная часть

В качестве операционной системы был использован Debian Etch в минимальной конфигурации и build essential для сборки сервера. Для Linux есть реализация iSCSI-target, то есть сервера,http://iscsitarget.sourceforge.net/. С раздела downloads требуется скачать архив, так как готовой сборки нет, распаковать его, выполнить make && make install. Все проходит без ошибок, собственно, сервер вполне готов к работе.

Конфигурационный файл iSCSI-target находится в /etc/ietd.conf. Единственные строчки, играющие принципиальное значение на этапе тестирования нашей системы, это имя ресурса, которое вообще говоря может быть любым, и запись вида Lun 0 Path=/dev/sda, где /dev/sda – устройство, которое мы собираемся отдавать. Клиентом на Macintosh будет globalSAN iSCSI initiator, который совершенно бесплатен. Для Windiws есть также бесплатный Microsoft iSCSI software initiator. Обе программы обладают очевидным интерфейсом: надо вписать IP сервера на 1й вкладке и выбрать Lun по имени на второй, после чего в системе появится еще 1 жесткий диск, который можно разбивать, форматировать или использовать уже существующие разделы.

Так как все мои компьютеры находятся в 1й локальной сети без доступа извне, то шифрования канала и авторизации я не делал, хотя iSCSI поддерживает CHAP, а сам iSCSI можно инкапсулировать в IPSec, если вы хотите работать со своими дисками скажем издалека.

Производительность и результат

Что тут можно сказать? Даже моя откровенно слабая и старая VIA Epia огараничена сверху производительностью сети, скорость работы с диском чуть менее 100 мегабит в секунду. Кеширование диска происходит и на стороне клиента и на стороне сервера, так что больший объем оперативной памяти на сервере – лучше. Aperture стала заметно быстрее работать с коллекцией, точнее, ее работа перестала сказываться на отклике самого ноутбука. Time Machine сразуже опознала свой старый диск и синхронизировала резервную копию. Теперь я могу ходить с ноутбуком по всему дому не теряя связи со своими накопителями.

2015   IT   linux   железо