Второй переезд сервера — 8 марта

1 го февраля мы перенесли сайт в DigitalOcean, а файлы разместили в облаке Amazon. На новом сервре и новом движке переписаном с Perl на Ruby сайт заработал значительно быстрее. Однако выяснилось, что значительно вырос так же и трафик. С 7-8 терабайт в месяц до 15 терабайт. Из амазона пришел счет с тремя нулями в долларах. Это недопустимо дорого для нас.

В итоге завтра — послезавтра, чуть ли не 8 марта, мы будем переезжать к немцам в Hetzner, где нам предлагают до 30 терабайт трафика в месяц бесплатно.

Временно скачка лекций приостановлена. Можно пока только читать и слушать в онлайне. Я очень надеюсь на понимание со стороны тех, кто возмущается по поводу ограничения на скачку в 20 лекций в сутки.

Новый плеер на сайте!

Недавно у нас был обновлен плеер в котором можно слушать лекции онлайн, правда пока еще новая версия доступна не во всех браузерах, но точно доступна в браузре Google Chrome. Два существенных изменения я опишу ниже.

new_html5_player

Теперь плеер прокручивает страницу с текстом так, чтобы то место в тексте, которое Вы сейчас слушаете было видно, при этом сам плеер прикрепляется наверху страницы. Это уже оценили наши редакторы, которые выделяют цитаты и важные вещи в готовых текстах.

Также теперь есть возможность ускорить или замедлить воспроизведение. (Пока только в Windows) — Нажмите Ctrl + (клавиша русская буква Ю) чтобы сделать быстрее, Ctrl + (клавиша русская буква Б) чтобы сделать медленнее. Иногда можно запросто увеличить скорость на 50% без потери восприятия чтобы послушать. Или замедлить на 20-30% чтобы печатать транскрипт.

А главное, новый плеер работает на iPad iPhone и андроид устройствах! Наслаждайтесь!

Авторский раздел стал удобнее

Вчера мы немного изменили раздел авторов. Раньше там сразу выводились биографии от чего страница была слишком длинной и приходилось долго проматывать ее вниз чтобы найти нужного автора. Теперь это можно сделать без прокрутки.

История создания Аудиоведы

Помню как весенним вечером 2009 года родилась идея создания сайта аудиоведы. Я слушал третий цикл лекций Руслана Нарушевича и некоторые лекции были похожими. Я к тому времени накачал уже около тысячи лекций, которые собирался слушать в своем плеере в метро. Поскольку объем памяти у плеера был маленьким — всего 8 гигабайт, мне приходилось выгружать старые и загружать новые лекции.

Первое неудобство с которым я столкнулся — нельзя было понять какие я уже послушал а какие нет. За шесть месяцев интенсивного изучения основные темы были уже более менее знакомы и определить на слух — новое это или старое было практически невозможно.

Второе, с чем я столкнулся — это желание поделиться этими лекциями с друзьями. Я не мог вспомнить откуда были скачаны материалы. Восновном конечно с сайта Олега Геннадьевича Торсунова, но вот с какой страницы и где какая лекция? Было уже не вспомнить.

Третьим неудобством стало отсутствие у многих лекций названий. Простых вменяемых названий на русском языке и хотя бы каких то кратеньких аннотаций. То есть с материалом было неудобно работать.

Четвертое — это отсутствие возможности поиска по материалам. Как искать по аудио лекциям если нет текста? Ведь поисковые машины не индексируют звук, даже сейчас это остается нерешенной проблемой. Распознавание на лету дело будущего. Сегодня только один выход — тексты набранные по аудиозаписям.

В итоге тем вечером я решил создать новый сайт-архив аудиолекций удобный и эффективный, где зарегистрированный пользователь может выбирать материалы на нужную тему, скачивать их без ограничений, вести историю прослушивания, подписываться на обновления и многое другое о чем так сразу не рассказать.

Я обратился к знакомому программисту, который согласился помочь и написал первую версию движка для сайта на Perl. Сайт получился очень простой и эффективный. В этой версии он просуществовал до начала 2010 года и к тому времени содержал приблизительно тысячу лекций, а в голове уже были планы по расширению функционала и усложнения тематических взаимосвязей между материалами.

Количество материала неуклонно росло. Я собрал пару сотен гигабайт аудиозаписей, которые предстояло рассортировать и упорядочить. Параллельно было запущено беспрецедентное по масштабом мероприятие по переводу аудиолекицй в текст, в котором приняло участие более 100 человек со всех уголков России.

В 2010-м мы первые внедрили технологию подсветки текста вслед за воспроизведением аудио и многие пользователи оценили это по достоинству. Если транскриберы не смогли расслышать что то в аудиозаписи — вы могли кликнуть на абзаце и прослушать запись с этого места. Часто таким образом текст восстанавливался более опытным человеком.

Затем появился поиск. Мы использовали прогрессивные технологии движка Sphinx и интегрировали их в наш проект. Поиск открыл новые горизонты в структурировании контента и связывании материалов через теги.

Потом были добавлены Календарь событий и цитатник. Календарь реализует функционал глобальной афиши мероприятий по городам и авторам лекций, так что вы всегда можете быть в курсе где состоится следующая лекция и посетить ее в живую. Цитатник украсил главную страницу высказываниями лекторов.

В настоящий момент мы работаем над сайтом в режиме нон-стоп почти 7 дней в неделю. Каждый день обрабатывается несколько лекций и выкладываются новые. Теперь это видно на главной странице сайта в рубриках «Новые тексты» и «Новые лекции». В планах создание мобильного приложения для iPad…

Перевод лекций в текст

Этот процесс идет без остановки уже два года. Началось всё с того, что я решил добавить к аудиолекциям тексты. Тексты хорошо индексируются поисковиками, а это значит, что люди будут приходить не только по рекомендации друзей а и прямо из поисковых машин Яндекса и Гугла. С текстом можно удобно работать выделяя интересные вещи, делая цитаты и так далее.

Сначала я попробовал переводить лекции в текст самостоятельно. Но даже с моей закалкой производительность 1 лекция в неделю при серьезной занятости это вообще ничего. Это всего 52 лекции в год. Так проект развивать было нельзя.

Я обратился в разные конторы, которые предлагали услуги по расшифровке записей. Получил приблизительную картину в рублях. Выходило за одну лекцию на 100 минут нужно заплатить 3500р. И если я хотел делать по 30 лекций в месяц, нужно было приготовить 105.000 р. Таких денег у меня не было. Но я не остановился и искал дальше. Я нашел исполнителей в два, три, четыре раза дешевле…

Как подсказывал закон рынка: «есть спрос — есть и предложение». Я решил прикинуть, сколько я могу реально платить за перевод аудио в текст и озвучить эту сумму на free-lance.ru. Это была оплата 4 рубля за минуту записи. Конечно 8 из 10 фрилансеров к которым я обратился послали меня сразу. Но некоторые заинтересовались и взялись пробовать.

Так это началось летом 2010 года с небольшой команды из нескольких человек, которую вскоре возглавила Анастасия Климчук. Спасибо ей огромное, за то что она забрала часть коммуникаций на себя. Так появилась команда стенографистов www.zapisal.com которая без перерывов и выходных работает над текстами, для портала Аудиоведа.

С течением времени собралась и другая команда. Команда добровольцев которые взялись помогать бесплатно, просто за идею. Идею бесплатного распространения знания для всех умеющих слушать и читать.

Сегодня в процессе перевода лекций в текст задействовано в целом более сорока человек. Каждый день у меня на почте появляется от четырех до десяти новых текстов лекций, которые нужно преобразовать в формат сайта и проверить хотя бы бегло на ошибки. Сказать, что работы стало больше — значит ничего не сказать =)

Роман Михайлов

Внутренняя оптимизация при помощи банеров

В какой-то момент до меня дошла одна мысль по поводу моего главного проекта — audioveda.ru, где как на дрожжах растет масса текстовой информации с ответами на все случаи жизни.

При всей широте тематического охвата, при всей структурированности и упорядоченности, материалы сайта для большинства посетителей остаются неведомой совокупностью чего-то важного и ценного, к которой не знаешь как подступиться и с какого края начать.

Есть даже реальный фидбэк в виде вопросов моих знакомых — «А чего бы ты порекомендовал мне послушать?» или «С чего начать?» То есть растерянность пользователя и как следствие легкий налет тупоты при выборе материалов для прослушивания.

В связи с этим я разработал эффективную стратегию продвижения некоторых, особо интересных с моей точки зрения, материалов при помощи обычных банеров. Несмотря на то, что я уже почти потерял связь с реальностью и не имею представления о том, как сейчас в материальном мире приятно привлекать внимание посетителя, я все же рискнул выбрать вариант статических спокойных банеров с легкоусвояемым текстом и приятной картинкой. Без маньячества чтобы. Единственный минус в данном случае это размеры в килобайтах переваливающие за сотню, а иногда другую…

Но тем не менее… Вот такой банер сегодня сутра я поместил на всех страницах айдиоведы.

И это сработало с эффективностью 115 кликов на 9229 показов за день! То есть более 1%. И это не мало, как может показаться.

Геотаргетинг + интеллектуальное позиционирование

Вчера днем начал тестировать геотаргетинг по показу объявлений в шапке сайта Аудиоведа. Второй день у меня кипят мозги от того, что необходимо реализовать алгоритм выдачи банеров с ранжированием по URL, сортировочному весу, определнному географическом положению посетителя сайта и смысловому контексту страницы на которой он выводится. Я думаю надо решать вопрос фундаментально.

Дано:

  1. Посетитель с устновленным IP, а следовательно как минимум страной и городом
  2. URL страницы на которой он находится в настоящий момент

Условия, которые необходимо соблюсти при выдаче банера в шапку:

  1. банеры с указанным геотаргетингом имеют преимущество в выдаче перед «интернациональными», где он не указан. Это означает, что для москвичей в первую очередь следует показывать московский банер если такой есть и если нет — интернациональный.
  2. банеры с указанным местом — страницей размещения имеют преимущество при выводе перед «сквозными» банерами без указанной страницы.  То есть нужно показывать на странице банер предназначенный для этой конкретной страницы, если такой есть. И если спецального для этой страницы нет — тогда случайный сквозной с геотаргетингом. И если нет таких — любой случайно из сквозных-интернациональных.
  3. показ баннеров считается в cookies  на стороне клиента. Количество показов не должно превышать установленного для данного баннера количества показов одному посетителю в сутки, если такое было установлено для данного баннера. Как только баннер с известным ID будет показан посетителю дважды он более не показывается в этот день вообще.
  4. любой баннер может быть отмечен тегами и выводиться на странице тега в первую очередь ибо он имеет преимущества перед баннером у которого теги не прописаны. Также баннер отмеченный тегами выводится на страницах материалов отмеченных этими тегами.
  5. пользователь может нажать на крестик у баннера и он ему не будет показываться больше вообще в течении сегодняшнего дня. Это так же решается на стороне пользователя через cookies.
  6. банер может иметь ограничения по времени и дням недели для показа.
  7. банер может показывать только зарегистрированным или всем пользователям.

А также еще масса нюансов которые нужно учесть. И это вот просто одна из сотен задач по сайту, если вы собираетесь все делать фундаментально. И иногда мне кажется, что проще купить битрикс … Надо завтра показать Петру эту хрень. Надеюсь, у него есть готовое решение.

Разделение труда

Как я уже писал насчет публикаций присылаемых транскриптов для audioveda.ru — процесс это очень муторный и состоит из последовательных операций в различных программах. Сегодня вечером, когда настал черед забросить 10 новых текстов на сайт, Бхувана Сундари предложила мне свою помощь. Мы распределили задачи так, что я преобразовывал тексты в HTML, публиковал и делал записи в борт журнал, а она делала посты в блок об успешном добавлении нового материала. На удивление мы сделали 10 лекций достаточно быстро. Буквально за час с небольшим. Конвеер это все-таки сила!

Список свежих текстов для сайта audioveda, опубликованных в последний момент можно всегда видеть на сайте команды стенографистов zapisal.com.

Подключаем мой мир!

На главной странице audioveda.ru в блоке, где отображается случайная цитата теперь есть кнопка позволяющая быстро опубликовать эту цитату в проекте mail.ru «Мой-Мир». И это даже опрятно выглядит. Вконтакте так не получается, потому что текст сообщения нельзя передавать, его должен полностью вписать пользователь, а тут на удивление так удачно всё получилось! И пошли первые посетители из моего мира…