Loading...
Error

Фантазии на тему базы данных по аниме на нашем портале

Страницы:   Пред.  1, 2

Ответить на тему
 
Автор Сообщение

Ionian.Wind

Стаж: 16 лет

Сообщений: 892

Провайдер: Не определен

Пол: Otoko (M)

Он-лайн: Нет

Карма: +0.01

DarkSavant писал(а):

Надо сделать нормальный грабер
ну, этим займемся я и Mear :) - у тебя и так дел навалом

_________________
Profile PM

DarkSavant

Карма: 0.00

post 28-Янв-2008 22:15 (спустя 7 минут)
Ionian.Wind
Ну занимайтесь, главное потом еще нужную инфу вытащить и в базу запихать...
 

Mear

Стаж: 16 лет

Сообщений: 2513

Откуда: НиНо

Провайдер: Дом.ru

Пол: Otoko (M)

Он-лайн: Нет

Карма: +0.10

post 28-Янв-2008 23:26 (спустя 1 час 11 минут)
Ionian.Wind
Тока я думаю граббер делать не на PHP, а на чем ни то получше... например на Delphi... так на компе с нормальным нетом можно будет многопоточность сделать, а значит и в разы ускорить скорость граба, да и сам исполняемый код будет всё это быстрее делать нежели PHP!

Грабить всё же думаю с anidb ибо там и на копирайты никто не претендует, да и ограничений (вроде) на кол-во запросов нету. В начале пограблю сам список аниме (просто ссылки на страницы), затем основную инфу (название, дата выхода, жанры, режиссер и еще по мелочи), а затем, если уж припечет, всякие рецензии, комментарии и т.д. (хотя на мой взгляд рецензии можно уже и свои добавлять, силами посетителей otaku.nn.ru)
Profile PM

Ionian.Wind

Стаж: 16 лет

Сообщений: 892

Провайдер: Не определен

Пол: Otoko (M)

Он-лайн: Нет

Карма: +0.01

post 28-Янв-2008 23:59 (спустя 32 минуты)
Mear
хотел я на языке с толстым клиентом делать - написал кое-что на яве. только там глюк был - не находит он почему-то world-art, а с anidb ересь какую-то выдает...

на php хоть и медленнее грабит, зато проще реализация. кроме того, я на php хочу реализовать автозаполнение по ссылке.

Да, и насчет анидб - там для допуска к хентаю нужна регистрация. как кукиз реализовать на толстоклиентном языке - без понятия...

_________________
Profile PM

Nick

Стаж: 16 лет

Сообщений: 41

Провайдер: Билайн (IXNN)

Пол: Otoko (M)

Он-лайн: Нет

Карма: 0.00

post 29-Янв-2008 00:01 (спустя 2 минуты)
Точно знаю что на AniDB есть какое-то ограничение на количество открываемых страниц за определенный период с одного IP.
Но зато, AniDB запросто отдает всю базу за раз тому-же AOM. Так что есть вариант пропарсить ее локально. Кстати этот вариант лучше тем, что апдейты регулярно можно качать Mad

ЗЫ: Да! Есть официальное описания протокола для доступа к базе по UDP. Только не помню, дадут по нему всю базу скачать или по ушам надают, надо на форуме ихнем смотреть... Mad


Последний раз редактировалось: Nick (2008-01-29 00:05), всего редактировалось 1 раз
Profile PM

Mear

Стаж: 16 лет

Сообщений: 2513

Откуда: НиНо

Провайдер: Дом.ru

Пол: Otoko (M)

Он-лайн: Нет

Карма: +0.10

post 29-Янв-2008 00:04 (спустя 2 минуты)
Ionian.Wind
Не боись... я с толстоклинтным языком общаюсь даже не на "ты"... а на что-то получше ))) в общем опыт в сфере сетевых приложений имею не маленький, так что думаю с коннектом проблем не будет, впрочем как и с регистрацией. Ты сделай маленький парсер и для AniDB и для World-Art на php и выдели моменты, по которым определять где чего выдирать, а я займусь оболочкой для граба всей базы.

Nick
Хм... AOM... what is AOM?
Profile PM

Nick

Стаж: 16 лет

Сообщений: 41

Провайдер: Билайн (IXNN)

Пол: Otoko (M)

Он-лайн: Нет

Карма: 0.00

post 29-Янв-2008 00:07 (спустя 3 минуты)
AOM - это офллайновый клиент для AniDB-шной базы. Есть еще один написанный на Java, но я им не пользуюсь, поэтому точно его возможностей не знаю. Но AOM точно может всю базу залить за раз.

Проблемма в том, что и льет и хранит он эту базу в зашифрованном виде.
Profile PM

Mear

Стаж: 16 лет

Сообщений: 2513

Откуда: НиНо

Провайдер: Дом.ru

Пол: Otoko (M)

Он-лайн: Нет

Карма: +0.10

post 29-Янв-2008 00:09 (спустя 1 минута)
Nick
Дай ссылку, откуда сие чудо можно скачать... а то на AniDB копаться влом...
А еще лучше выложи клиент на шару в Нижегородке! (а то у меня трафик внешний урезали)
Profile PM

Ionian.Wind

Стаж: 16 лет

Сообщений: 892

Провайдер: Не определен

Пол: Otoko (M)

Он-лайн: Нет

Карма: +0.01

post 29-Янв-2008 00:12 (спустя 3 минуты)

Nick писал(а):

Есть официальное описания протокола для доступа к базе по UDP
О! а вот это уже тема!

Mear писал(а):

выдели моменты, по которым определять где чего выдирать
тоесть что берется с AniDB, а что - с World-Art?

_________________
Profile PM

Nick

Стаж: 16 лет

Сообщений: 41

Провайдер: Билайн (IXNN)

Пол: Otoko (M)

Он-лайн: Нет

Карма: 0.00

post 29-Янв-2008 00:16 (спустя 3 минуты)
Да там на ихней вики просто смотришь Clients и все.
Ну на в кольце если надо: http://files.unn.ru/5617877144
Это последняя версия на сегодня. Чтоб она грузанула базу надо зарегиться на AniDB. Да, база большая (относительно). Наверно что-то около 40 Мб сейчас.
Profile PM

Mear

Стаж: 16 лет

Сообщений: 2513

Откуда: НиНо

Провайдер: Дом.ru

Пол: Otoko (M)

Он-лайн: Нет

Карма: +0.10

post 29-Янв-2008 00:21 (спустя 5 минут)
Ionian.Wind
В том плане, по каким тегам что откуда выдирать))) в общем посмотрим еще на офф-лайн клиент AniDB, может удасться оттуда чего изъять!

Nick
Фенькс
Profile PM

Ionian.Wind

Стаж: 16 лет

Сообщений: 892

Провайдер: Не определен

Пол: Otoko (M)

Он-лайн: Нет

Карма: +0.01

post 29-Янв-2008 01:43 (спустя 1 час 21 минута)

Nick писал(а):

Ну на в кольце если надо: http://files.unn.ru/5617877144
Кстати, спасибо за "Константина" ^_^

_________________
Profile PM

batyrmastyr

Стаж: 16 лет

Сообщений: 6586

Откуда: Sekai

Провайдер: Не определен

Пол: Otoko (M)

Он-лайн: Нет

Карма: +35.88

post 06-Фев-2008 15:41 (спустя 8 дней)
Mear
пока искал ансабы, наткнулся на http://www.animenfo.com/
скрытый текст
что они думают про gits sac 2nd gig: http://www.animenfo.com/animetitle,1287,ybqqoe,ghost_in_the_sh.html

_________________
pic
я несу глупость во имя бака-тим
Gundam Team
Yuri TEAM
Термины
Profile PM

batyrmastyr

Стаж: 16 лет

Сообщений: 6586

Откуда: Sekai

Провайдер: Не определен

Пол: Otoko (M)

Он-лайн: Нет

Карма: +35.88

post 22-Фев-2008 11:38 (спустя 15 дней)
Нашел весьма интересный сайтец, который, в будущем, неплохо было бы исользовать: http://www.anime-planet.com/ - предназначен для поиска похожих аниме.
Основывается на предложениях пользователей, поэтому иногда выдает забавные результаты

_________________
pic
я несу глупость во имя бака-тим
Gundam Team
Yuri TEAM
Термины
Profile PM

Ionian.Wind

Стаж: 16 лет

Сообщений: 892

Провайдер: Не определен

Пол: Otoko (M)

Он-лайн: Нет

Карма: +0.01

post 10-Фев-2009 17:24 (спустя 11 месяцев 17 дней)
Есть свежая мысль: почему базу делать только для аниме? Почему бы не сделать её для всего подобного контента - манги, сабов, видео? При открытии одного наименования чего-то выдавать ссылки на весь имеющийся в БД связный контент, и плюс к этому, давать ссылки где можно это скачать.
Обновлять как вручную, так и через RSS с других сайтов

Добавлено спустя 5 минут 35 секунд:

Релиз же делать не через релиз-визард, а прямо из БД:
нажимаешь кнопку "добавить релиз", вводишь параметры видео, аудио, тип, рипгруппу, добавляешь скрины.
Описание, обложку, даты, ссылки на уже имеющиеся раздачи, ссылки на раздачи дополнительного контента - все добавляется автоматически.

_________________
Profile PM

SPX-730

Стаж: 16 лет

Сообщений: 1028

Откуда: im in ur drivez erasin ur doujinz

Провайдер: Не определен

Пол: Не определилось

Он-лайн: Нет

Карма: 0.00

post 10-Фев-2009 18:04 (спустя 34 минуты)

Цитата:

(спустя 11 месяцев 17 дней)

Ionian.Wind писал(а):

Есть свежая мысль
x)

а по теме имхо этого не будет=)
Profile PM

Ionian.Wind

Стаж: 16 лет

Сообщений: 892

Провайдер: Не определен

Пол: Otoko (M)

Он-лайн: Нет

Карма: +0.01

post 10-Фев-2009 18:23 (спустя 18 минут)
SPX-730
почему не будет?

_________________
Profile PM

SPX-730

Стаж: 16 лет

Сообщений: 1028

Откуда: im in ur drivez erasin ur doujinz

Провайдер: Не определен

Пол: Не определилось

Он-лайн: Нет

Карма: 0.00

post 10-Фев-2009 18:24 (спустя 1 минута)
Ionian.Wind
не знаю=)
Profile PM

batyrmastyr

Стаж: 16 лет

Сообщений: 6586

Откуда: Sekai

Провайдер: Не определен

Пол: Otoko (M)

Он-лайн: Нет

Карма: +35.88

post 10-Фев-2009 23:58 (спустя 5 часов)

Ionian.Wind писал(а):

почему не будет?
наверное потому что всем было лень такие "очевидные" вещи прописывать.

_________________
pic
я несу глупость во имя бака-тим
Gundam Team
Yuri TEAM
Термины
Profile PM
Показать сообщения:    
Ответить на тему

Текущее время: 29-Мар 08:17

Часовой пояс: GMT + 3



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
[  Execution time: 0.871 sec  |  MySQL: 1.715 sec (197%) in 15 queries  |  Mem: 418.42 KB / 1.26 MB / 1.13 MB  |  Load: 0.3 0.4 0.4  ]