Хранение данных и частое обращение к ним
Страницы: 1
Хранение данных и частое обращение к ним
Здравствуйте! Хочу услышать мнение профессионалов.

Суть вопроса:

Ищу оптимальное решение, для сервиса счетчиков тиц и пр сайтов.

Суть в том что мало того хранить их, эти данные будут браться для информеров которые установят на свои сайты пользователи, поэтому обращений будет много.Как и где лучше хранить данные тиц и пр сайта. Т.е конечно в текстовом файле вполне нормально, но вот проблема количества файлов в директории если их будет например 100к не вариант. В SQL тоже, можно кешировать результаты, но опять же. при изменении базы (добавление нового сайта в бд, изменение уже существующего и тд) обнуляет кеш бд.

Вот думаю может использовать NoSQL решения?

Жду ваше мнение.
Цитата
Юрий Ушаков пишет:
В SQL тоже, можно кешировать результаты, но опять же. при изменении базы (добавление нового сайта в бд, изменение уже существующего и тд) обнуляет кеш бд.
Ну так в чем сложность пусть обновляет кеш бд. не так уж и часто обновляются тИЦ и ПР. И добавление нового сайта, тоже не так часто, относительно запросов счетчиков всеми сайтами.

Можно например, вести статистику и выявлять сайты с большой посещаемостью и только для них делать текстовый файл, а остальным с малой посещаемостью выдавать из БД.
В действительности вы знаете предмет только в той степени, в которой можете научить других, с тем чтобы они его поняли и применили в своей жизни.
SQL с Partition отлично справится с задачей, конечно же понадобится дедик, но лучшего решения попусту нет.
Цитата
Андрей П-Студия пишет:
Ну так в чем сложность пусть обновляет кеш бд. не так уж и часто обновляются тИЦ и ПР. И добавление нового сайта, тоже не так часто, относительно запросов счетчиков всеми сайтами.
ПР и тИЦ обновляются не так часто, но суть то в том что сайты которые будут анализироваться и в свою очередь добавлять сайты в бд или изменять их, в следствии чего кеш бд будет уж очень часто обновятся.
Цитата
WSairus пишет:
SQL с Partition отлично справится с задачей, конечно же понадобится дедик, но лучшего решения попусту нет.
Выделенный сервер пока нет возможности взять.
Цитата
Андрей П-Студия пишет:
Можно например, вести статистику и выявлять сайты с большой посещаемостью и только для них делать текстовый файл, а остальным с малой посещаемостью выдавать из БД.
Интересная мысль, но ведь все на автомате, а тут нужно постоянно следить за сайтами которые будут использовать счетчики.
Цитата
Юрий Ушаков пишет:
Выделенный сервер пока нет возможности взять.     
В таком случае самый простой способ это создать 26+30+10 папок = два алфавита и десять цифр
И размещать текстовые файлы для сайтов по первому символу в названии.
Так хоть какой-то порядок будет

А уж когда наберете, к примеру 50 000 сайтов, то можно начать задумываться о переходе на выделенный сервер.
Цитата
Андрей П-Студия пишет:
В таком случае самый простой способ это создать 26+30+10 папок = два алфавита и десять цифр
И размещать текстовые файлы для сайтов по первому символу в названии.
Так хоть какой-то порядок будет
Согласен, способ в принципе не плох! Как из вариантов можно будет. Но все равно, пока ищу другие решения, если найду, отпишусь, может кому и пригодится.
Цитата
Юрий Ушаков пишет:
а тут нужно постоянно следить за сайтами которые будут использовать счетчики.
Считать количество обращений, установить порог, после которого инфа из базы переходит в файл.тхт

Каждое обращение сайта проверяет наличие своего файла в папке, если файла нет, то запрос делается из БД.
Цитата
Андрей П-Студия пишет:
Считать количество обращений, установить порог, после которого инфа из базы переходит в файл.тхт
Опять же, считать. А подсчет тоже нужно хранить, где? будет 100к сайтов, и для каждого считать:) Тогда уже свою метрику можно открывать xD
А

Цитата
Юрий Ушаков пишет:
Опять же, считать.
А если счет вести в двухмерном массиве, который объявить как глобальный, а потом к примеру этот массив в конце дня сбрасывается в БД.
Цитата
Андрей П-Студия пишет:
А если счет вести в двухмерном массиве, который объявить как глобальный, а потом к примеру этот массив в конце дня сбрасывается в БД.
Вариант, но я думаю что понадобится выделенный сервер для обработок таких данных и объемов.
Цитата
Вариант, но я думаю что понадобится выделенный сервер для обработок таких данных и объемов.
Угу, еще кластер зарядить для кнопки ТИЦ и PR
Никаких сервисов не требуется, просто зайдите в яндекс и гугл - там и PR и ТИЦ посмотреть можно.
Цитата
Михаил Сусанин пишет:
Угу, еще кластер зарядить для кнопки ТИЦ и PR
Никаких сервисов не требуется, просто зайдите в яндекс и гугл - там и PR и ТИЦ посмотреть можно.
Что правда? А я то думал... Вон оно как) Речь идет о своем таком сервисе. Вы если не поняли сути, то не надо тут острить! А на счет кластера и его заряжения вы сами то поняли что написали?
Изменено: Юрий Ушаков - 16 Марта 2014 20:35
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:11 Давайте начнем обмен отзывами Google maps 
22:14 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
13:03 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
13:04 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 
19:21 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:24 Linken Sphere – браузер-антидетект нового поколения 
12:42 Sapfirex.com - Современный сервис обмена криптовалют 
09:33 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
09:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
04:16 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
19:49 Sectormoney.com - быстрый и удобный обменник 
18:51 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram! 
23:14 Точные прогнозы на футбол 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников 
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту