Хранение данных и частое обращение к ним
Страницы: 1
Хранение данных и частое обращение к ним
Здравствуйте! Хочу услышать мнение профессионалов.

Суть вопроса:

Ищу оптимальное решение, для сервиса счетчиков тиц и пр сайтов.

Суть в том что мало того хранить их, эти данные будут браться для информеров которые установят на свои сайты пользователи, поэтому обращений будет много.Как и где лучше хранить данные тиц и пр сайта. Т.е конечно в текстовом файле вполне нормально, но вот проблема количества файлов в директории если их будет например 100к не вариант. В SQL тоже, можно кешировать результаты, но опять же. при изменении базы (добавление нового сайта в бд, изменение уже существующего и тд) обнуляет кеш бд.

Вот думаю может использовать NoSQL решения?

Жду ваше мнение.
Цитата
Юрий Ушаков пишет:
В SQL тоже, можно кешировать результаты, но опять же. при изменении базы (добавление нового сайта в бд, изменение уже существующего и тд) обнуляет кеш бд.
Ну так в чем сложность пусть обновляет кеш бд. не так уж и часто обновляются тИЦ и ПР. И добавление нового сайта, тоже не так часто, относительно запросов счетчиков всеми сайтами.

Можно например, вести статистику и выявлять сайты с большой посещаемостью и только для них делать текстовый файл, а остальным с малой посещаемостью выдавать из БД.
В действительности вы знаете предмет только в той степени, в которой можете научить других, с тем чтобы они его поняли и применили в своей жизни.
SQL с Partition отлично справится с задачей, конечно же понадобится дедик, но лучшего решения попусту нет.
Цитата
Андрей П-Студия пишет:
Ну так в чем сложность пусть обновляет кеш бд. не так уж и часто обновляются тИЦ и ПР. И добавление нового сайта, тоже не так часто, относительно запросов счетчиков всеми сайтами.
ПР и тИЦ обновляются не так часто, но суть то в том что сайты которые будут анализироваться и в свою очередь добавлять сайты в бд или изменять их, в следствии чего кеш бд будет уж очень часто обновятся.
Цитата
WSairus пишет:
SQL с Partition отлично справится с задачей, конечно же понадобится дедик, но лучшего решения попусту нет.
Выделенный сервер пока нет возможности взять.
Цитата
Андрей П-Студия пишет:
Можно например, вести статистику и выявлять сайты с большой посещаемостью и только для них делать текстовый файл, а остальным с малой посещаемостью выдавать из БД.
Интересная мысль, но ведь все на автомате, а тут нужно постоянно следить за сайтами которые будут использовать счетчики.
Цитата
Юрий Ушаков пишет:
Выделенный сервер пока нет возможности взять.     
В таком случае самый простой способ это создать 26+30+10 папок = два алфавита и десять цифр
И размещать текстовые файлы для сайтов по первому символу в названии.
Так хоть какой-то порядок будет

А уж когда наберете, к примеру 50 000 сайтов, то можно начать задумываться о переходе на выделенный сервер.
Цитата
Андрей П-Студия пишет:
В таком случае самый простой способ это создать 26+30+10 папок = два алфавита и десять цифр
И размещать текстовые файлы для сайтов по первому символу в названии.
Так хоть какой-то порядок будет
Согласен, способ в принципе не плох! Как из вариантов можно будет. Но все равно, пока ищу другие решения, если найду, отпишусь, может кому и пригодится.
Цитата
Юрий Ушаков пишет:
а тут нужно постоянно следить за сайтами которые будут использовать счетчики.
Считать количество обращений, установить порог, после которого инфа из базы переходит в файл.тхт

Каждое обращение сайта проверяет наличие своего файла в папке, если файла нет, то запрос делается из БД.
Цитата
Андрей П-Студия пишет:
Считать количество обращений, установить порог, после которого инфа из базы переходит в файл.тхт
Опять же, считать. А подсчет тоже нужно хранить, где? будет 100к сайтов, и для каждого считать:) Тогда уже свою метрику можно открывать xD
А

Цитата
Юрий Ушаков пишет:
Опять же, считать.
А если счет вести в двухмерном массиве, который объявить как глобальный, а потом к примеру этот массив в конце дня сбрасывается в БД.
Цитата
Андрей П-Студия пишет:
А если счет вести в двухмерном массиве, который объявить как глобальный, а потом к примеру этот массив в конце дня сбрасывается в БД.
Вариант, но я думаю что понадобится выделенный сервер для обработок таких данных и объемов.
Цитата
Вариант, но я думаю что понадобится выделенный сервер для обработок таких данных и объемов.
Угу, еще кластер зарядить для кнопки ТИЦ и PR
Никаких сервисов не требуется, просто зайдите в яндекс и гугл - там и PR и ТИЦ посмотреть можно.
Цитата
Михаил Сусанин пишет:
Угу, еще кластер зарядить для кнопки ТИЦ и PR
Никаких сервисов не требуется, просто зайдите в яндекс и гугл - там и PR и ТИЦ посмотреть можно.
Что правда? А я то думал... Вон оно как) Речь идет о своем таком сервисе. Вы если не поняли сути, то не надо тут острить! А на счет кластера и его заряжения вы сами то поняли что написали?
Изменено: Юрий Ушаков - 16 Марта 2014 20:35
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:19 Refmate — сервис для взаимного обмена ссылками 
13:06 Продвижение по ключам 
09:47 Adsense личный опыт 
13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
08:27 Ищу специалистов 
08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд 
14:43 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
14:18 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
13:41 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 
09:36 Profit-smm.ru - (просмотры даром)качественная раскрутка в Vk/Inst/Yt/Tg/Tiktok за наилучшую цену! 
04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
23:00 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
23:00 Trustpilot Reviews | Подниму рейтинг вашей компании 
13:03 Всего п онемногу 
12:45 Куплю проигрышные букмекерские аккаунты 
11:55 Union Pharm - топовая фарма-партнерка для профессионалов! 
17:09 Точные прогнозы на футбол 
10:00 Ну что, кто куда деваете свои сайты? 
16:22 Компьютерная мышь 
23:55 Добро пожаловать в цифровой мир...