Хранение данных и частое обращение к ним
Страницы: 1
Хранение данных и частое обращение к ним
Здравствуйте! Хочу услышать мнение профессионалов.

Суть вопроса:

Ищу оптимальное решение, для сервиса счетчиков тиц и пр сайтов.

Суть в том что мало того хранить их, эти данные будут браться для информеров которые установят на свои сайты пользователи, поэтому обращений будет много.Как и где лучше хранить данные тиц и пр сайта. Т.е конечно в текстовом файле вполне нормально, но вот проблема количества файлов в директории если их будет например 100к не вариант. В SQL тоже, можно кешировать результаты, но опять же. при изменении базы (добавление нового сайта в бд, изменение уже существующего и тд) обнуляет кеш бд.

Вот думаю может использовать NoSQL решения?

Жду ваше мнение.
Цитата
Юрий Ушаков пишет:
В SQL тоже, можно кешировать результаты, но опять же. при изменении базы (добавление нового сайта в бд, изменение уже существующего и тд) обнуляет кеш бд.
Ну так в чем сложность пусть обновляет кеш бд. не так уж и часто обновляются тИЦ и ПР. И добавление нового сайта, тоже не так часто, относительно запросов счетчиков всеми сайтами.

Можно например, вести статистику и выявлять сайты с большой посещаемостью и только для них делать текстовый файл, а остальным с малой посещаемостью выдавать из БД.
В действительности вы знаете предмет только в той степени, в которой можете научить других, с тем чтобы они его поняли и применили в своей жизни.
SQL с Partition отлично справится с задачей, конечно же понадобится дедик, но лучшего решения попусту нет.
Цитата
Андрей П-Студия пишет:
Ну так в чем сложность пусть обновляет кеш бд. не так уж и часто обновляются тИЦ и ПР. И добавление нового сайта, тоже не так часто, относительно запросов счетчиков всеми сайтами.
ПР и тИЦ обновляются не так часто, но суть то в том что сайты которые будут анализироваться и в свою очередь добавлять сайты в бд или изменять их, в следствии чего кеш бд будет уж очень часто обновятся.
Цитата
WSairus пишет:
SQL с Partition отлично справится с задачей, конечно же понадобится дедик, но лучшего решения попусту нет.
Выделенный сервер пока нет возможности взять.
Цитата
Андрей П-Студия пишет:
Можно например, вести статистику и выявлять сайты с большой посещаемостью и только для них делать текстовый файл, а остальным с малой посещаемостью выдавать из БД.
Интересная мысль, но ведь все на автомате, а тут нужно постоянно следить за сайтами которые будут использовать счетчики.
Цитата
Юрий Ушаков пишет:
Выделенный сервер пока нет возможности взять.     
В таком случае самый простой способ это создать 26+30+10 папок = два алфавита и десять цифр
И размещать текстовые файлы для сайтов по первому символу в названии.
Так хоть какой-то порядок будет

А уж когда наберете, к примеру 50 000 сайтов, то можно начать задумываться о переходе на выделенный сервер.
Цитата
Андрей П-Студия пишет:
В таком случае самый простой способ это создать 26+30+10 папок = два алфавита и десять цифр
И размещать текстовые файлы для сайтов по первому символу в названии.
Так хоть какой-то порядок будет
Согласен, способ в принципе не плох! Как из вариантов можно будет. Но все равно, пока ищу другие решения, если найду, отпишусь, может кому и пригодится.
Цитата
Юрий Ушаков пишет:
а тут нужно постоянно следить за сайтами которые будут использовать счетчики.
Считать количество обращений, установить порог, после которого инфа из базы переходит в файл.тхт

Каждое обращение сайта проверяет наличие своего файла в папке, если файла нет, то запрос делается из БД.
Цитата
Андрей П-Студия пишет:
Считать количество обращений, установить порог, после которого инфа из базы переходит в файл.тхт
Опять же, считать. А подсчет тоже нужно хранить, где? будет 100к сайтов, и для каждого считать:) Тогда уже свою метрику можно открывать xD
А

Цитата
Юрий Ушаков пишет:
Опять же, считать.
А если счет вести в двухмерном массиве, который объявить как глобальный, а потом к примеру этот массив в конце дня сбрасывается в БД.
Цитата
Андрей П-Студия пишет:
А если счет вести в двухмерном массиве, который объявить как глобальный, а потом к примеру этот массив в конце дня сбрасывается в БД.
Вариант, но я думаю что понадобится выделенный сервер для обработок таких данных и объемов.
Цитата
Вариант, но я думаю что понадобится выделенный сервер для обработок таких данных и объемов.
Угу, еще кластер зарядить для кнопки ТИЦ и PR
Никаких сервисов не требуется, просто зайдите в яндекс и гугл - там и PR и ТИЦ посмотреть можно.
Цитата
Михаил Сусанин пишет:
Угу, еще кластер зарядить для кнопки ТИЦ и PR
Никаких сервисов не требуется, просто зайдите в яндекс и гугл - там и PR и ТИЦ посмотреть можно.
Что правда? А я то думал... Вон оно как) Речь идет о своем таком сервисе. Вы если не поняли сути, то не надо тут острить! А на счет кластера и его заряжения вы сами то поняли что написали?
Изменено: Юрий Ушаков - 16 Марта 2014 20:35
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:13 Покупные ссылки 
15:12 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 
15:11 Стоит ли добавлять сайт в Rambler топ 100? 
15:10 Rotapost прикрыли! Чем пользоваться? 
15:01 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
07:24 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
12:05 DLE не создает бэкап с админки сайта, как быть? 
23:08 Bankomat001 - Сервис обмена электронных валют 
22:42 nexgen24.io - криптовалюта и фиат в одном месте 
19:58 продажа аккаунтов под яндекс сплит, вб 
15:08 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
13:34 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
13:04 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
09:03 Мониторинг обменников Сrypto-scout.io 
15:07 Добро пожаловать в цифровой мир... 
22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях​ 
10:10 накрутка трафика в SimilarWeb 
16:50 Компьютерная мышь 
11:32 Про мясо 
22:11 С юмором по жизни! 
23:03 Точные прогнозы на футбол