Хранение данных и частое обращение к ним
Страницы: 1
Хранение данных и частое обращение к ним
Здравствуйте! Хочу услышать мнение профессионалов.

Суть вопроса:

Ищу оптимальное решение, для сервиса счетчиков тиц и пр сайтов.

Суть в том что мало того хранить их, эти данные будут браться для информеров которые установят на свои сайты пользователи, поэтому обращений будет много.Как и где лучше хранить данные тиц и пр сайта. Т.е конечно в текстовом файле вполне нормально, но вот проблема количества файлов в директории если их будет например 100к не вариант. В SQL тоже, можно кешировать результаты, но опять же. при изменении базы (добавление нового сайта в бд, изменение уже существующего и тд) обнуляет кеш бд.

Вот думаю может использовать NoSQL решения?

Жду ваше мнение.
Цитата
Юрий Ушаков пишет:
В SQL тоже, можно кешировать результаты, но опять же. при изменении базы (добавление нового сайта в бд, изменение уже существующего и тд) обнуляет кеш бд.
Ну так в чем сложность пусть обновляет кеш бд. не так уж и часто обновляются тИЦ и ПР. И добавление нового сайта, тоже не так часто, относительно запросов счетчиков всеми сайтами.

Можно например, вести статистику и выявлять сайты с большой посещаемостью и только для них делать текстовый файл, а остальным с малой посещаемостью выдавать из БД.
В действительности вы знаете предмет только в той степени, в которой можете научить других, с тем чтобы они его поняли и применили в своей жизни.
SQL с Partition отлично справится с задачей, конечно же понадобится дедик, но лучшего решения попусту нет.
Цитата
Андрей П-Студия пишет:
Ну так в чем сложность пусть обновляет кеш бд. не так уж и часто обновляются тИЦ и ПР. И добавление нового сайта, тоже не так часто, относительно запросов счетчиков всеми сайтами.
ПР и тИЦ обновляются не так часто, но суть то в том что сайты которые будут анализироваться и в свою очередь добавлять сайты в бд или изменять их, в следствии чего кеш бд будет уж очень часто обновятся.
Цитата
WSairus пишет:
SQL с Partition отлично справится с задачей, конечно же понадобится дедик, но лучшего решения попусту нет.
Выделенный сервер пока нет возможности взять.
Цитата
Андрей П-Студия пишет:
Можно например, вести статистику и выявлять сайты с большой посещаемостью и только для них делать текстовый файл, а остальным с малой посещаемостью выдавать из БД.
Интересная мысль, но ведь все на автомате, а тут нужно постоянно следить за сайтами которые будут использовать счетчики.
Цитата
Юрий Ушаков пишет:
Выделенный сервер пока нет возможности взять.     
В таком случае самый простой способ это создать 26+30+10 папок = два алфавита и десять цифр
И размещать текстовые файлы для сайтов по первому символу в названии.
Так хоть какой-то порядок будет

А уж когда наберете, к примеру 50 000 сайтов, то можно начать задумываться о переходе на выделенный сервер.
Цитата
Андрей П-Студия пишет:
В таком случае самый простой способ это создать 26+30+10 папок = два алфавита и десять цифр
И размещать текстовые файлы для сайтов по первому символу в названии.
Так хоть какой-то порядок будет
Согласен, способ в принципе не плох! Как из вариантов можно будет. Но все равно, пока ищу другие решения, если найду, отпишусь, может кому и пригодится.
Цитата
Юрий Ушаков пишет:
а тут нужно постоянно следить за сайтами которые будут использовать счетчики.
Считать количество обращений, установить порог, после которого инфа из базы переходит в файл.тхт

Каждое обращение сайта проверяет наличие своего файла в папке, если файла нет, то запрос делается из БД.
Цитата
Андрей П-Студия пишет:
Считать количество обращений, установить порог, после которого инфа из базы переходит в файл.тхт
Опять же, считать. А подсчет тоже нужно хранить, где? будет 100к сайтов, и для каждого считать:) Тогда уже свою метрику можно открывать xD
А

Цитата
Юрий Ушаков пишет:
Опять же, считать.
А если счет вести в двухмерном массиве, который объявить как глобальный, а потом к примеру этот массив в конце дня сбрасывается в БД.
Цитата
Андрей П-Студия пишет:
А если счет вести в двухмерном массиве, который объявить как глобальный, а потом к примеру этот массив в конце дня сбрасывается в БД.
Вариант, но я думаю что понадобится выделенный сервер для обработок таких данных и объемов.
Цитата
Вариант, но я думаю что понадобится выделенный сервер для обработок таких данных и объемов.
Угу, еще кластер зарядить для кнопки ТИЦ и PR
Никаких сервисов не требуется, просто зайдите в яндекс и гугл - там и PR и ТИЦ посмотреть можно.
Цитата
Михаил Сусанин пишет:
Угу, еще кластер зарядить для кнопки ТИЦ и PR
Никаких сервисов не требуется, просто зайдите в яндекс и гугл - там и PR и ТИЦ посмотреть можно.
Что правда? А я то думал... Вон оно как) Речь идет о своем таком сервисе. Вы если не поняли сути, то не надо тут острить! А на счет кластера и его заряжения вы сами то поняли что написали?
Изменено: Юрий Ушаков - 16 Марта 2014 20:35
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:54 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
14:50 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
17:01 Absence в Армении 
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 
14:50 Какую выбрать тему/нишу для сайта? 
04:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
18:46 Аккаунты Avito (юр.лица) 
18:09 Купим вечные ссылки (+статья) на наш проект 
16:29 AllCharge.online. Современный, быстрый и надёжный обменник 
15:36 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
14:45 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
14:25 ✅ XMart — Безопасный маркетплейс аккаунтов Google, Hotmail, Outlook, GMX, Yandex и других 
19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
22:08 Накрутка поисковых подсказок 
05:04 Точные прогнозы на футбол 
14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
12:23 150+ хакерских поисковых систем и инструментов 
17:41 Стряхнуть обыденность - об Агасфере