Уведомления

Группа в Telegram: @pythonsu

#1 Май 23, 2012 17:23:20

MantisABC
Зарегистрирован: 2012-04-04
Сообщения: 19
Репутация: +  0  -
Профиль   Отправить e-mail  

индексация яндексом (django - mod wsgi - nginx )

вот ситуация: простенький сайт на 60 статей на Django, без БД ( все из template), на хостинге CentOS, на нем Nginx, на нем wsgi. Все страницы сайта нормально видны, ну кое-какие линки ведут в пустоту, но все 60 страниц все-таки нормально открываются, и даже нормально видны в яндекс-вебмастере (там есть штука - можно проверить по очереди каждый url ). Google все страницы проиндексировал нормально.
Яндекс упорно индексирует только три, про остальные говорит код 500, или код 404. Хотя они открываются хорошо ! Ну, думаю яндекс-бот слишком резво сканирует - поставил в robots.txt Crawl-delay: 3, не помогло. Опять же - перебирать что-ли до бесконечности Crawl-delay ?
Читал, что Nginx режет выдачу при большой нагрузке, но что у меня на 60 страничек большая нагрузка что-ли ? Яндекс-бот сразу ко всем 60-ти моим страницам обращается ? Не понимаю.

Дальше подумал, наверно надо как-то кешировать. Сделал ( не понимая и без опыта), самое простое -
только кеширование в памяти - по гл.15 Головатого/Каплан-Мосса - не помогло ( запустилось нормально - не ругалось ).

Больше не знаю и чего думать. Спасите !
а то ж без индекса яндекса ( каламбур !) мне жизнь не мила.

на всякий случай про кэш ( кстати - как я могу померять результаты ??? )

в settings.py написал вот это:

MIDDLEWARE_CLASSES = (
'django.middleware.cache.UpdateCacheMiddleware', # специально для кеширования и в этом порядке
'django.middleware.common.CommonMiddleware', # это было и до кеширования, и в примере про кеширование оно есть
'django.middleware.cache.FetchFromCacheMiddleware', # специально для кеширования и в этом порядке
.......

и вот это:

CACHES = {
'default': {
'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',
'LOCATION': 'unique-snowflake'
}
}

Отредактировано MantisABC (Май 24, 2012 17:03:26)

Офлайн

#2 Май 25, 2012 15:17:27

Lexander
От:
Зарегистрирован: 2008-09-19
Сообщения: 1139
Репутация: +  33  -
Профиль   Отправить e-mail  

индексация яндексом (django - mod wsgi - nginx )

А что в логах сервера?



Офлайн

#3 Май 25, 2012 17:07:55

MantisABC
Зарегистрирован: 2012-04-04
Сообщения: 19
Репутация: +  0  -
Профиль   Отправить e-mail  

индексация яндексом (django - mod wsgi - nginx )


в логах все то же коды 500 и 404. Правда одно но. Я подозреваю, что все-таки обращение к моему серверу как-то перехватывает сначала nginx. Писал провайдеру, они говорят - все нормально. А как я проверю, если действительно при одиночных заходах на страницу все нормально.

Офлайн

#4 Май 25, 2012 18:30:54

slav0nic
Команда
От: dp.ua
Зарегистрирован: 2006-05-07
Сообщения: 2267
Репутация: +  41  -
Профиль   Отправить e-mail  

индексация яндексом (django - mod wsgi - nginx )

MantisABC
на нем Nginx, на нем wsgi
через что запускается? fcgi? uwsgi?

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version