Я бы написал приложение на Gecko или WebKit. Ну а с веб-вариантом никаких вопрос не возникает. Фреймворков куча, возьмите Django и для индексации используйте Xapian, а материал бы я распарсил в православную PostgreSQL (SQLite в случае десктоп).
Что касается поиска. Индекс строится заранее, далее, интерфейс поиска можно интегрировать в это самописное приложение или оставить в веб, как для веб-варианта. Правда с каждым годом я всё реже и реже что-то собираю под винду, лично по этому вопросу у меня возникли бы большие проблемы. Что касается линуха, то тут проблем не вижу. Но я абсолютно уверен, что реально сделать такое мультиплатформенное приложение.
..bw