Вы бы почитали про solr и lucene для начала =)
Весьма разные с htdig звери. Из lucene-мира к htdig ближе будет даже nutch, а не solr.

solr будет скорее ближе к системе корп. документооборота, чем к интранету, ну или в качестве поискового движка для сайта с кучей структурированных документов (музыкальная библиотека, к примеру).