Python-сообщество

Есть приложение будет обрабатывать много строк, хотелось бы в памяти все хранить для быстрой работы, ну гигов 10 пусть займет все это в ОЗУ, что лучше использовать?
Тоесть надо какой-то список, чтобы не допускал попадания дублей, обычный set подойдет строки 30-40 латиница.

Вы сами пробовали список, множества ? есть результаты? Или вы предполагаете что где то есть некое готовое решение? В таком случае вам бы условия лучше озвучить

Redis?