Elasticsearch или Sphinx — поисковые системы для реализации быстрого поиска и фильтрации на сайтах
Sphinx и Elasticsearch — это поисковые «движки», которые обеспечивают более быстрый поиск и фильтрацию по сравнению с реляционными базами данных.
Поисковые системы не только работают быстрее, но также обеспечивают возможность использования многих полезных функций поиска: учитывают морфологию языка, осуществляют фасеточный поиск, работают со стоп‑словами, поддерживают выборочную индексацию и позволяют настроить формулу определения релевантности документов.
Sphinx — система полнотекстового поиска, обладающая очень высокой скоростью индексации и поиска, отлично интегрированная с MySQL и PostgreSQL, имеющая API для распространённых языков веб‑программирования (PHP, Python, Java, Perl, Ruby и C++). Sphinx написан на C++ и свободно распространяется по лицензии GNU GPL. Sphinx используется на Хабрахабре, в проекте Викимапия, в Craigslist, в vBulletin и поддерживается системой управления сайтами 1С-Битрикс.
Elasticsearch — поисковая система, построенная на базе библиотеки Lucene. Обеспечивает распределённую работу с данными, предоставляет RESTful интерфейс и позволяет хранить JSON‑документы без заранее определяемой структуры (т. н. schemaless). Наиболее часто используется именно в качестве поисковой системы, но возможно и его применение в роли персистентного NoSQL‑хранилища. Имеется API для работы с распространёнными языками программирования. Сам Elasticsearch написан на Java и распространяется свободно на условиях Apache License. Используется в Wikimedia, Mozilla, Foursquare, Etsy, SoundCloud и GitHub.
Использование Sphinx и Elasticsearch повышает скорость и качество поиска по большим объёмам информации, а также предоставляет пользователям полезные для работы с данными инструменты.
Тематические статьи
СУБД очень часто становится «узким местом» в производительности веб‑приложений. В момент, когда сервер баз данных не может справиться с нагрузками, производится масштабирование. В современных высоконагруженных системах эффективное управление данными невозможно без использования методов масштабирования и обеспечения отказоустойчивости. Репликация, партиционирование и шардирование — ключевые подходы, которые позволяют распределять данные, повышать производительность и гарантировать доступность. Разберём каждый из них подробно.
Memcached — это хранилище «ключ => значение», использование которого очень эффективно для ускорения работы сайта или веб‑приложения.
Redis — сетевое журналируемое хранилище данных типа «ключ — значение», которое обрабатывает данные в оперативной памяти и обладает механизмами снимков и журналирования для обеспечения постоянного хранения. Хранилище поддерживает строки, списки, хеши, обычные и сортируемые множества, потоки (streams) и другие типы данных.
Базы данных служат для хранения и обработки данных. Бывают реляционные (SQL) и нереляционные (NoSQL) системы управления базами данных. Реляционные системы управления базами данных (SQL) хранят данные в таблицах и наиболее часто используются в качестве основного хранилища для веб‑приложений. Они очень стабильны, и их надёжность проверена временем. Нереляционные СУБД (NoSQL) заметно отличаются по структуре хранения данных и работе с ними. Для специфических типов данных и задач они зачастую быстрее и удобнее классических SQL СУБД, но обычно это преимущество достигается за счёт снижения надёжности хранения.
MongoDB — это NoSQL‑хранилище данных, крайне удобное для хранения информации, которая не может быть нормально структурирована в рамках реляционных баз данных. MongoDB — это СУБД с открытым исходным кодом по лицензии SSPL, не требующая описания схемы таблиц. Документы в MongoDB хранятся в JSON или BSON, с такой моделью проще кодировать и управлять, а внутренняя группировка релевантных данных обеспечивает дополнительный выигрыш в быстродействии.
MySQL — это реляционная система управления базами данных с открытым исходным кодом. В настоящее время эта СУБД одна из наиболее популярных в веб‑приложениях — подавляющее большинство CMS использует именно MySQL (часто только её, без альтернатив), а почти все веб‑фреймворки поддерживают MySQL уже на уровне базовой конфигурации (без дополнительных модулей).
MariaDB — ответвление реляционной СУБД MySQL, разрабатываемое сообществом под лицензией GPL. MariaDB совместима с большинством приложений, использующих MySQL, а переход на эту СУБД оправдан тем, что MySQL уже не так активно развивается.
PostgreSQL — это популярная объектно-реляционная система управления базами данных. PostgreSQL базируется на языке SQL, отличается высокой надёжностью и имеет широкие возможности. В PostgreSQL нет ограничений на максимальный размер базы данных, количество записей и индексов в таблицах. В СУБД встроены мощные и надёжные механизмы транзакций, есть возможности для репликации, шардинга и партиционирования. СУБД отличает лёгкая расширяемость и возможность тонкой настройки.
SQL‑инъекции — это один из распространённых способов взлома сайтов и веб‑приложений, работающих с реляционными базами данных. SQL‑инъекции основаны на внедрении в выполняемый приложением запрос к базе данных произвольного SQL‑кода, переданного злоумышленником. Последствиями SQL‑инъекций могут стать кража, модификация или удаление данных, а также полный взлом атакуемой системы — например, получение привилегированного доступа.