Skip to content

Instantly share code, notes, and snippets.

@alexey-milovidov
Last active October 22, 2020 04:35
Show Gist options
  • Save alexey-milovidov/b96569df04585a643ceea44db7e02cf2 to your computer and use it in GitHub Desktop.
Save alexey-milovidov/b96569df04585a643ceea44db7e02cf2 to your computer and use it in GitHub Desktop.
1. Wait-free каталог баз данных в ClickHouse.
Сделано.
2. Оптимизация выполнения GROUP BY, DISTINCT, а также LIMIT BY с учётом сортированности таблицы.
Сделано кроме LIMIT BY.
3. Поддержка использования в ClickHouse систем координации помимо ZooKeeper.
В прототипе, человек может быть захочет доделать.
4. Спекулятивное выполнение распределённых запросов в ClickHouse. Уменьшение количества потоков при распределённых запросах.
Отменено. Будет делать другой человек.
5. Полиморфные куски данных в таблицах типа MergeTree в ClickHouse.
Сделано.
6. Оптимизация сортировки в ClickHouse.
Сделано.
7. Структуры данных для вероятностной фильтрации по подзапросам в ClickHouse.
В прототипе.
8. Реализация алгоритмов min-hash, sim-hash для нечёткого поиска полудубликатов.
Сделано, в ревью.
9. Словари полигонов и geospatial структур.
Сделано.
10. GIS типы данных в ClickHouse
В прототипе, ревью.
11. Агрегатные функции для статистических тестов.
Сделано.
12. Поддержка новых форматов данных в ClickHouse.
Сделано.
13. Peephole оптимизации и алгебраические оптимизации запросов в ClickHouse.
Сделано.
14. Использование табличных constraints для оптимизации запросов в ClickHouse.
Отменено. Будет делать другой человек.
15. Fuzzing тестирование ClickHouse.
Сделана самодостаточная часть задачи.
16. Оптимизация ClickHouse под современный набор инструкций CPU.
Сделано.
17. Генерация искусственных данных для тестирования заданных запросов. Обфускация запросов для тестирования ClickHouse.
Сделано.
18. Развитие поддержки словарей в ClickHouse.
Сделана большинство пунктов.
19. Cache словари на SSD в ClickHouse.
Сделано.
20. Поддержка в ClickHouse импорта данных из RabbitMQ.
Сделано.
21. Модификаторы DISTINCT и ORDER BY для всех агрегатных функций.
Сделана половина задачи, доделывается нами.
22. Пережатие старых данных в фоне более сильным алгоритмом.
Почти не сделано. Сделали сами.
23. Поддержка экспериментальных алгоритмов сжатия в ClickHouse.
Отменено. Будет делать другой человек.
24. Реализация в ClickHouse кодеков для числовых данных.
Почти не сделано.
25. Шифрование данных в ClickHouse.
Отменено. Будет делать другой человек.
26. Userspace RAID в ClickHouse.
На начальной стадии, может быть человек будет доделывать.
27. Реплицируемые базы данных.
На начальной стадии, доделываем сами.
28. Реализация в ClickHouse протокола PostgreSQL.
Сделано.
29. ClickHouse как реплика MySQL.
Перенесено на осень. Сделано другими людьми.
30. Реализация в ClickHouse протокола HTTP/2 или GRPC.
В прототипе, мы будем доделывать.
31. User Defined Functions в ClickHouse.
В прототипе, человек хочет доделывать.
32. Преднастроенные соединения для внешних источников в ClickHouse. Преднастроенные обработчики для HTTP интерфейса.
Первая часть отменена, вторая сделана.
33. Улучшение кворумных вставок в ClickHouse.
Сделано.
34. Встроенный веб-интерфейс для мониторинга и профилирования кластера ClickHouse.
Перенос на следующий год.
35. Разработка альтернативы библиотеки readline для клиента командной строки ClickHouse.
Сделано, но в основном, нами.
36. Прототип GPU offloading в ClickHouse.
Сделано решение не имеющее практического смысла.
37. Виртуальная файловая система для ClickHouse.
В прототипе.
38. Сравнение производительности современных time-series СУБД.
Отложено на пол года.
39. Функции обработки временных рядов.
Отменено.
40. Вывод типов по блоку данных. Вывод формата данных по примеру.
Отменено. Будет делать другой человек.
41. Взаимная интеграция аллокатора и кэша.
Сделано на уровне прототипа, но он не готов для доработки.
42. Минимальная поддержка транзакций для множества вставок/чтений.
Недоделано, доделывать не получится. Будет делать другой человек.
43. Дэшборд для работы над pull requests.
Сделано.
44. Метрики производительности запросов на основе perf events.
Сделано.
45. Разработка сайта "Play.ClickHouse".
Основная часть задачи отложена на осень, но частично сделали сами.
46. Оптимизация параллельного GROUP BY с помощью flat combining.
В прототипе, отличные результаты - будем доделывать.
47. Реализация алгоритмов differential privacy в ClickHouse.
Сделано, в ревью. Закрыто из-за непрактичности.
48. Инфраструктура распределённой трассировки для ClickHouse.
В прототипе, доделываем.
49. Инфраструктура обучения моделей CatBoost в ClickHouse.
Отменено.
50. Реализация в ClickHouse типов данных для чисел с плавающей запятой с компактным представлением.
В прототипе. Закрыто из-за низкой востребованности.
51. Реализация в ClickHouse типов данных Decimal расширенной точности.
Сделано.
52. Интеграция в ClickHouse функциональности обработки HTTP User Agent.
В прототипе.
56. Интерфейс для просмотра и сравнения результатов тестов производительности.
В прототипе.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment