alexey-milovidov

:) SELECT toDateTime(intDiv(toUInt32(EventTime), 5) * 5) AS k, count(), uniq(UserID) FROM hits_layer WHERE CounterID = 29761725 AND EventDate = today() AND EventTime >= now() - 600 GROUP BY k ORDER BY k

SELECT 
    toDateTime(intDiv(toUInt32(EventTime), 5) * 5) AS k, 
    count(), 
    uniq(UserID)
FROM hits_layer
WHERE (CounterID = 29761725) AND (EventDate = today()) AND (EventTime >= (now() - 600))
GROUP BY k
ORDER BY k ASC

alexey-milovidov

:) CREATE TABLE test.nested (EventDate Date, UserID UInt64, Attrs Nested(Key String, Value String)) ENGINE = MergeTree(EventDate, UserID, 8192)

CREATE TABLE test.nested
(
    EventDate Date, 
    UserID UInt64, 
    Attrs Nested(
    Key String, 
    Value String)
) ENGINE = MergeTree(EventDate, UserID, 8192)

alexey-milovidov

SELECT 
    count(), 
    arrayStringConcat(arrayMap(x -> concat(demangle(addressToSymbol(x)), '\n    ', addressToLine(x)), trace), '\n') AS sym
FROM system.trace_log
WHERE (query_id = 'ebca3574-ad0a-400a-9cbc-dca382f5998c') AND (event_date = today())
GROUP BY trace
ORDER BY count() DESC
LIMIT 10

Row 1:

alexey-milovidov

Wait-free каталог баз данных в ClickHouse.

Done 🚀

Implementation of wait-free database catalog in ClickHouse.

Зарезервирована для Александра Токмакова.

Манипуляции с каталогом баз данных: запросы CREATE TABLE, DROP TABLE, RENAME TABLE и DATABASE, требуют синхронизации с помощью блокировок. Эта синхронизация становится весьма сложной, так как на неё полагается много внутренних структур данных.

alexey-milovidov

Дополнительные индексные структуры для пропуска блоков данных в таблицах.

Secondary index structures for data skipping in ClickHouse DBMS.

Done 🚀

• Эту задачу взял Никита Васильев

В большинстве СУБД есть возможность создавать вторичные индексы. Вторичный индекс обычно представляет собой дерево, которое позволяет найти расположение записей по некоторому ключу. Но в аналитических СУБД вторичные индексы редко применяются в чистом виде.

Причина состоит в том, что для одного запроса требуется, как правило, прочитать большое количество записей - в этом случае мы могли бы найти эти записи по индексу, но прочитать их с диска было бы всё-равно сложно: если данные не расположены более-менее локально, то для их чтения пришлось бы делать много дисковых seek-ов и разжимать много сжатых блоков. Поэтому в ClickHouse (и в других похожих системах) есть только один индекс, по которому данные более-менее упорядочиваются (clustered index), что обеспечивает возможность эффективно читать диапазоны по этому ключу.

alexey-milovidov

```
2022.08.24 14:08:36.908985 [ 2805621 ] {} <Error> ZooKeeperClient: Code: 999. Coordination::Exception: Operation timeout (no response) for request Create for path: /clickhouse/tables/7af94bd6-f5de-4f7f-bb31-c2bc6af692d3/1/part_moves_shard (Operation timeout). (KEEPER_EXCEPTION), Stack trace (when copying this message, always include the lines below):

0. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int, bool) @ 0xa360bfa in /usr/bin/clickhouse
1. Coordination::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, Coordination::Error, int) @ 0x168f8af5 in /usr/bin/clickhouse
2. Coordination::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, Coordination::Error) @ 0x168f8e47 in /usr/bin/clickhouse
3. Coordination::ZooKeeper::receiveThread() @ 0x1694bbd5 in /usr/bin/clickhouse
4. void std::__1::__function::__pol

alexey-milovidov

(сделали) Подсказки в фабриках на основе edit distance.

Всевозможные объекты: функции, агрегатные функции, типы данных, движки таблиц, и т. п. достаются по имени из фабрик. Часто пользователь допускает опечатку. Например, вместо SELECT count(*) может быть написано SELECT cunt(*). В случае опечатки, необходимо в текст сообщения добавлять указание на ближайшие варианты. Для реализации можно использовать расстояние Левенштейна и полный перебор, или (лучше) - триграмный индекс. Подсказки выдаём, если указанное имя отличается от существующего на 1..2 буквы. Сортируем возможные варианты в порядке похожести. Для того, чтобы это работало во всех фабриках, может быть, потребуется обобщить их.

(сделали) Функции для geoHash.

Geohash - способ преобразования географических координат в строку, так что отображение обладает свойством локальности. https://en.wikipedia.org/wiki/Geohash В качестве библиотеки следует использовать эту: https://github.com/yinqiwen/geohash-int Необходимо добавить функции для перевода в

alexey-milovidov

ip-172-31-22-38.eu-central-1.compute.internal :) SET max_memory_usage = '100G', max_insert_threads = 72, max_threads = 72

SET max_memory_usage = '100G', max_insert_threads = 72, max_threads = 72

Query id: 09aa6c85-71fa-44e1-a830-f51ba512b2ee

Ok.

0 rows in set. Elapsed: 0.001 sec. 

alexey-milovidov

:) SELECT toMonday(EventDate) AS k, count(), uniq(UserID) FROM hits_layer WHERE CounterID = 29761725 AND EventDate >= '2016-05-01' GROUP BY k ORDER BY k

SELECT 
    toMonday(EventDate) AS k, 
    count(), 
    uniq(UserID)
FROM hits_layer
WHERE (CounterID = 29761725) AND (EventDate >= '2016-05-01')
GROUP BY k
ORDER BY k ASC

alexey-milovidov

SELECT
    CAST(time, 'Date') AS d,
    sum(hits) AS c,
    bar(c, 0, 10000000, 100)
FROM wikistat
WHERE path = 'Donald_Trump'
GROUP BY d
ORDER BY d ASC

Query id: 29b2a97b-acbb-4922-b6ab-73775eabd169