Как сократить расходы в четыре раза при работе с сырыми данными в Google BigQuery

7 июля 2022, 16:36 Habr.com

Всем привет! Меня зовут Павел Земсков, я занимаюсь аналитикой проектов VK. Сейчас я отвечаю за развитие группы продуктов для среднего и малого бизнеса внутри социальной сети ВКонтакте и на площадке Юлы.

Я расскажу о проверенном мной подходе к работе с запросами в базу данных, и о том, как это помогло сократить затраты на обращение к сырым данным в четыре раза. Статья будет полезна тем, кто записывает сырые данные по событиям пользователей в формате, близком к GA360 (GA360, OWOX, SegmentStream), и задумывается об оптимизации работы с данными и сокращении расходов на обработку запросов в Google BigQuery. Те, кто хранит данные в Clickhouse и начали задумываться об ускорении выполнения запросов, тоже могут использовать этот подход.

Устраивайтесь поудобнее!

Google в новостях

Google планирует размещать рекламу в ответах, генерируемых ИИ

В App Store и Google Play появилась игра The Seven Deadly Sins: IDLE от Netmarble

Google заплатила Apple $20 млрд, чтобы стать поисковой системой по умолчанию

Бен Аффлек переехал из дома, в котором жил с Дженнифер Лопес. Развлечение

Sea War: Raid 1.131.0

Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)

Glen Powell’s parents crash Texas movie screening to troll him

Estischool - Школа за британською програмою

В РМАТ ПРОШЕЛ I БИЗНЕС-ФОРУМ ВЫПУСКНИКОВ РМАТ 1999-2023 ГОДА ВЫПУСКА, ПОСВЯЩЕННЫЙ 55-ЛЕТНЕМУ ЮБИЛЕЮ АКАДЕМИИ

Как поделиться местоположением в WhatsApp: пошаговое руководство

В Пулково спрогнозировали трехкратный прирост пассажиропотока из Китая

Первый муниципальный фестиваль «Время выбрало нас!» прошло в Домодедово

Cadillac насмерть сбил пенсионерку в центре Москвы

Певица Анна Семенович рассказала, что перепутала простуду с пневмонией

Актрису Рамилю Искандер могут лишить свободы на 11 лет

Макарова разгромно проиграла 19-летней американке на старте квалификации «Ролан Гаррос»

Стефанос Циципас: «Взросление – это когда ты гуглишь, как что-то делается, но потом решаешь, что это не стоит твоих усилий»

Аксенов предложил отдавать террористов на суд родственников их жертв

Миронов связал смерть Раиси, покушения на Фицо и Вучича с их политикой

Малышева рассказала, какие обезболивающие принесут наименьший вред желудку

Начало военной экспансии США. Война с Мексикой

В Республике Марий Эл пройдет культурный проект «Классика: история и современность»

Новые вызовы и обеспечение технологического суверенитета квалифицированными кадрами обсудили в Москве

Новости тенниса

Российский теннисист Медведев опустится на строчку в рейтинге ATP

Путин попросил Володина передать теплые слова о Раиси на его похоронах

Что там в IT: ИИ-отрыв Google, ChatGPT почти человек, отечественный BIOS

Путин назвал президента Раиси надежным партнером России

«СВЯТОЙ ЛЕНИН» помогает В.В. Путину улучшить либо отменить налоги в обществе.

Россиян пригласили до 2 июня сдать накопившуюся мелочь в банки

Москву назвали лидером по производству мороженого в России

Если все-таки теракт, то кому была выгодна смерть президента Ирана Эбрахима Раиси?

Паралимпиец из Звенигорода примет участие в международных соревнованиях

Создание Сайтов. Создание веб сайта. Создание сайта html. Создание сайтов цена. Создание и продвижение сайтов. Создание сайта с нуля. Создание интернет сайта.

Как поделиться местоположением в WhatsApp: пошаговое руководство

Шапки женские вязаные на Wildberries, 2024 — новый цвет от 392 руб. (модель 466)

"Возрождение интереса к народному искусству и ремеслам в современном мире"

Арина Соболенко сняла траур по Кольцову и завела новые романтические отношения

Шнайдер вышла в финал турнира WTA-125 в Париже, обыграв Грачёву

Теннисиста Медведева выбили из топ-4 ATP

Потапова проиграла на старте турнира WTA-500 в Страсбурге

ТСД SAOTRON RT-T50: высокопроизводительный терминал сбора данных промышленного класса

Bluetooth-сканер штрих-кодов SAOTRON P04 на базе CMOS-матрицы

"Возрождение интереса к народному искусству и ремеслам в современном мире"

MONT расширил продуктовую линейку ИБ-решений при поддержке «Сайберпик»

Создание Сайтов. Создание веб сайта. Создание сайта html. Создание сайтов цена. Создание и продвижение сайтов. Создание сайта с нуля. Создание интернет сайта.

Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)

MK.RU: Певец Андрей Данилко удалил пост, посвященный смерти президента Ирана

Победительница «Холостяка» и бывшая Тимати Катя Сафарова появилась на Каннском фестивале

Впервые с февраля доллар опустился ниже 90 рублей

Чемпионат «Камень, ножницы, бумага» пройдет в рамках проекта «Лето в Москве»

VK Play: «Сейчас в России — примерно 200 игровых команд»

Полигон с опасными радиоактивными отходами раскопали в Подмосковье

Россия, Культура, Теат, Дети, ПДД: кукольным языком о дорожной безопасности детям показали в Ульгэре