Data Analysis / Big Data

Public

Просмотреть канал

158

42.3K

3.2K

Не можете присоединиться? @big_data_analysis

2.7k Участники

Обновлено: May 17, 2026 at 6:45 AM

Data Analysis / Big Data

Лучшие посты по анализу данных и работе с Big Data на русском и английском языке Разместить рекламу: @tproger_sales_bot Правила общения: https://tprg.ru/rules Другие каналы: @tproger_channels

@big_data_analysis offers specialized information about tproger_sales_bot and data for subscribers interested in PUBG

Рейтинг

Глобальный рейтинг

#456

Рейтинг по языку

#45

Рейтинг по категории

#23

-1

Рост участников (Последние 6 дней)

Всего: 2.7K

Рост за 24ч: +0 0%

Последние посты

Data Analysis / Big Data

20 мая 2026 г., 13:50

📷 Photo

Победителями https://tprg.ru/5aYo 🐀становятся...

Здесь играет барабанная дробь и интригующая музыка... Вам нужно только выждать драматическую паузу перед объявлением победителей — в каждой номинации он один, и определяется большинством голосов. Готовы?

В номинации «Продукт года» золотая мышь достается компании:
🐀NetVision за https://tprg.ru/u2qx.

В номинации «Облачный продукт года» побеждает компания:
🐀Гравитон https://tprg.ru/TN3h

Звание «IT-ивент года» вручается компании:
🐀Островок! за https://tprg.ru/gxcK

И в категории «Дизайн года» первое место занимает компания:
🐀AcademiaDev за https://tprg.ru/70rB.

Каждый ваш лайк, голос влияли на исход премии. Давайте поддержим всех — ставьте 🏆участникам, которые хоть и не заняли призового места, но точно остались в сердечке.
И 🔥, если хотите аналогичных активностей и готовы выбирать еще!

619

Data Analysis / Big Data

20 мая 2026 г., 13:50

📷 Photo

Как структура данных диктует стиль кода в SQL и pandas

В аналитике часто кажется, что выбор между оконной функцией и GROUP BY — дело случая. Но исследование решений реальных задач показывает чёткую закономерность: тип данных предопределяет преобладающие конструкции.

Временные ряды и задачи типа «самый высокий результат за день» почти всегда приводят к оконным функциям (RANK, LAG). Когда метрика собирается из нескольких таблиц (факты и измерения) — доминируют JOIN + GROUP BY. Задачи на исключения («кто никогда не совершал действие») — это анти-джойны (NOT EXISTS или ~isin). В pandas аналогично: .merge() появляется там, где нужно скомбинировать данные, а .groupby() — на следующем шаге.

Понимание этих паттернов позволяет не гадать, а сразу выбирать нужный инструмент, ускоряя написание и отладку кода. Подробности в статье: https://www.kdnuggets.com/visualizing-patterns-in-solutions-how-data-structure-affects-coding-style

1,320

Data Analysis / Big Data

20 мая 2026 г., 13:50

📷 Photo

Победителями https://tprg.ru/5aYo 🐀становятся...

Здесь играет барабанная дробь и интригующая музыка... Вам нужно только выждать драматическую паузу перед объявлением победителей — в каждой номинации он один, и определяется большинством голосов. Готовы?

В номинации «Продукт года» золотая мышь достается компании:
🐀NetVision за https://tprg.ru/u2qx.

В номинации «Облачный продукт года» побеждает компания:
🐀Гравитон https://tprg.ru/TN3h

Звание «IT-ивент года» вручается компании:
🐀Островок! за https://tprg.ru/gxcK

И в категории «Дизайн года» первое место занимает компания:
🐀AcademiaDev за https://tprg.ru/70rB.

Каждый ваш лайк, голос влияли на исход премии. Давайте поддержим всех — ставьте 🏆участникам, которые хоть и не заняли призового места, но точно остались в сердечке.
И 🔥, если хотите аналогичных активностей и готовы выбирать еще!

460

Data Analysis / Big Data

20 мая 2026 г., 13:50

📷 Photo

⚪️ Артефакт №2. Категория «Дизайн» ⚪️

Дашборд — это скучно до того момента, пока к его визуализации не подключат гигантский экран.

https://tprg.ru/70rB о команде, которая превратила обычную статистику посещения фестиваля в генеративное шоу. Их задача звучала как вызов: сделать так, чтобы было невозможно оторвать глаз от дашбордов.

Так они создали интерактивную инсталляцию, где посетители, сами того не зная, становились частью цифрового арт-объекта.

🤩 Что скрывает https://tprg.ru/70rB? 🤩
🤩 Способ связки 40 потоков с YOLO v8, PostgreSQL и движок визуализации без лагов в один конвейер.
🤩 Задачу дедубликации тысяч JSON-записей от нейросетей.
🤩 Борьбу с «сырыми» данными от камер и их преобразование в чистую структуру для базы и красивого рендера.

Следующий артефакт представит категорию «Виртуализация». Не пропустите.

1,080

Data Analysis / Big Data

20 мая 2026 г., 13:50

🎥 Video

Ну и еще немного про ИИ! 😁

Одни компании недолюбливают нейросети за риск утечки конфиденциальной информации. Судя по комменту к предыдущему посту вы тоже от него устали 🤪 Но каким-то образом у разных компаний получается приручить эту химеру и выуживать из нее пользу.

Как, например, https://tprg.ru/4rNq. Команда хотела облегчить работу коллег и создала то, что стало ключом к корпоративному ИИ. Они хотели доступ к мощным нейросетям, но так, чтобы ни байта данных не вышло за порог компании. И чтобы запускал это не только технарь, но и обычный менеджер.

Главный стоппер был предсказуем: как заставить прожорливые модели стабильно работать в облаке под нагрузкой? https://tprg.ru/4rNq.

Это девятый артефакт — для тех, кто побаивается нейросетей, но явно на них облизывается. Покажите вашему начальнику, скажите, что все не так страшно 👻

852

Data Analysis / Big Data

20 мая 2026 г., 13:50

Сравнительный обзор механизмов polling в Kafka и Pub/Sub в RabbitMQ: особенности и области применения

Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ.

Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали!

https://habr.com/ru/articles/972788/. Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.

Читать: https://habr.com/ru/articles/989590/

#ru

@big_data_analysis | Другие наши каналы

536

Data Analysis / Big Data

20 мая 2026 г., 13:50

📷 Photo

🔄 Артефакт №1. Категория: «Город» 🔄

От кого только не прилетает самокатчикам. Иногда за дело, иногда нет. Не нам судить, но мы обсудим, что делать, например, с явными нарушителями? Как их контролировать, если операторы кикшеринга не пускают в свои данные? Закрывать глаза на хаос на тротуарах или тотально запрещать?

Мы получили https://tprg.ru/u2qx, где за 4 месяца команда из 7 человек создала платформу мониторинга, которая фиксирует самокатовские нарушения. Их задачей было сделать инструмент для структурирования данных, чтобы чиновники и операторы нашли общий язык.

🤩 Что скрывает https://tprg.ru/u2qx? 🤩
🤩 Смекалистый метод охоты за данными, когда реальные видео с камер недоступны.
🤩 Принципы, которые помогли сделать мониторинг более объективным.
🤩 Гибридный R&D: тактика, которая помогла запустить MVP за четыре месяца, вместо шести.

Планируем поделиться с вами целой пачкой интересных артефактов. Ставьте 👀, если любопытно узнать их все.

618

Data Analysis / Big Data

20 мая 2026 г., 13:50

Язык Julia: что это и почему он популярен в научных вычислениях

Что такое язык Julia. Показываем сравнение языка Джулия с другими. Рассматриваем преимущества и основные нюансы ✔ Tproger

Читать: « https://tproger.ru/articles/yazyk-julia--chto-eto-i-pochemu-on-populyaren-v-nauchnyh-vychisleniyah»

#ru

@big_data_analysis | Другие наши каналы

332

Data Analysis / Big Data

20 мая 2026 г., 13:50

10 библиотек Python, которые меняют карьеру

10 библиотек Python, которые помогут прокачаться в аналитике, ML и разработке. Как они работают и почему меняют карьеру.

Читать: « https://tproger.ru/articles/10-bibliotek-python--kotorye-menyayut-kareru»

#ru

@big_data_analysis | Другие наши каналы

350

Data Analysis / Big Data

20 мая 2026 г., 13:50

Устраиваем свой Data QA с PyTest и фикстурами

Рабочий подход к тестированию трансформации данных в ETL-процессах. На примере Python-проекта с pytest, allure и psycopg2 демонстрируется, как автоматизировать создание и наполнение таблиц, хранить схемы и данные, а затем сравнивать результат.

Читать: « https://tproger.ru/articles/kak-testirovat-perenos-i-transformaciyu-dannyh-bez-boli»

#ru

@big_data_analysis | Другие наши каналы

446

Data Analysis / Big Data

5 мая 2026 г., 17:55

📷 Photo

Чем занимается аналитик данных — открытый урок по Python и SQL

Приглашаем вас на открытый онлайн-урок Нового технологического университета, где вы увидите, как аналитики работают с данными в реальных задачах.

На занятии вы:

➡️ поймете, кто такой аналитик данных и чем он занимается
➡️ выполните две практические задачи на Python и SQL, даже если ни разу этого не делали
➡️ разберетесь, стоит ли идти в профессию сейчас, и что будет с рынком IT через 1-3-5 лет
➡️ поймете, как стать аналитиком данных в 2026, даже если вы еще учитесь в ВУЗе

Урок подойдет, даже если у вас нет опыта в программировании или аналитике.

Спикер — Ева Панкратова, руководитель продуктовой аналитики в М2, ex-Райффайзенбанк.

Занятие пройдет онлайн, участие бесплатное. Сразу после регистрации вы получите бонус: сборник идей для портфолио.

→ Регистрируйтесь: https://tglink.io/4c21332a99f8a5?erid=2W5zFGDXzhX

Это #партнёрский пост

1,300

Data Analysis / Big Data

19 апр. 2026 г., 01:15

Как UPS сэкономила $400 млн в год на левых поворотах и системной интеграции

Американская логистическая компания UPS внедрила систему оптимизации маршрутов ORION (On-Road Integrated Optimization and Navigation). Результат: минус 140 млн км пробега в год и ежегодная экономия $300–400 млн на топливе.

Этот кейс приводят как чистый триумф дата-саентистов, разработавших математическую модель. Но главная проблема проекта, разработка которого заняла почти 10 лет, заключалась во внедрении. Чтобы алгоритм заработал на 55 000 грузовиков, потребовалась масштабная работа системных аналитиков.

Что было сделано на уровне системного анализа:
➡️ Спроектирована сложная интеграция: ORION необходимо было связать с легаси-инфраструктурой (системой Package Flow Technology), телематикой самих автомобилей и мобильными терминалами водителей (DIAD).
➡️ Оцифрованы нетривиальные бизнес-ограничения: алгоритм должен был учитывать жесткие окна доставки, приоритеты грузов и знаменитое правило UPS «избегать левых поворотов» — это снижает время простоя на перекрестках и риск ДТП.
➡️ Спроектирован UX/UI и логика работы: система должна динамически перестраивать маршрут при новых вводных, но оставаться понятной и предсказуемой для водителя. Без грамотной трансляции процессов в интерфейс водители просто саботировали бы «непонятный» алгоритм.

Именно системный аналитик связывает алгоритмы, железо, распределенные базы данных и реальные бизнес-процессы в работающий продукт.

Если вы хотите решать задачи такого уровня, проектировать архитектуру и интеграции высоконагруженных систем, обратите внимание на курс https://tprg.ru/qMbA от Яндекс Практикума PRO. За 4 месяца вы углубитесь в работу с брокерами сообщений, проектирование API и продвинутое моделирование, чтобы выйти на уровень уверенного middle+.

Подробности по ссылке: https://tprg.ru/qMbA

Реклама. Рекламодатель: АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033, erid: 2W5zFHVZL81

Showing 12 of 12 posts

No more posts

Рейтинг

Требуется вход

Отзывы пользователей (0)

Пока нет отзывов. Будьте первым, кто поделится своим опытом!

Data Analysis / Big Data

Data Analysis / Big Data

Рейтинг

Рост участников (Последние 6 дней)

Последние посты

Рейтинг

Отзывы пользователей (0)

Похожие каналы Telegram

DENZELLOFFICIAL

ПРОВИНЦИАРЬ

Дмитрий Гусев.

Калужское РО ВСКС

IPROGNOZ

SEMPER IRATUS

запуск завтра

centrlx

Похожие каналы Telegram

DENZELLOFFICIAL

ПРОВИНЦИАРЬ

Дмитрий Гусев.

Калужское РО ВСКС

IPROGNOZ

SEMPER IRATUS

запуск завтра

centrlx

Отзывы пользователей (0)

Последние посты