Advertise on podcast: BookClub DotNet

В третьем выпуске BookClub DotNet разбираем главу «Подсистемы хранения и извлечения данных» из Designing Data-Intensive Applications Мартина Клеппмана. Начинаем с историй о деградации баз: разросшихся таблицах, фрагментации и дорогих индексах. Затем обсуждаем нагрузки на запись и чтение, устройство аналитических хранилищ и поиск причины медленного SQL-запроса. Обсуждаем: Рост таблиц и индексов, лишние данные и очистку базы;Нагрузки write-heavy и read-heavy;Слои аналитических данных, CQRS и eventual consistency;Свежесть данных для аналитики и контроль скидок;Настройки СУБД и конфигураторы PostgreSQL;LSM-деревья, SSTables, B-деревья и write amplification;Метрики, EXPLAIN и индексы при разборе медленного запроса;GiST и PostGIS на примере работы с геоданными;Сравнение OLAP/OLTP, кейс Greenplum, партиционирование и селективность.Участники: Александр ГольдебаевМихаилГлеб ЦыгановАртём РыченковС какими неожиданными проблемами хранения и индексов сталкивались вы? Расскажите в комментариях Обсуждения, материалы и анонсы: https://t.me/ts_thoughts Слушать BookClub DotNet на площадках: Mave: https://bookclubdotnet.mave.digital/YouTube: https://www.youtube.com/show/VLPLHF2Yb-1Ap9w?sbp=Kgs2QnJSZ0tGQnR1UUABApple Podcasts: https://podcasts.apple.com/us/podcast/bookclub-dotnet/id6815002287Яндекс Музыка: https://music.yandex.ru/album/44101122Spotify: https://open.spotify.com/show/4GEWFjTDuL8uYrSIz8iR2QТаймкоды: 00:00 Вступление и участники 01:24 Деградация баз: таблицы, фрагментация и индексы 08:32 Нагрузки на запись и чтение 10:22 OLAP и слои аналитических данных 12:36 CQRS и eventual consistency 16:12 Зачем аналитикам свежие данные 23:41 Настройки баз и конфигураторы PostgreSQL 30:44 LSM-деревья, SSTables и B-деревья 33:26 Индексы на практике 37:36 Как разбирать медленный SQL-запрос 43:21 GiST, PostGIS и геоданные 46:04 Сравнение OLAP и OLTP 48:54 Кейс Greenplum и индексы 52:07 Партиционирование данных 53:07 Селективность и сканирование таблицы 56:05 Итоги, рекомендации и прощание

Разбираем вторую главу Designing Data-Intensive Applications Мартина Клеппмана — о моделях данных и языках запросов. Начинаем с историй из практики: рекурсивных SQL-запросов на сотни строк и аналитики, которую приходилось ждать часами. Обсуждаем: Как выбор модели данных влияет на код и почему привычная база не всегда подходит задаче;Чем отличаются реляционная, документная и графовая модели;Когда помогают колоночное хранение и нормализация, а когда важнее локальность данных;Что даёт гибкая схема и как договариваться о контракте между командами, работающими с одной базой;Почему доменная модель не всегда ложится на таблицы и зачем появляется ORM;Как устроены Property Graph и RDF;Чем декларативные языки запросов отличаются от императивного подхода и при чём тут Prolog. Участники: Александр ГольдебаевАндрей АлександровМихаилГлеб ЦыгановАртём Рыченков Приходилось ли вам менять модель данных, когда проект уже вырос? Расскажите в комментариях. Обсуждения, материалы и анонсы: https://t.me/ts_thoughts Слушать подкаст на всех площадках: Mave: https://bookclubdotnet.mave.digital/YouTube: https://www.youtube.com/show/VLPLHF2Yb-1Ap9w?sbp=Kgs2QnJSZ0tGQnR1UUABApple Podcasts: https://podcasts.apple.com/us/podcast/bookclub-dotnet/id6815002287Яндекс Музыка: https://music.yandex.ru/album/44101122Spotify: https://open.spotify.com/show/4GEWFjTDuL8uYrSIz8iR2Q Таймкоды: 00:00 Знакомимся: вторая глава DDIA 00:40 Истории из практики: когда база не подходит задаче 06:53 Как модель данных влияет на архитектуру и мышление 11:45 Реляционная модель и колоночное хранение 17:03 Нормализация, JOIN и строгая схема 22:19 Документная модель: где пригодилась MongoDB 25:28 Одна база на несколько команд: где живёт контракт 30:00 Гибкая схема, миграции и дублирование данных 35:27 Доменные модели, таблицы и ORM 42:45 Графовые модели, связи и социальный граф 48:02 Данные в рёбрах, Property Graph и RDF 51:45 Языки запросов: декларативный и императивный подходы 56:17 Prolog и непривычное декларативное программирование 58:22 Что дала вторая глава: впечатления и итоги

Разбираем первую главу Designing Data-Intensive Applications Мартина Клеппмана — о надёжности, масштабируемости и сопровождаемости приложений. Обсуждаем: Чем data-intensive приложения отличаются от compute-intensive;Почему нет универсальной БД для решения всех задач;Почему сбой компонента не всегда приводит к отказу системы и зачем нужен chaos engineering;Как описывать нагрузку, что показывают перцентили и чем отличаются SLI, SLO и SLA;Когда увеличивать мощность сервера, а когда распределять нагрузку между несколькими;Как простота, модульность и удобство эксплуатации помогают сопровождать и развивать систему;Почему при выборе архитектуры приходится идти на компромиссы.  Участники:  Александр Гольдебаев Андрей АлександровАртём Рыченков  Какие проблемы из главы встречались в ваших проектах? Расскажите в комментариях.  Обсуждения, материалы и анонсы: https://t.me/ts_thoughts  Слушать подкаст на всех площадках: Mave: https://bookclubdotnet.mave.digital/YouTube: https://www.youtube.com/show/VLPLHF2Yb-1Ap9w?sbp=Kgs2QnJSZ0tGQnR1UUABApple Podcasts: https://podcasts.apple.com/us/podcast/bookclub-dotnet/id6815002287Яндекс Музыка: https://music.yandex.ru/album/44101122Spotify: https://open.spotify.com/show/4GEWFjTDuL8uYrSIz8iR2Q

Начинаем третий сезон BookClub DotNet, посвящённый книге Мартина Клеппмана «Designing Data-Intensive Applications», той самой «книжке с кабанчиком».В нулевом выпуске знакомимся с участниками и рассказываем, зачем собрались читать книгу вместе. У каждого свой опыт и свои ожидания: понять внутреннее устройство баз данных, разобраться в архитектурных компромиссах, систематизировать знания или найти ответы на вопросы из практики. Обсуждаем: Как технические книги помогают разработчику и когда к ним стоит обращаться.Почему выбрали Клеппмана и чего ждём от совместного чтения.Какие темы будем разбирать в сезоне: данные, масштабирование, производительность и устройство систем.Кому будет полезно присоединиться к нашему книжному клубу. Участники выпуска: Александр ГольдебаевАндрей АлександровГлеб ЦыгановАртём РыченковМихаил Читайте вместе с нами и присоединяйтесь к обсуждению в комментариях! Анонсы новых выпусков, дополнительные материалы и заметки по темам книги в Telegram http://t.me/ts_thoughts