WEBVTT

00:00:08.188 --> 00:00:09.747
Здравствуйте, уважаемые студенты.

00:00:09.987 --> 00:00:13.744
Вашему вниманию предлагается лекция по
дисциплине использования больших данных в

00:00:13.824 --> 00:00:15.223
информационных системах.

00:00:15.663 --> 00:00:18.980
Тема лекции — введение в методы и
технологии больших данных.

00:00:19.100 --> 00:00:22.977
Лекция первая. Лекцию ведёт кандидат
технических наук, доцент

00:00:23.938 --> 00:00:28.613
Кафедры информатики, математики и
естественно-научных дисциплин Черничук

00:00:28.693 --> 00:00:31.250
Игорь Владимирович.

00:00:31.370 --> 00:00:38.323
План лекции: введение больших данных,
предобработка данных, работа с пропусками,

00:00:38.522 --> 00:00:39.681
поиск дубликатов.

00:00:40.273 --> 00:00:44.394
Категоризация данных, исследовательский
анализ данных, базовая проверка данных,

00:00:44.474 --> 00:00:49.075
срезы данных, работа с несколькими
источниками данных, взаимосвязь данных,

00:00:49.475 --> 00:00:54.716
волидация результатов и если останется
время, несколько слов о статистическом

00:00:54.796 --> 00:00:55.516
анализе данных.

00:00:59.437 --> 00:01:03.836
Анализ данных в современном мире чем-то
напоминает добычу золота во времена

00:01:03.916 --> 00:01:07.516
золотой лихорадки. Данных очень много, и
на первый взгляд их трудно

00:01:07.556 --> 00:01:10.275
структурировать, и тем более извлечь из
них что-то полезное.

00:01:10.715 --> 00:01:14.115
Благодаря развитию вычислительной техники
есть возможность структурировать,

00:01:14.155 --> 00:01:18.674
исследовать данные, находить неожиданные
зависимости в них и извлекать новые

00:01:18.714 --> 00:01:19.794
знания. Четко оп

00:01:20.763 --> 00:01:24.681
Определения того, какие данные считать
большими, какие нет, не существует.

00:01:24.761 --> 00:01:28.718
То есть нет какого-либо предела объёма,
после которого обычные данные превращаются

00:01:28.838 --> 00:01:34.795
в большие. Но обычно речь идёт как минимум
о сотнях ГБ и сотнях тысяч строк в базе

00:01:34.875 --> 00:01:39.273
данных. Ещё больше данных, как правило,
регулярно пополняются, обновляются,

00:01:39.313 --> 00:01:42.591
изменяются, то есть их не только хранят,
но и активно собирают.

00:01:44.061 --> 00:01:49.421
Собранные в хранилище — не просто набор
информации, который не способен принести

00:01:49.581 --> 00:01:53.701
никакой пользы. Чтобы польза была,
необходим анализ больших данных, их

00:01:53.741 --> 00:01:57.381
структурирование, обработка по специальным
алгоритмам с целью сделать определённые

00:01:57.461 --> 00:02:01.021
выводы. Данные исследуют четыре стадии:
полученные данные

00:02:01.662 --> 00:02:07.219
Получение данных и ознакомление с ними,
предобработка данных, собственно, анализ

00:02:07.339 --> 00:02:10.978
данных и оформление результатов
исследования.

00:02:11.978 --> 00:02:16.416
Значит, ссылка. Уильям Дёминг, как видите,
американский учёный, статистик,

00:02:16.416 --> 00:02:17.815
консультант по менеджменту.

00:02:20.484 --> 00:02:26.288
Большие данные от английского Big Date —
обозначение структурированных и

00:02:26.328 --> 00:02:31.371
неструктурированных данных огромных
объёмов и значительного многообразия,

00:02:31.411 --> 00:02:34.334
генерируемых на основе
информационно-коммуникационных технологий.

00:02:34.454 --> 00:02:38.777
По сути дела, большие данные — это феномен
XXI века, который заключается в появлении

00:02:38.937 --> 00:02:38.977
новых

00:02:40.154 --> 00:02:43.917
технологических возможностей генерации
бесконечно больших массивов данных, а

00:02:43.997 --> 00:02:46.439
также техники и технологии их обработки.

00:02:46.679 --> 00:02:51.203
Впервые термин «большие данные» был введён
в обращение в 2008 году.

00:02:51.363 --> 00:02:53.285
Специальный выпуск журнала Natura

00:02:54.847 --> 00:02:59.723
Был посвящён вопросам развития науки и
техники в условиях высокого темпа роста

00:02:59.883 --> 00:03:03.719
объёмов информации, генерируемых в первую
очередь информационно-коммуникационными

00:03:03.759 --> 00:03:07.995
технологиями. Авторы задались вопросом,
каким образом будут развиваться методы

00:03:08.115 --> 00:03:08.555
обработки

00:03:14.629 --> 00:03:18.592
Информации. Каким образом подготовиться к
переводу количества в качество?

00:03:18.712 --> 00:03:24.236
С начала 2010-х годов начались развитие
облачных технологий как основного

00:03:24.477 --> 00:03:26.878
инструмента хранения и обработки больших
данных.

00:03:26.998 --> 00:03:30.321
Стали появляться первые решения по их
систематизации и обработке.

00:03:31.745 --> 00:03:34.825
В соответствии с современными
представлениями, большие данные обладают

00:03:34.945 --> 00:03:38.306
тремя основными свойствами: величиной,
скоростью и многообразием.

00:03:38.386 --> 00:03:42.426
Величина, от английского — volium —
характеристика больших данных,

00:03:42.506 --> 00:03:45.546
определяющая величину физического объёма
информации.

00:03:46.027 --> 00:03:46.667
Скорость.

00:03:47.384 --> 00:03:48.664
Английской велосики.

00:03:49.065 --> 00:03:52.467
Характеристика больших данных,
определяющая скорость увеличения объёмов

00:03:52.627 --> 00:03:56.350
при умножении информации и скорость её
оперативной обработки в целях получения

00:03:56.470 --> 00:03:57.791
необходимых результатов.

00:03:58.392 --> 00:04:01.234
Многообразие от английского.

00:04:01.354 --> 00:04:04.436
Характеристика больших данных,
определяющая возможности обработки

00:04:04.556 --> 00:04:07.158
различных видов структурированной и
неструктурированной информации

00:04:07.318 --> 00:04:07.918
одновременно.

00:04:08.848 --> 00:04:12.769
Собранные воедино три основные
характеристики больших данных реализуют

00:04:12.849 --> 00:04:18.769
принцип трёх Ви: Velume velocity, veriaty
wi-vi.

00:04:19.009 --> 00:04:23.249
На сегодняшний день развитие
информационных технологий привело к тому,

00:04:23.289 --> 00:04:27.049
что количество информации, с которой
приходится взаимодействовать во всех

00:04:27.089 --> 00:04:29.449
сферах деятельности непрерывно
увеличивается.

00:04:29.988 --> 00:04:33.506
В различных источниках всё чаще
встречаются термины «Четвёртая

00:04:33.586 --> 00:04:39.382
промышленная революция», «Индастрия 4.0»,
описывающие внедрение новейших технологий

00:04:39.422 --> 00:04:43.339
в производственные процессы как
зарубежных, так и отечественных

00:04:43.419 --> 00:04:44.098
предприятий.

00:04:45.815 --> 00:04:50.298
Стремительными темпами развиваются
технологии, которые передают новый взгляд

00:04:50.539 --> 00:04:55.302
на получение и обработку такого потока
данных, то есть Big Data, Dita mining.

00:04:55.542 --> 00:04:59.625
Процесс цифровизации происходит во всех
современных отраслях промышленности,

00:04:59.785 --> 00:05:01.546
строительной индустрии — не исключение.

00:05:01.906 --> 00:05:05.469
Для успешного внедрения и использования
подобных технологий недостаточно лишь

00:05:05.509 --> 00:05:07.470
желаний и денежных ресурсов.

00:05:09.712 --> 00:05:14.075
Необходима площадка, аккумулирующая в себе
все знания, опыт, практические пример

00:05:14.275 --> 00:05:17.237
реализации таких технологий, как обучающие
материалы.

00:05:17.797 --> 00:05:21.319
Так, ну давайте приведём примеры
применения технологий в больших данных

00:05:21.479 --> 00:05:22.000
отраслях.

00:05:23.339 --> 00:05:27.061
В транспортной отрасли технологии больших
данных в первую очередь ориентированы на

00:05:27.141 --> 00:05:30.464
отслеживание парка транспортных средств,
то есть автомобилей, кораблей,

00:05:30.504 --> 00:05:32.145
локомотивов, самолётов.

00:05:32.705 --> 00:05:35.627
И, соответственно, мониторинг их
технического состояния.

00:05:35.747 --> 00:05:39.629
Ярким примером эффективной технологии по
обработке больших данных на транспорте

00:05:39.749 --> 00:05:44.112
являются информационные системы,
приложения Яндекс Такси, Яндекс Пробки.

00:05:45.120 --> 00:05:48.280
Ярким примером применения технологии
больших данных в медицине является

00:05:48.840 --> 00:05:51.040
телекоммуникационные технологии.

00:05:51.480 --> 00:05:56.920
В качестве примера можно привести принцип
организации перспективной диагностической

00:05:57.480 --> 00:05:59.800
телемедицинской системы города Москвы.

00:06:00.470 --> 00:06:04.310
То есть вот рисунок 1—2, в который
показания диагностических средств

00:06:04.430 --> 00:06:07.910
передаются в аналитический центр для
автоматизированной обработки.

00:06:08.830 --> 00:06:11.750
Соответственно, видите даш-бот.

00:06:11.830 --> 00:06:14.150
Онлайн-мониторинг работоспособности.

00:06:14.630 --> 00:06:16.550
Вот такая интерактивная карта.

00:06:17.328 --> 00:06:21.328
Положительный зарубежный опыт применения
технологий больших данных ориентирован на

00:06:21.448 --> 00:06:25.848
предупреждение чрезвычайных ситуаций,
таких как Япония, Австралия и другие.

00:06:26.128 --> 00:06:31.047
Реализацию концепции умных городов, то
есть Китай, Испания, развитие системы

00:06:31.127 --> 00:06:33.887
здравоохранения Канады и многие другие
проекты.

00:06:36.775 --> 00:06:39.778
Основные проблемы хранения данных большого
объёма.

00:06:39.978 --> 00:06:43.862
Безопасность вычислений в распределённых
программных системах.

00:06:46.145 --> 00:06:48.908
Безопасность нереляционных баз данных.

00:06:49.268 --> 00:06:51.350
Безопасное хранение данных.

00:06:51.711 --> 00:06:53.112
Проверка достоверности.

00:06:54.015 --> 00:06:57.453
Мониторинг безопасности в режиме реального
времени.

00:06:58.013 --> 00:07:04.049
Шифрование, управление доступом и
обеспечение безопасности соединений.

00:07:05.448 --> 00:07:07.727
Фрагментарный контроль доступа.

00:07:08.807 --> 00:07:09.966
Происхождение данных.

00:07:11.075 --> 00:07:14.275
Направление Big Data ориентировано на
обработку огромных объёмов

00:07:14.475 --> 00:07:18.554
неструктурированных и структурированных
данных для получения понятных и выгодных

00:07:18.674 --> 00:07:22.034
человеку результатов. Источниками таких
данных могут быть как результаты

00:07:22.154 --> 00:07:24.274
деятельности человека, так им

00:07:30.380 --> 00:07:34.816
Тут предлагается задание вы можете
посмотреть.

00:07:35.376 --> 00:07:40.092
Вот, ну, на практических занятиях мы потом
к этому вернёмся.

00:07:49.963 --> 00:07:51.282
Предобработка данных.

00:07:51.919 --> 00:07:53.480
Прежде всего работа с пропусками.

00:07:53.921 --> 00:07:57.563
Предобработка — это процесс подготовки
данных для дальнейшего анализа.

00:07:57.723 --> 00:08:01.446
Его суть заключается в поиске и устранении
возможных проблем в данных.

00:08:01.887 --> 00:08:03.688
Таблицы, удобной для анализа данных.

00:08:03.728 --> 00:08:06.410
В каждом столбце хранит значение одной
переменной.

00:08:06.610 --> 00:08:10.493
Каждая строка содержит одно наблюдение, к
которым привязаны значения разных

00:08:10.573 --> 00:08:11.053
переменных.

00:08:11.865 --> 00:08:15.988
Название столбцов без пробелов в начале, в
середине и в конце.

00:08:18.710 --> 00:08:22.752
Несколько слов разделяются нижним
подчёркиванием на одном языке, в одном

00:08:22.832 --> 00:08:26.794
регистре, отражает в краткой форме какого
рода информация содержится в каждом

00:08:26.874 --> 00:08:27.355
столбце.

00:08:28.369 --> 00:08:30.569
Пропущенные значения бывают разные.

00:08:31.249 --> 00:08:33.569
Чаще всего это нон или нан?

00:08:34.129 --> 00:08:36.608
От английского нот и нам не число.

00:08:40.125 --> 00:08:46.487
Плейс-холдере, тексты, текстозаполнители
какого-то общепринятого стандарта, который

00:08:46.727 --> 00:08:47.967
поддерживают составители.

00:08:48.087 --> 00:08:54.610
Чаще всего это, скажем, Н делить на a, N
умножить на A, NA, соответственно, НН либо

00:08:54.690 --> 00:08:59.051
ИНН. Произвольные значения, которые по
договорённости между собой используют

00:08:59.131 --> 00:09:00.852
создатели исходной таблицы данных.

00:09:01.579 --> 00:09:05.823
Пропущенные значения можно как удалять,
так и заполнять на основе известных

00:09:05.983 --> 00:09:10.907
данных. Плюс удаления данных

00:09:13.269 --> 00:09:15.430
в том, что это простой процесс.

00:09:15.670 --> 00:09:21.115
Также может быть уверенным, что те данные,
которые остались хорошие, отвечают всем

00:09:21.195 --> 00:09:21.675
требованиям.

00:09:22.211 --> 00:09:25.769
Потенциальные минусы — потеря важной
информации и снижение точности.

00:09:29.248 --> 00:09:33.086
Заполнение позволяет сохранить наибольшее
количество данных.

00:09:33.206 --> 00:09:37.284
Очевидно, минус — могут получаться плохие
результаты на основе уже существующих

00:09:37.364 --> 00:09:37.723
данных.

00:09:38.529 --> 00:09:43.049
Нан инон — это особое значение, указывает,
что никакого значения нет.

00:09:43.209 --> 00:09:47.728
Нан отвечает за отсутствующее в ячейке
число, его тип

00:09:48.403 --> 00:09:52.204
Данных fload, поэтому с нан можно
проводить математические операции.

00:09:52.364 --> 00:09:57.845
Нон принадлежит к числовому типу Non Tipe,
и математические операции с ним

00:09:57.965 --> 00:09:59.485
неосуществимы.

00:09:59.605 --> 00:10:01.045
Значения нан могут привести

00:10:01.777 --> 00:10:04.178
...к некоторым результатам при группировке
данных.

00:10:04.298 --> 00:10:07.139
Строки с этими значениями не всегда стоит
удалять.

00:10:07.540 --> 00:10:09.381
Часто пропуски можно восстановить.

00:10:09.501 --> 00:10:13.503
Вот язык Pithonton — основной инструмент —
аналитика данных.

00:10:13.623 --> 00:10:17.345
Для обработки данных подойдёт и Excel, но
лучше использовать профильный

00:10:17.505 --> 00:10:17.985
инструмент...

00:10:18.385 --> 00:10:21.907
то есть программную библиотеку Pandos.

00:10:22.187 --> 00:10:27.310
Из того, что в Питоне есть Pithon, для
операций с таблицами чаще всего применяют

00:10:27.390 --> 00:10:33.153
Pandos. Название Pandos происходит от
сокращения Panel Data, то есть английский

00:10:34.465 --> 00:10:35.706
Панельные данные.

00:10:35.866 --> 00:10:40.706
Прошло из терминологии, применяемой в
экономике панельного анализа, которое

00:10:40.786 --> 00:10:44.627
изучает изменение определённого признака у
определённого объекта во времени.

00:10:44.787 --> 00:10:49.227
Например, уровень заболеваемости холерой в
Африке в начале XXI века.

00:10:49.739 --> 00:10:54.100
Библиотека Пандас оказалась таким
универсальным инструментом, что годится

00:10:54.300 --> 00:10:57.701
для исследования любых данных, которые
вообще можно собирать таблицу.

00:10:58.181 --> 00:10:59.582
Возможности Pantas.

00:10:59.942 --> 00:11:03.623
Готовые методы для манипуляций с
таблицами: добавление, удаления,

00:11:03.703 --> 00:11:05.743
преобразование, агрегирование данных.

00:11:06.650 --> 00:11:09.409
Одновременная обработка данных из разных
файлов.

00:11:10.368 --> 00:11:16.326
Готовые методы для операций с пропущенными
значениями выявления и устранения

00:11:16.485 --> 00:11:20.803
проблемных данных. Использование данных в
самых разных форматах.

00:11:21.123 --> 00:11:22.962
Pandas, метод verew count.

00:11:23.582 --> 00:11:29.303
Возвращает уникальные значения с их
количеством методы и на инул

00:11:30.303 --> 00:11:35.464
возвращают булевый список, в котором
истина означает, что значение в колонке

00:11:35.624 --> 00:11:39.745
пропущено. Для замены пропусков на
какие-то значения применяется метод

00:11:40.677 --> 00:11:44.359
Фил NI Fil с аргументом в

00:11:49.602 --> 00:11:53.925
переменные бывают двух типов:
категорийные, категориальные и

00:11:54.085 --> 00:11:58.727
количественные. Категориальная переменная
принимает одно значение из ограниченного

00:11:58.808 --> 00:11:59.288
набора.

00:12:00.195 --> 00:12:02.715
Количественное, любое числовое значение в
диапазоне.

00:12:02.835 --> 00:12:07.035
Количественные переменные, в отличие от
категориальных, обладают возможностью

00:12:07.115 --> 00:12:07.675
сравнения.

00:12:09.027 --> 00:12:12.789
Также переменные могут быть логическими,
буллевами от английского буллеун.

00:12:12.869 --> 00:12:16.831
Такие переменные указывают на истинность
или ложность какого-либо события.

00:12:17.071 --> 00:12:20.713
Если событие истинно, то переменные
принимает значение 1 — соответствующий

00:12:20.833 --> 00:12:23.835
тру, а если ложно, соответствующий фальс.

00:12:24.195 --> 00:12:28.037
Перед обработкой пропусков нужно ответить
на вопрос: существует ли закономерность

00:12:28.237 --> 00:12:32.519
появления пропусков? Иными словами, не
случайно ли их возникновение в наборе

00:12:32.600 --> 00:12:32.920
данных?

00:12:33.641 --> 00:12:37.917
Пропуски бывают трёх типов: полностью
случайные, если вероятность встретить

00:12:38.037 --> 00:12:43.193
пропуск не зависит от таких каких-либо
других значений, такой пропуск легко

00:12:43.273 --> 00:12:50.227
восстановить. Соответственно, случайные,
если вероятность пропуска зависит

00:12:50.267 --> 00:12:54.064
от других значений в наборе данных, но не
от значений собственного столбца.

00:12:55.304 --> 00:12:59.426
Пропущенные значения связаны с тем, что,
например, такой категории не существует.

00:12:59.546 --> 00:13:01.306
И наконец, неслучайные.

00:13:01.467 --> 00:13:05.828
Есть вероятность пропуска, если
вероятность пропуска зависит от других

00:13:05.908 --> 00:13:09.390
значений, то есть в том числе от значений
собственного столбца.

00:13:09.510 --> 00:13:12.711
Отсутствующие значения зависят от значения
переменной в другом столбце.

00:13:13.557 --> 00:13:17.593
Существует несколько вариантов замены
пропусков в категориальных значений.

00:13:17.672 --> 00:13:19.870
Например, замена значений по умолчанию.

00:13:20.070 --> 00:13:24.106
Такой вариант хорошо подойдёт для
заполнения случайных пропусков.

00:13:24.146 --> 00:13:29.181
В Пантес для этого применяется метод Fil
NA.

00:13:30.752 --> 00:13:34.832
Не все пустые значения можно заполнить
методом Fil NA.

00:13:34.992 --> 00:13:39.353
Например, к пропуску значениям нон его не
применять.

00:13:39.473 --> 00:13:44.593
Метод распространяя распознаёт только
значение типа нан в таблице.

00:13:44.673 --> 00:13:47.193
Для замены нон вызывает метод Loc.

00:13:48.252 --> 00:13:52.736
Логическая индексация позволяет выделить
все строки в небольшом необходимом

00:13:52.896 --> 00:13:57.060
столбце, которые содержат ноль, и заменить
их на основные на новые значения.

00:13:57.461 --> 00:14:01.985
Для применения некоторых функций к
определённым столбцам применяется метод H.

00:14:03.507 --> 00:14:07.831
Названия столбца и сами функции
записываются в структуру данных словей.

00:14:08.833 --> 00:14:10.715
Словарь состоит из ключа и значения.

00:14:10.915 --> 00:14:17.724
Ключ — это название столбца, к которому
нужно применить функции.

00:14:17.764 --> 00:14:21.248
А значением выступает список с названиями
функций.

00:14:21.328 --> 00:14:23.812
То есть, вот колонн, функшн один, функшн
два.

00:14:24.392 --> 00:14:28.911
После применения метода Age названия
столбцов становятся двойными.

00:14:29.031 --> 00:14:33.190
Чтобы обратиться к результату применения
функции Fanshion к столбцу колонн, надо

00:14:33.350 --> 00:14:38.269
указать их подряд. То есть дата, колон —
указание, соответственно, колонки столбца

00:14:39.109 --> 00:14:40.909
и, соответственно, фаншен 1.

00:14:40.989 --> 00:14:42.509
Указать имя функции.

00:14:42.629 --> 00:14:44.308
Пропуски в количественных переменных.

00:14:45.519 --> 00:14:47.279
...заполняют характерными значениями.

00:14:47.319 --> 00:14:50.920
Эти значения характеризуют состоянием
выборки, то есть набора данных.

00:14:51.680 --> 00:14:53.280
Выборки для проведения исследования.

00:14:53.400 --> 00:14:56.921
Чтобы примерно оценить типичное значение
выборки, годятся средний арифметический

00:14:57.041 --> 00:15:01.962
или медиана. Средняя арифметическая — это
сумма всех значений, поделённых на

00:15:02.002 --> 00:15:05.282
количество значений. Медиана — это такое
число выборки, что равно

00:15:05.978 --> 00:15:10.025
Ровно половина элементов больше него, а
другая половина меньше.

00:15:11.187 --> 00:15:13.270
Соответственно, вот получается.

00:15:14.405 --> 00:15:20.646
Кривую распределения ровно делит на две
части, то есть под интегралом первой части

00:15:20.766 --> 00:15:22.686
0,5 под второй тоже.

00:15:23.006 --> 00:15:27.246
Для получения среднего арифметического
применяется метод Min, то есть среднее,

00:15:27.366 --> 00:15:28.207
расчёт среднего.

00:15:28.787 --> 00:15:32.184
Его применяют ко всей таблице, к
отдельному столбцу, к сгруппированным

00:15:32.303 --> 00:15:35.421
данным. Для нахождения медиана есть
специальный метод медиам.

00:15:35.581 --> 00:15:39.217
Его можно применять к таблице столбцу или
сгруппированным данным.

00:15:39.497 --> 00:15:42.535
Максимум-минимум — это наименьшее,
наибольшее число в наборе.

00:15:42.614 --> 00:15:45.852
Показатель максимума-минимума обычно
вычисляют по отдельному признаку.

00:15:46.427 --> 00:15:50.102
Средняя медиана используется для оценки
значения в центре выборки.

00:15:50.302 --> 00:15:53.577
Если выборка равномерна и в ней нет
значений, слишком отличающихся от

00:15:53.657 --> 00:15:55.015
остальных, средняя подойдёт.

00:15:56.204 --> 00:16:00.687
Но когда есть оторванные от основной массы
значения, они сильно смещают среднее

00:16:00.767 --> 00:16:03.169
вверх. В таком случае используется
медиана.

00:16:03.329 --> 00:16:06.171
Ну, вот как раз ярко приводится пример.

00:16:06.731 --> 00:16:12.375
Скажем, когда расчёт средней зарплаты,

00:16:13.336 --> 00:16:13.816
соответственно

00:16:15.077 --> 00:16:20.516
Рабочие на фабрике получают какую-то такую
небольшую зарплату, а руководство очень

00:16:20.796 --> 00:16:25.635
большую, то есть в несколько раз
превышающую значение простых рабочих.

00:16:25.755 --> 00:16:28.955
Вот если считать средне, средняя
получается какая-то приемлемая, но она

00:16:29.075 --> 00:16:29.915
далеко не отражает

00:16:31.114 --> 00:16:36.992
Конечно, наиболее распространённого
сотрудника, то есть вот поэтому

00:16:37.432 --> 00:16:38.791
используется медиана.

00:16:39.271 --> 00:16:44.149
Для прочтения файлов Excel есть особый
метод Read Exel.

00:16:44.229 --> 00:16:46.348
Он похож на Rid SVS.

00:16:47.211 --> 00:16:48.932
С CSV, то есть такой формат.

00:16:49.012 --> 00:16:54.775
Но в отличие от него, Rit Excel, нужно два
аргумента: строка с именем самого файла

00:16:55.335 --> 00:16:58.537
или пути к нему и имя листа — Shitname.

00:16:58.937 --> 00:17:02.499
Если аргумент Shitname пропущен, то по
умолчанию прочитывается первый

00:17:03.367 --> 00:17:04.732
По счёту лист XL.

00:17:06.297 --> 00:17:13.181
Значит, вот Import Pandas SPD равно Poder
Excel

00:17:13.541 --> 00:17:20.025
File XLS, то есть, соответственно,
указание имени файла Shitname равня-1.

00:17:20.185 --> 00:17:24.147
Следует отметить, что для чтения данных с
помощью метода Lit-Excel необходимо, чтобы

00:17:24.347 --> 00:17:26.348
была установлена библиотека Open.

00:17:29.595 --> 00:17:36.046
Пиксел. Для того чтобы перевести строковые
значения в числа, есть стандартный метод

00:17:38.562 --> 00:17:41.244
Он превращает значения столбца в числовые
типы.

00:17:41.444 --> 00:17:48.370
Соответственно, вот Flow 64 — вещественное
число или в Int 64 целое число — 64 бита

00:17:49.051 --> 00:17:50.852
в зависимости от исходного значения.

00:17:50.973 --> 00:17:54.135
У метода Tomumic есть параметр ROS.

00:17:54.795 --> 00:17:59.632
От значений принимаемых эрорс зависит
действие туномерика при встрече с

00:18:00.432 --> 00:18:01.911
некорректным значением.

00:18:01.951 --> 00:18:03.390
Эрорс равно райс.

00:18:03.470 --> 00:18:06.148
То есть дефолтное поведение, поведение по
умолчанию.

00:18:06.188 --> 00:18:08.986
При встрече с некоторыми значениями
выдаётся ошибка.

00:18:09.386 --> 00:18:14.982
Операция перевода в числе прерывается,
эрорс равняется коРЦ.

00:18:17.038 --> 00:18:19.877
Некоторые значения принудительно
заменяются нант.

00:18:20.517 --> 00:18:21.837
Равняется игнор.

00:18:22.277 --> 00:18:24.717
Некоторые значения игнорируются, но
остаются.

00:18:24.837 --> 00:18:29.956
Для того чтобы перевести данные в нужный
тип, применяется метод Astape.

00:18:30.316 --> 00:18:33.516
В качестве аргумента определяется строка с
названием типа.

00:18:33.596 --> 00:18:35.555
Для работы с датой временем Priton

00:18:38.378 --> 00:18:42.502
Существует особый тип данных Deta Time.

00:18:42.782 --> 00:18:48.867
Чтобы перевести строку в дату и время
используется метод Twata Time.

00:18:49.605 --> 00:18:53.967
Параметрами методом является столбец,
содержащий строки и форматы даты в строке.

00:18:54.087 --> 00:18:57.368
Формат даты задаётся с помощью специальных
систем обозначений.

00:18:57.648 --> 00:19:04.410
Где, соответственно, процент день, месяц,
процент, номер месяца, процент

00:19:04.530 --> 00:19:05.010
ей.

00:19:05.577 --> 00:19:08.819
Код с указанием столетия — Y большое.

00:19:09.140 --> 00:19:15.343
Значит, соответственно, процент H номер в
двадцатичасовом формате, то есть хауэс и

00:19:16.264 --> 00:19:22.788
процент i номер числа в двенадцатичасовом
формате процент M

00:19:23.108 --> 00:19:25.750
минуты минус от нуля до пятидесяти девяти.

00:19:26.555 --> 00:19:30.754
И, соответственно, процентная секунда
Seconds от нуля до 59.

00:19:30.834 --> 00:19:36.433
Ну, примерно. Deta Callom равно PDetect

00:19:37.552 --> 00:19:42.591
Deta Time от, соответственно, Delta
Colone, формат.

00:19:43.150 --> 00:19:44.390
И указан формат.

00:19:44.550 --> 00:19:49.710
Значит, день, месяц, год и так далее.

00:19:50.990 --> 00:19:55.390
Среди самых разнообразных способов
представления даты и времени особое место

00:19:55.510 --> 00:19:57.110
занимает формат Unice Time.

00:19:57.719 --> 00:20:03.633
Его идея проста. Это количество секунд,
прошедших, соответственно, считается, что

00:20:04.712 --> 00:20:08.508
с нуля часов 1 января 1970 года.

00:20:09.227 --> 00:20:12.544
Юникс — время соответствует Всемирному
координатному времени.

00:20:14.892 --> 00:20:21.166
Или UTS метод to Data Time работает и с
форматами Unic Time.

00:20:21.286 --> 00:20:25.682
Первый аргумент — это столбец со временем
в формате Unic Time, который второй

00:20:25.762 --> 00:20:30.558
аргумент — это Unit со значением S,
сообщает о том, что можно перевести время

00:20:30.838 --> 00:20:33.395
в первичный формат, нужно с точностью до
секунды.

00:20:33.914 --> 00:20:37.398
Часто приходится исследовать статистику по
месяцам, дням, годам.

00:20:37.519 --> 00:20:42.245
Чтобы осуществить такой расчёт, нужно
поместить время в классе там индекс и

00:20:42.325 --> 00:20:45.048
применить к нему атрибут MAMFDE.

00:20:45.529 --> 00:20:46.530
Так, вот пример.

00:20:47.889 --> 00:20:54.735
Использование, значит, Дельта-Калун равня
вот PDita Time

00:20:54.815 --> 00:20:59.179
индекс от Dita Colun Manf месяц.

00:20:59.259 --> 00:21:03.743
То есть, выгружая данные из разных систем,
нужно быть готовым к следующим трудностям.

00:21:04.346 --> 00:21:07.303
Некоторый формат приводит к невыполнению
кода.

00:21:07.503 --> 00:21:09.621
Говорят, что код падает с ошибкой.

00:21:10.060 --> 00:21:14.137
Ошибки в данных встречаются ближе к концу
файла, и код в на строках с неверными

00:21:14.217 --> 00:21:18.452
значениями не выполняется, значит,
пропадает расчёт для предыдущих правильных

00:21:18.532 --> 00:21:21.210
строк. Данные могут поменяться.

00:21:21.370 --> 00:21:24.527
К сожалению, предсказать все потенциальные
ошибки невозможно.

00:21:25.244 --> 00:21:30.809
Для работы с непредсказуемым поведением
данных есть конструкции трай-эксепт.

00:21:31.169 --> 00:21:35.853
То есть принцип работы такой: исходный код
помещается в некоторый трай-блок,

00:21:35.973 --> 00:21:38.856
блок-трай. Попробовать это слово «трай».

00:21:39.256 --> 00:21:43.460
Если при выполнении кода из блока «трай»
возникает ошибка,

00:21:44.346 --> 00:21:47.268
Воспроизводится код из блока Except.

00:21:47.388 --> 00:21:51.871
Значит, соответственно, край какой-то код,
где может быть ошибка, эксепт действия,

00:21:51.951 --> 00:21:53.232
если возникла ошибка.

00:21:53.472 --> 00:21:56.794
Ну, то есть такой обработчик ошибок.

00:21:57.434 --> 00:21:58.755
Стандартная структура.

00:22:01.390 --> 00:22:04.227
Данные хранятся в Excel-таблице на
нескольких листах.

00:22:04.587 --> 00:22:08.424
Для того чтобы использовать данные на всех
листах, нужно склеить таблицы.

00:22:08.503 --> 00:22:11.741
Объединить несколько таблиц в одну,
поможет метод Merage.

00:22:12.180 --> 00:22:16.177
Аргументы, соответственно, rite — имя Data
Force или сервис, который нужно

00:22:16.337 --> 00:22:20.813
присоединить к исходной таблице, он —
общее поле таблицам, по которым происходит

00:22:21.013 --> 00:22:22.252
соединение Haw.

00:22:22.962 --> 00:22:25.520
Какие, соответственно, ID включены в
итоговую таблицу?

00:22:25.640 --> 00:22:29.837
Может применять значение left ID, то есть
левая таблицы будут включены в итоговую

00:22:29.877 --> 00:22:33.994
таблицу или right ID, из правой таблицы
будут включены в итоговую таблицу.

00:22:35.073 --> 00:22:39.430
Сводная таблица применяется для обобщения
данных и их наглядного представления.

00:22:39.470 --> 00:22:42.348
В Пандасе для подготовки сводных таблиц
есть метод

00:22:44.797 --> 00:22:46.956
Аргументом этого, прежде всего индекс.

00:22:46.996 --> 00:22:51.273
Столбец или столбцы, по которым происходит
группировка

00:22:54.111 --> 00:22:58.749
данных. Колумбс — столбец, по значением
которого будет происходить группировка.

00:22:58.989 --> 00:23:02.267
Velues — значение, по которым хотим
увидеть сводную таблицу.

00:23:03.916 --> 00:23:08.037
Eg Funk — функция, которая будет
применяться к значениям.

00:23:10.037 --> 00:23:13.038
То есть агрегативную функцию, наверное,
имеется в виду.

00:23:15.999 --> 00:23:19.000
Так, ну есть ещё другие способы обработки.

00:23:19.440 --> 00:23:22.320
Соответственно, есть даже специальное
программное обеспечение.

00:23:22.664 --> 00:23:26.662
...которые настроены на вот эту
предварительную обработку.

00:23:26.742 --> 00:23:30.021
Так. Ну ещё одна задача, связанная с
предварительной обработкой — это поиск

00:23:30.101 --> 00:23:34.059
дубликатов. Часто при анализе данных
возникают дубликаты.

00:23:34.299 --> 00:23:38.417
Если не найти дубликаты, то анализ данных
может привести к некоторым

00:23:39.383 --> 00:23:40.662
некорректным результатом.

00:23:40.742 --> 00:23:45.418
Дубликаты, то есть дублированные записи
могут быть следующего вида: две и более

00:23:45.618 --> 00:23:47.937
одинаковые строки с интентичной
информацией.

00:23:48.056 --> 00:23:52.054
То есть большое количество повторов
раздувает размер таблицы, значит,

00:23:52.093 --> 00:23:53.732
увеличивает время обработки данных.

00:23:53.852 --> 00:23:56.610
Одинаковые по смыслу категории с разными
названиями.

00:23:56.690 --> 00:23:58.569
Например, политика, политическая ситуация

00:23:59.559 --> 00:24:03.517
Замаскированные повторы — источник
серьёзных, с трудом обнаруживающих ошибок

00:24:03.557 --> 00:24:07.674
в анализе. Значит, дупликаты можно искать
двумя способами.

00:24:07.834 --> 00:24:12.911
Первый способ методом дуплика.

00:24:13.231 --> 00:24:17.468
В сочетании с методом сумм суммирования он
возвращает количество дупликатов.

00:24:18.151 --> 00:24:24.435
Если выполнить метод дубликад без
суммирования на экране будут отображены

00:24:24.515 --> 00:24:29.238
все строки, там, где есть дубликаты, будет
значение true, где дубликата нет Falls.

00:24:29.638 --> 00:24:30.478
Способ 2.

00:24:31.385 --> 00:24:35.785
Методом value Counts, возвращающим
уникальные значения с их частотой.

00:24:35.945 --> 00:24:37.945
Его применяют к объекту Service.

00:24:38.225 --> 00:24:43.105
Результат работы метода список пар
значений, частота, отсортированный по

00:24:43.145 --> 00:24:47.185
убыванию. Значит, интересующие нас
дубликаты будут в начале списка.

00:24:47.665 --> 00:24:51.945
Сервис — это одновременная структура
данных, одномерная структура данных, прошу

00:24:51.985 --> 00:24:52.505
прощения.

00:24:53.768 --> 00:24:58.808
Пандас. Её элементы можно получить по
индексу.

00:24:58.928 --> 00:25:02.368
Каждый индекс представляет собой номер
отдельного наблюдения, поэтому несколько

00:25:02.728 --> 00:25:05.568
различных Seris вместе составляет Date
Frame.

00:25:05.888 --> 00:25:08.008
В Series хранятся данные одного типа.

00:25:08.128 --> 00:25:12.048
У Series есть имя Name — информация о
количестве данных в столбце лента.

00:25:13.501 --> 00:25:17.704
...типы данных, которые хранятся в ней —
Detipe.

00:25:18.105 --> 00:25:24.029
Индексация в сервисе аналогична индексации
элемента столбца в Data Frame.

00:25:25.310 --> 00:25:29.193
Deta Frame — это двумерная структура
данных Pandos.

00:25:30.017 --> 00:25:34.221
где у каждого элемента есть два индекса по
строке и по столбцу.

00:25:34.741 --> 00:25:40.705
Каждая строка — это одно наблюдение,
запись об объекте исследования, столбцы,

00:25:40.745 --> 00:25:45.309
признаки этого объекта. Data Frame — это
конструктор библиотеки Pandas, который

00:25:45.509 --> 00:25:47.350
используется для создания дата-фрейм.

00:25:48.200 --> 00:25:52.562
Перед именем конструктора стоит обращение
к переменной, в которой библиотека

00:25:52.682 --> 00:25:58.765
хранится. То есть вот PD.Freme, у
дета-фрейм есть неотъемлемые свойства,

00:25:58.805 --> 00:26:00.726
значения которых можно запросить.

00:26:01.206 --> 00:26:02.647
Они называются атрибуты.

00:26:02.727 --> 00:26:03.207
Например,

00:26:03.852 --> 00:26:08.777
Это размер таблицы DF-shape или количество
столбцов DF-колонц.

00:26:09.497 --> 00:26:13.782
К каждой ячейке с данными DataFrame можно
обратиться по её индексу и названию

00:26:13.822 --> 00:26:18.146
столбца. Этот процесс называется
индексация, и для Data Freme его проводят

00:26:18.306 --> 00:26:19.187
разными способами.

00:26:20.111 --> 00:26:26.191
Дупликаты строковых данных требуют особого
внимания, поскольку регистр имеет значение

00:26:26.390 --> 00:26:30.710
заглавия Al и строчное — A.

00:26:30.990 --> 00:26:36.670
То есть A. С точки зрения Python различные
символы.

00:26:37.307 --> 00:26:38.786
Но имеет одинаковое значение.

00:26:38.906 --> 00:26:43.145
Буква «А». Чтобы учесть такие дупликаты,
все символы в строке приводят к нижнему

00:26:43.185 --> 00:26:46.304
регистру. Вот вызовем метод Lower.

00:26:46.824 --> 00:26:51.343
То есть вот lower переводит всю текстовую
строку к нижнему регистру.

00:26:51.383 --> 00:26:56.301
В Пантос символы приводят к нижнему
регистру методом с похожим синтаксисом,

00:26:56.341 --> 00:26:58.141
называется СТР. Лower.

00:26:59.065 --> 00:27:03.223
При разделении строк по категориям
проверка вхождения определённых подстрок в

00:27:03.303 --> 00:27:05.503
строку не всегда может дать корректный
результат.

00:27:05.583 --> 00:27:10.261
Один из примеров, из приемлемых вариантов
для решения такой задачи — это стеминг.

00:27:10.421 --> 00:27:13.100
От английского — стеминг находить
происхождение.

00:27:13.180 --> 00:27:18.458
Стеминг — это процесс нахождения основы
заданного слова, называемого стемом.

00:27:18.779 --> 00:27:23.857
В Питон. Для стеминга есть специальная
библиотека NLTK.

00:27:24.777 --> 00:27:28.935
Она содержит стемеры, то есть специальные
объекты, содержащие правила определённых

00:27:29.015 --> 00:27:33.893
стемов. То есть метод Stem применяется для
извлечения стема для всех слов в строке.

00:27:33.973 --> 00:27:35.092
Вот, допустим, From

00:27:43.378 --> 00:27:49.055
Snowball, Steammer в скобках russion,
Russian Stemmer Steam Tex.

00:27:49.135 --> 00:27:54.333
Steming — не единственный алгоритм для
поиска слов, записанных в разных форматах.

00:27:54.703 --> 00:28:01.582
...и формах. Более продвинутый процесс —
это лематизация или проведение приведение

00:28:01.702 --> 00:28:03.901
к слову к словарной форме, то есть к леме.

00:28:03.941 --> 00:28:08.460
В русском языке форма записи в словаре
лемы следующие: для существительных

00:28:09.460 --> 00:28:14.259
именительный падеж — единственное число;
для прилагательных: именительный падеж —

00:28:14.299 --> 00:28:15.698
единственное число — мужской род.

00:28:16.302 --> 00:28:21.777
Для глаголов: причастие причастие, глагол
в инфинитиве несовершенного вида.

00:28:22.257 --> 00:28:26.173
Одна из библиотек функции лимитизации на
русском языке — это так называемый

00:28:29.251 --> 00:28:31.409
Pimystemp3.

00:28:34.146 --> 00:28:40.903
NLTK Pi System 3 по умолчанию выдаёт
список

00:28:41.662 --> 00:28:48.459
лиматизированных слов, то есть слов,
соединённых к леме, НЛТК в строку.

00:28:48.859 --> 00:28:53.617
Так, ну соответственно, вот участок кода
на Pie My Steam 3.

00:28:55.840 --> 00:28:57.838
Импортируются так.

00:28:58.758 --> 00:29:03.355
Соответственно, вот снизу на данном слайде
показано.

00:29:04.674 --> 00:29:08.792
Для подсчёта встречаемости значений в
списке используется специальный контейнер

00:29:08.872 --> 00:29:12.230
Counter из модуля Collection From.

00:29:19.285 --> 00:29:21.730
Так, следующий момент. Категоризация
данных.

00:29:22.867 --> 00:29:25.590
Кроме внутренних преобразований, важны и
внешние.

00:29:25.831 --> 00:29:28.874
Необходимо привести данные в удобный и
читаемый вид.

00:29:28.954 --> 00:29:32.878
Одна из подзадач в этом процессе —
именование столбцов.

00:29:32.998 --> 00:29:35.281
Для этого применяется метод Sat exies.

00:29:36.175 --> 00:29:40.697
В дата-сеттах могут встречаться категории
в виде названий, их длина должна быть

00:29:40.857 --> 00:29:44.459
различной. Такой способ хранения приводит
к следующим последствиям: усложняется

00:29:44.579 --> 00:29:48.741
визуальная работа с таблицей,
увеличивается размер файла и время

00:29:49.021 --> 00:29:54.103
обработки данных. Чтобы отфильтровать
данные по типу обращения, приходится

00:29:55.290 --> 00:29:59.248
Набирать его полное название, то есть в
нём можно допустить ошибки.

00:29:59.488 --> 00:30:03.606
Создание новых категорий, изменение старых
— отнимает много времени.

00:30:03.726 --> 00:30:07.204
Для того чтобы оптимально хранить
информацию о категориях, создаётся

00:30:07.284 --> 00:30:08.683
отдельный файл-словарь.

00:30:09.123 --> 00:30:11.082
Названию категории соответствует номер.

00:30:11.162 --> 00:30:13.321
Этот номер в дальнейшем используется
вместо

00:30:14.186 --> 00:30:16.627
текстового наименования категорий в
таблице.

00:30:16.748 --> 00:30:20.750
Часто объекты, имеющие определённое
значение признака, присутствуют в наборе

00:30:20.910 --> 00:30:25.833
только единожды. Работать с такими
отрывками и делать из них статистические

00:30:25.953 --> 00:30:29.555
выводы нельзя, поэтому с такими данными
проводится категоризация, то есть

00:30:29.635 --> 00:30:30.956
объединение данных в категории

00:30:31.818 --> 00:30:35.301
Одним из вариантов категоризации является
выделение возрастных групп.

00:30:35.421 --> 00:30:41.264
Например, вот до 18, от 18 до 65, старше
65.

00:30:41.384 --> 00:30:45.506
Подобные правила классификации в пайтон
удобно представлять в виде функций,

00:30:45.626 --> 00:30:49.589
которые применяют параметр значения
признака, возвращают в соответствующую

00:30:49.669 --> 00:30:50.149
категорию.

00:30:51.720 --> 00:30:56.795
Для того чтобы получить столбец с группой
на основе столбца с каким-либо другим

00:30:56.914 --> 00:31:01.469
признаком, можно использовать написанные
нами функции Grope, соответственно, или

00:31:01.669 --> 00:31:06.664
методом Aply, который в качестве примера,
соответственно, передаётся эта функция.

00:31:07.627 --> 00:31:09.625
То есть вот Data Colo group.

00:31:10.624 --> 00:31:16.058
Когда для категоризации недостаточно
значения недостаточно значения в одном

00:31:16.138 --> 00:31:20.453
каком-либо столбце, то функции можно
передать и всю строку как сервис.

00:31:20.612 --> 00:31:24.608
В теле этой функции можно также получить
значение в каком-то определённом столбце.

00:31:25.397 --> 00:31:29.113
Применение метода Apli в случае обработки
строки имеет два отличия.

00:31:29.232 --> 00:31:36.065
Первый. Метод Apli вызывается не к столбцу
Data

00:31:36.185 --> 00:31:39.222
ach, а к дата-фрейме Data.

00:31:39.541 --> 00:31:42.738
По умолчанию Pandas передаёт функцию Grove
столбец.

00:31:43.932 --> 00:31:50.005
Чтобы на вход в функцию отправляли строки,
нужно указать параметр exis равно 1 метода

00:31:50.125 --> 00:31:56.559
Apply. Так, ну вопрос

00:31:56.879 --> 00:31:59.916
предварительной подготовки довольно
обширный.

00:32:00.035 --> 00:32:03.792
Тут ещё есть много моментов, к нему мы в
ближайшее время ещё вернёмся.

00:32:06.177 --> 00:32:07.616
Исследовательский анализ данных.

00:32:07.736 --> 00:32:09.496
Прежде всего базовая проверка данных.

00:32:09.576 --> 00:32:16.492
Данные в формате CSV в качестве
разделителя могут иметь не

00:32:16.652 --> 00:32:18.691
только запятые, но и точки с запятой.

00:32:18.811 --> 00:32:19.650
Такие табуляции

00:32:20.550 --> 00:32:22.512
Знаки табуляции или другие символы.

00:32:22.632 --> 00:32:26.435
Десятичные дроби, записанные запятой,
также могут внести путаницу.

00:32:26.675 --> 00:32:32.639
В параметрах функции Reat CSV можно
указать, какими символами разделять

00:32:32.759 --> 00:32:38.203
колонки и дроби. Разделять колонки
разделитель колонок задаёт параметром СЭП,

00:32:38.243 --> 00:32:39.083
то есть сепаратор.

00:32:39.552 --> 00:32:41.633
А дробей параметр DSM.

00:32:41.833 --> 00:32:47.995
Соответственно, можно писать File pederit
SVS указание имени File.

00:32:50.517 --> 00:32:56.199
То есть Sep равно, DCM равно просто
запятая.

00:32:58.272 --> 00:33:03.628
Занимаясь предобработкой данных, можно
применить, соответственно, Pivot Table

00:33:04.907 --> 00:33:07.026
метод для построения сводных таблиц.

00:33:07.425 --> 00:33:12.862
Если значение, соответственно, функт
указывается Сом, то элементы столбца

00:33:12.981 --> 00:33:16.059
складываются. Если параметр,
соответственно, функт не указывать

00:33:17.514 --> 00:33:21.634
То по умолчанию метод Pivot Table
рассчитывает среднее арифметическое

00:33:21.754 --> 00:33:23.913
значение указанных параметров Valius.

00:33:24.073 --> 00:33:28.153
При работе с данными почти всегда
возникают неприятные сюрпризы.

00:33:28.393 --> 00:33:34.552
Из-за непонимания задач или случайно
выгружаются не те или неполные данные,

00:33:34.792 --> 00:33:35.832
ошибки в алгоритмах

00:33:37.405 --> 00:33:40.166
Считают, считающих нужные значения.

00:33:40.526 --> 00:33:42.806
Не тот формат представляемых данных.

00:33:42.966 --> 00:33:49.008
Не упущен какой-нибудь существенный факт
словом, в данных может быть всё, что

00:33:49.128 --> 00:33:53.009
угодно. Именно аналитик ручается за их
реалистичность.

00:33:53.169 --> 00:33:57.009
Гистограмма — это график, который
показывает, как число в наборе данных

00:33:57.169 --> 00:33:58.890
встречается то или иное значение.

00:33:59.550 --> 00:34:04.383
Гистограмма объединяет числовое значение
по диапазонам, то есть считает частоту

00:34:04.543 --> 00:34:06.540
значений в пределах каждого интервала.

00:34:07.318 --> 00:34:11.996
Его построение подобно работе метода
welucounts, подсчитывающего количество

00:34:12.116 --> 00:34:13.515
уникальных значений в списке.

00:34:13.595 --> 00:34:17.753
Однако welucouns группирует строго
одинаковые величины, хорошие для подсчёта

00:34:17.833 --> 00:34:22.270
частоты в списках и категори с
категорийными переменными.

00:34:23.469 --> 00:34:27.387
Соответственно, в пандас-кистограмму
строит специальный метод Hist.

00:34:28.648 --> 00:34:31.408
Применяемый к списку или к столбцу
Deltaframe.

00:34:31.568 --> 00:34:36.408
Метод Hist находит в наборе чисел
минимальные и максимальные значения, а

00:34:36.568 --> 00:34:41.248
полученный диапазон делит на области или
корзины, затем считает, сколько значений

00:34:41.368 --> 00:34:45.127
попало в каждую корзину и отображает это
на графике.

00:34:45.591 --> 00:34:49.792
Параметр бинс определяет, на сколько
областей делить диапазон данных.

00:34:49.832 --> 00:34:51.953
По умолчанию таких бинз равно 10.

00:34:52.233 --> 00:34:56.554
По умолчанию гистограммы вводится для всех
значений от минимального до максимального.

00:34:56.674 --> 00:35:00.315
Масштаб можно изменить вручную и указав
параметр ран.

00:35:00.355 --> 00:35:03.196
То есть ранж равно min value, max value.

00:35:04.204 --> 00:35:06.287
Минимальное значение — максимальное
значение.

00:35:06.728 --> 00:35:10.533
Для создания графика, в том числе
гистограмм, импортируют библиотеки

00:35:11.945 --> 00:35:16.227
Мат-плот Лип Метод Show отображает
графики.

00:35:16.347 --> 00:35:23.071
То есть вот как фрагмент кода: импорт
Пандас СПД, импорт Mat Lapt, mat

00:35:23.111 --> 00:35:29.994
plot Lip, соответственно, Plot PLT,
импортируем в библиотеку,

00:35:30.114 --> 00:35:35.116
соответственно, стандартное использование
имя ПЛТ, соответственно, PD сервис

00:35:36.896 --> 00:35:40.819
Так, ну и так далее, тут указываются
параметры.

00:35:43.180 --> 00:35:47.983
Даём команду отобразить кистограмму pLTO.

00:35:48.424 --> 00:35:53.427
Распределение — это все возможные значения
переменной с частотой их появления.

00:35:54.897 --> 00:36:00.850
Распределения бывают нормальными
английским, Normal Distribution Geosian и

00:36:01.409 --> 00:36:04.246
Posion Pusona, то есть

00:36:05.950 --> 00:36:07.389
Распределение пуасона.

00:36:07.668 --> 00:36:11.386
Нормальное чаще всего встречается среднее
значение, близкое к нему.

00:36:11.466 --> 00:36:13.464
А крайнее значение встречается довольно
редко.

00:36:13.544 --> 00:36:16.142
Ну, так называемая колоколообразная форма.

00:36:16.902 --> 00:36:22.418
Тут вот примерно с мат ожиданием 5,5, как
показано на картинке.

00:36:26.757 --> 00:36:33.278
Распределение поасона используется для
описания простейшего потока,

00:36:33.678 --> 00:36:39.639
потока событий. Распределение поосона —
число событий в единицу времени, если они

00:36:39.799 --> 00:36:42.519
в среднем происходят с измеренной
частотой.

00:36:42.719 --> 00:36:46.600
Характерный разброс, то, какие значения
оказались вдали от среднего.

00:36:47.175 --> 00:36:51.100
И насколько их много. Если считать
характерным разбросом расстояние между

00:36:51.260 --> 00:36:54.984
минимальным и максимальным значением, то
не всегда получается точное описание

00:36:55.144 --> 00:36:58.067
данных. На него могут повлиять и выбросы.

00:36:58.467 --> 00:37:02.591
Поэтому в качестве характерного разброса
применяется межквартильный размах, то есть

00:37:02.712 --> 00:37:03.312
квартире.

00:37:03.848 --> 00:37:08.368
Это вот, если можно разделить на две части
распределение, а можно на четыре.

00:37:08.568 --> 00:37:13.369
От латинского квартал — четвёртый
разбивает упорядоченный набор данных на

00:37:13.489 --> 00:37:19.849
четыре части. Первый квартил.1 — число,
отделяющее первую четверть выборки, 25%

00:37:20.089 --> 00:37:20.609
элементов.

00:37:21.876 --> 00:37:24.394
Меньше, 75% больше него.

00:37:24.474 --> 00:37:27.550
И медиана, то есть вторая квартиль.

00:37:27.710 --> 00:37:30.946
Половина элементов больше и половина
меньше неё.

00:37:31.306 --> 00:37:35.022
Третья квартиль Кутри — это
отсечка-отсечка трёх четвертей.

00:37:35.102 --> 00:37:38.977
75% элементов меньше, 25 элементов больше
него.

00:37:40.072 --> 00:37:44.749
Межквартильный размах — это расстояние
между первым квартиром Q1 и третьим

00:37:45.268 --> 00:37:46.667
квартилом Q3.

00:37:47.227 --> 00:37:51.384
Диаграмма размаха или так называемый ящик
с усами.

00:37:51.664 --> 00:37:54.222
Ну вот просто так нарисовано.

00:37:54.342 --> 00:37:57.819
Там такие, соответственно, палочки похожие
на усы.

00:37:58.099 --> 00:37:59.498
Английским бокс.

00:38:00.644 --> 00:38:05.087
Вишкер плот или бокс-плот позволяет
отобразить все квартиры для заданных

00:38:05.127 --> 00:38:09.731
данных. Ящик ограничен первым и третьим
квартирами.

00:38:12.413 --> 00:38:14.814
Внутри ящика обозначают медиану.

00:38:14.894 --> 00:38:15.335
Усы.

00:38:16.512 --> 00:38:20.110
Простираются влево и вправо от границ
ящика на расстояние, равное полутора

00:38:20.350 --> 00:38:24.548
межквартильным размахом, то есть QR от
английского

00:38:28.867 --> 00:38:30.466
Интертиль Range.

00:38:30.626 --> 00:38:32.465
Так, вот эти ящики с усами.

00:38:32.825 --> 00:38:38.943
Как видите, вот Quartil Q1, Q3 в ящике, а
по краям, соответственно, тут усы.

00:38:42.138 --> 00:38:45.021
В размах усов совпадают нормальные
значения.

00:38:46.221 --> 00:38:52.506
Попадают нормальные значения за
пределамися выбросы, изображённые

00:38:52.666 --> 00:38:57.069
точками. Если правый ус длиннее максимума

00:38:57.990 --> 00:39:01.995
То он заканчивается максимум тоже для
минимума и левого уса.

00:39:02.356 --> 00:39:06.801
В Pithon диаграмму размаха строят методом
Boxpload.

00:39:07.122 --> 00:39:12.048
Он позволяет визуально оценивать
характеристики распределения, не прибегая

00:39:12.088 --> 00:39:12.929
к гистограмме.

00:39:16.407 --> 00:39:21.811
Соответственно, вот фрагмент кода Import
Mat Ploat Lip

00:39:28.895 --> 00:39:34.258
Ось любого графика в Пандас можно
изменять, для этого нужно применять метод

00:39:34.338 --> 00:39:41.222
Xlims минимум-максимум для оси XLT для оси
Y.

00:39:42.074 --> 00:39:46.109
Параметры в обоих случаях минимальные,
максимальное значение на графике.

00:39:46.908 --> 00:39:51.582
Импорт матплот лип, соответственно, пай
лотос PLT.

00:39:52.021 --> 00:39:57.614
Ну и здесь PLT Xlim, Min Max Yax Y.

00:39:59.561 --> 00:40:03.921
С помощью гистограммы и диаграмм размаха
можно получить графическое описание любого

00:40:04.041 --> 00:40:07.521
набора данных. Однако не всегда по
графикам можно определить такие

00:40:07.561 --> 00:40:11.361
характеристики, как средняя, медиану,
число наблюдений, выборки и разброс их

00:40:11.401 --> 00:40:14.561
значений. То есть числовое описание
данных.

00:40:18.653 --> 00:40:21.972
Пандас. В этом случае применяется метод
Discryp описать.

00:40:22.132 --> 00:40:25.771
Стандартное отклонение — это числовая
характеристика данных, входящая в числовое

00:40:25.851 --> 00:40:28.690
описание данных и характеризующая разброс
величин.

00:40:28.730 --> 00:40:33.128
Показывает, насколько значение выборки
отличается от среднего арифметического.

00:40:33.168 --> 00:40:36.007
Оно позволяет понять природу распределения
и определить

00:40:37.205 --> 00:40:38.884
Насколько значения однородны?

00:40:39.004 --> 00:40:41.604
То есть дальта, колумбра, дискрайп.

00:40:43.484 --> 00:40:45.324
Следующий момент — срезы данных.

00:40:45.404 --> 00:40:49.563
В ходе работы над задачей часто нужны не
все данные, а лишь их часть или срез

00:40:49.683 --> 00:40:50.083
данных.

00:40:50.519 --> 00:40:56.001
Срез данных — это часть данных из
представленного набора, отобранная по

00:40:56.081 --> 00:40:59.563
определённым условиям. Срез данных можно
получить, применив фильтр.

00:40:59.643 --> 00:41:03.445
Этим фильтром может быть Bullife-массив,
состоящий из тру и фейс.

00:41:03.645 --> 00:41:06.886
Так называемое тру отмечается то, что надо
включить.

00:41:07.122 --> 00:41:09.123
...в определённую строку в срез данных.

00:41:09.203 --> 00:41:13.484
Формировать этот фильтр вручную — занятие
утомительное, а на больших дата-сеттах

00:41:13.564 --> 00:41:14.884
практически невозможно.

00:41:15.285 --> 00:41:18.085
Поэтому в пандас применяются
автоматические фильтры.

00:41:18.245 --> 00:41:22.327
Ниже приведён пример автоматического
фильтра: Data Columa равно wally.

00:41:22.714 --> 00:41:27.679
Этот фильтр внейшем служит как индекс
дата-фрейма, то есть дата колонн, в

00:41:27.799 --> 00:41:29.641
которых вот какое-то значение.

00:41:30.442 --> 00:41:35.847
Условием создания фильтра может выступать
не только равенство, но и другие операции:

00:41:35.927 --> 00:41:38.890
не равно больше, равно, меньше, равно

00:41:39.433 --> 00:41:41.434
Соответственно, строго больше, строго
меньше.

00:41:41.554 --> 00:41:45.874
Значения в столбцах можно сравнивать и с
заданными значениями между собой.

00:41:46.794 --> 00:41:51.714
Вот как вот дата колонн 1, чем дата
колонн-два.

00:41:52.234 --> 00:41:55.035
В условиях допустимые арифметические
операции.

00:41:57.315 --> 00:41:58.914
То есть вот делить на два.

00:41:59.554 --> 00:42:01.793
Там с той стороны плюс 0,5.

00:42:02.673 --> 00:42:04.232
Так, логическая операция.

00:42:04.272 --> 00:42:07.271
И вот примеры синтаксиса логическая
операция.

00:42:07.351 --> 00:42:11.869
Или результат выполняется тру, если хотя
бы одно из условий истинно.

00:42:12.389 --> 00:42:13.349
То есть, соответственно,

00:42:16.508 --> 00:42:21.103
А больше двух, если C не равно игрек,
между ними, или

00:42:21.463 --> 00:42:27.657
значок, соответственно, видите, результат

00:42:28.097 --> 00:42:29.775
описывается как амперсант.

00:42:29.855 --> 00:42:33.891
Результат выполнения логической операции —
тру, только если оба условия — тру, то

00:42:33.931 --> 00:42:34.450
есть истинны.

00:42:35.621 --> 00:42:38.818
И не результат выполнения Tru, если
условие фейс.

00:42:38.938 --> 00:42:42.175
Или наоборот. Соответственно, вот такой
значок.

00:42:43.534 --> 00:42:49.568
Как видите, то есть, что в обычном у нас
называется как пропорционально

00:42:50.607 --> 00:42:53.125
здесь, видите, оно обозначает инверсию.

00:42:55.113 --> 00:42:59.110
Чтобы проверить наличие конкретных
значений в столбце, можно вызвать метод

00:42:59.150 --> 00:43:05.865
ESIN. То есть, вот, допустим, пример кода:
Data Colon eSIN VU1,

00:43:05.905 --> 00:43:10.342
w-2, wLI, иногда нужно получить срез,
соответствующий сразу нескольким условиям.

00:43:10.421 --> 00:43:12.260
Для этого существует логическая операции.

00:43:12.340 --> 00:43:14.218
Отдельные условия указывают в скобках.

00:43:15.013 --> 00:43:18.769
Другим более простым методом получения
срезов является метод Qary.

00:43:18.929 --> 00:43:23.164
Необходимые условия для среза записываются
в строке, которую передают как аргумент

00:43:23.283 --> 00:43:26.440
методу Qary, а его применяют к
дата-фрейму.

00:43:26.520 --> 00:43:30.515
В результате получаем нужный срез: Deta
Qary calumbrum welu.

00:43:30.635 --> 00:43:31.474
Условия указанные

00:43:33.042 --> 00:43:37.518
Соответственно, в параметры Quarry
поддерживают разные операции сравнения, то

00:43:37.598 --> 00:43:41.155
есть не равно, больше, равно, меньше
равно, также математические операции.

00:43:41.235 --> 00:43:44.591
Допускают вызов к столбцам colon.

00:43:45.191 --> 00:43:49.986
Проверяют, входят ли конкретные значения в
список конструкций колон ин

00:43:50.789 --> 00:43:52.470
VULU2, В-3.

00:43:52.590 --> 00:43:58.837
Если нужно узнать, нет ли в списке
определённых значений, пишут так:ин: vu,

00:43:58.917 --> 00:44:00.839
VU 2, w 3.

00:44:01.960 --> 00:44:06.124
Так, работаю с логическими операторами в
привычном виде, где или ор-и

00:44:07.815 --> 00:44:09.614
Ent не.

00:44:09.693 --> 00:44:12.051
То есть указывать условия в скобках
необязательно.

00:44:12.171 --> 00:44:15.568
Без скобок операции выполняются в
следующем порядке: сначала нот, то есть

00:44:15.768 --> 00:44:20.923
самый высокий приоритет, потом н и самый
низкий приоритет — или OR.

00:44:21.522 --> 00:44:25.598
Также в методе Quary можно получать
значение внешних переменных.

00:44:25.718 --> 00:44:28.675
То есть вот как вари, коллон

00:44:29.776 --> 00:44:32.374
Соответственно, коммерческое.

00:44:32.734 --> 00:44:39.730
При переводе данных из строки в тип Data
Time применяется метод PDo

00:44:39.770 --> 00:44:44.167
Data Time. Зачастую пандес пытается
самостоятельно угадать формат данных.

00:44:44.247 --> 00:44:46.685
Однако в таких случаях стоит указывать
параметр

00:44:48.035 --> 00:44:54.638
Соответственно, virst.ru, который
означает, что в переданной строке

00:44:54.838 --> 00:44:56.079
сначала идёт год.

00:44:56.159 --> 00:45:00.441
Но всё же рекомендуется приписывать формат
вручную, чтобы избежать ошибок.

00:45:00.721 --> 00:45:05.764
Для доступа к отдельным компонентам даты и
времени используется атрибут DT столбца с

00:45:05.884 --> 00:45:06.764
данными временем.

00:45:07.238 --> 00:45:13.878
Соответственно, вот дата, дета-тейм, DTE,
Deta, Detame, Dte,

00:45:13.918 --> 00:45:20.798
wig Day. Если нужно прибавить или убавить
время, то используется PDimedetale.

00:45:23.118 --> 00:45:25.478
Прошу прощения, PDimedelta.

00:45:25.934 --> 00:45:30.457
...который можно передать желаемый сдвиг в
днях, часах, минутах и так далее.

00:45:30.817 --> 00:45:33.778
Дельта, то есть передавая соответствующие
параметры.

00:45:33.858 --> 00:45:37.941
Обратите внимание, что переход через 24
часа автоматически приводит к изменению

00:45:38.101 --> 00:45:43.784
даты. Вот Data Shifta Time равно дата,
дельта-тайм какой-то плюс PD

00:45:44.688 --> 00:45:46.890
Тайм дата Hews равна десяти.

00:45:47.651 --> 00:45:51.574
То есть, соответственно, вот 10 часов
прибавили, и посмотрим, какая следующая

00:45:51.654 --> 00:45:58.539
дата будет. Для округления времени в
Пантес есть метод детерант в качестве

00:45:59.940 --> 00:46:00.421
параметра

00:46:01.302 --> 00:46:05.062
Соответственно, передаётся шаг округления
строки вида.

00:46:06.222 --> 00:46:11.503
То есть, соответственно, 1 означает, что
один час, хауф-ч, то есть необязательно

00:46:11.663 --> 00:46:14.704
округлять шагом в 1 ч, можно округлить
шагом в несколько часов.

00:46:14.864 --> 00:46:18.905
Другие популярные единицы округления 1, то
есть день.

00:46:22.889 --> 00:46:29.887
Аш t мин Second секунда.

00:46:31.486 --> 00:46:36.164
Так, ну и, соответственно, пример: Data
Time-round округляем, равняется

00:46:36.284 --> 00:46:38.243
дата-фрейм, дата-раунд 3.

00:46:39.123 --> 00:46:41.483
То есть округляем до трёх часов.

00:46:42.203 --> 00:46:46.244
Если нужно округлить в меньшую или большую
сторону, вместо метода Round используется

00:46:46.364 --> 00:46:51.365
методы flow или Sale, соответственно.

00:46:52.085 --> 00:46:56.485
За построение графиков пандас отвечает
метод Ploat, который строит графики.

00:46:57.072 --> 00:46:59.594
По значениям столбцов из дата-фрейма.

00:46:59.674 --> 00:47:06.281
На оси abcess X расположения индекса и на
оси координат X значение столбцов Data

00:47:06.361 --> 00:47:11.806
Plot. У метода Plot есть параметр Style,
который отвечает за стиль отображения

00:47:11.926 --> 00:47:12.247
точек.

00:47:13.559 --> 00:47:17.280
Ноль вместо непрерывной линии отображается
каждая точка кружком.

00:47:17.721 --> 00:47:21.883
X вместо непрерывной линии отображается
каждая точка с символом X.

00:47:22.523 --> 00:47:26.485
Ноль, соответственно, чёрточкой
отображается непрерывная линия и точка.

00:47:26.885 --> 00:47:29.326
Можно отметить оси, напрямую указать как

00:47:30.537 --> 00:47:33.415
Напрямую указать, какой столбец отвечает
за какую ось.

00:47:33.535 --> 00:47:38.571
Вот дата-плот X равняется колун X gрек
равняется колун Y.

00:47:38.771 --> 00:47:44.886
Границы осей можно скорректировать
параметры X-лим и Ymitas, то есть

00:47:45.045 --> 00:47:48.203
ограничения. Как в случае с ящиком с
усами.

00:47:48.283 --> 00:47:49.522
То есть дата-плот.

00:47:50.195 --> 00:47:56.235
X Lin равнок-мин, X-max ygrek-In
grek-ин-грек-макс.

00:47:56.315 --> 00:48:03.234
Для отображения сетки указывается параметр
грид, сетка равный тру,

00:48:03.314 --> 00:48:07.233
соответственно. Data Plote greed равно
тра, то есть будет сетка.

00:48:07.473 --> 00:48:10.873
Размером графика управляет через параметр

00:48:12.435 --> 00:48:14.436
Фиксайс — размер фигуры.

00:48:14.516 --> 00:48:19.639
Ширину и высоту области построения в
дюймах передают параметру в скобках.

00:48:19.719 --> 00:48:25.242
То есть вот дата-плот, соответственно, fix
ise равняется X Yice.

00:48:25.602 --> 00:48:28.644
Когда данных много, точки на графиках
сливаются.

00:48:29.186 --> 00:48:32.226
Из визуального представления мало что
можно понять.

00:48:32.386 --> 00:48:35.345
Для решения этой проблемы применяется
группировка данных.

00:48:35.705 --> 00:48:39.025
Пример также применяет группировка,
благодаря которой график становится

00:48:39.225 --> 00:48:40.825
гораздо информативнее.

00:48:42.544 --> 00:48:44.344
То есть, вот тоже фрагмент кода.

00:48:45.230 --> 00:48:52.227
Data Qvery Colums D равно valu Pit Table
индекс равняется Колумне 1, velus

00:48:52.907 --> 00:48:59.625
равно Колумбе-2 равно трукс Ice равняется
указанной размер

00:48:59.865 --> 00:49:00.625
12,5

00:49:07.785 --> 00:49:13.184
Стадии группировки можно описать формулой:
Split eply combine Split, то есть

00:49:13.304 --> 00:49:16.903
разделить разбиение на группы по
определённому критерию.

00:49:16.983 --> 00:49:21.302
Оплай, применить применение какого-либо
метода к каждой группе в отдельности.

00:49:21.462 --> 00:49:25.581
Например, подсчёт численности группы
методом Count или суммирование вызовом

00:49:25.701 --> 00:49:25.981
сумм.

00:49:26.787 --> 00:49:30.942
Комбайн объединить сведения, сведение
результатов в новую структуру данных в

00:49:30.982 --> 00:49:34.139
зависимости от условий, разделения и
выполнения метода.

00:49:34.379 --> 00:49:36.177
Это бывает дата-фрейм и сервис.

00:49:36.217 --> 00:49:40.612
С помощью графиков с группировкой можно
обнаружить выбросы, которые до этого не

00:49:40.692 --> 00:49:43.449
были видны. Так, когда из-за выбросов
серьёзно

00:49:44.343 --> 00:49:46.305
Завышается средняя арифметическое.

00:49:46.425 --> 00:49:50.388
Как сделать так, чтобы аномально высокие
значения не завышали среднее

00:49:50.388 --> 00:49:53.631
арифметическое? Решение этих задач может
быть два.

00:49:53.831 --> 00:49:59.035
То есть первое — убрать выбросы, вместо
среднего арифметического считать медиану.

00:49:59.515 --> 00:50:02.878
Медиана устойчива к выбросам, но всё же не
безупречно.

00:50:02.958 --> 00:50:04.720
Пики всё ещё могут отображаться.

00:50:05.401 --> 00:50:08.442
Ну вот, как мы говорили, пример по средней
зарплате.

00:50:08.762 --> 00:50:14.605
В ходе работы можно обнаружить, что в
данных, которые предоставили, содержится

00:50:14.805 --> 00:50:18.927
ошибка. В таком случае можно
сформулировать проблему, чтобы устранить

00:50:19.007 --> 00:50:22.568
поиск потенциальной ошибки в алгоритме
выгрузки данных.

00:50:22.728 --> 00:50:23.048
Правильная

00:50:23.780 --> 00:50:30.743
Сообщение об ошибке или баг репорт должен
чётко

00:50:30.863 --> 00:50:33.544
объяснять, в чём именно ошибка и как её
найти.

00:50:33.624 --> 00:50:38.507
Коллеги, отвечающие за выгрузку ничего, о
результатах исследования аналитика не

00:50:38.627 --> 00:50:40.388
знает, поэтому нужно чётко формулировать

00:50:40.952 --> 00:50:45.716
...где, соответственно, видится проблема.

00:50:46.557 --> 00:50:49.680
Так, следующий момент. Работа с
несколькими источниками данных.

00:50:49.840 --> 00:50:54.844
При работе со срезами можно использовать
внешние переменные не только числового или

00:50:54.924 --> 00:50:58.728
строкового типа, но и листы, словари,
серии, даже дата-фреймы.

00:50:58.808 --> 00:51:02.251
Обращаться к ним можно как к обычным
внешним переменным.

00:51:02.695 --> 00:51:08.579
Если для среза используется лист, то
проводится проверка, что значения в

00:51:08.659 --> 00:51:11.941
определённой колонке входят или не входят
в лист.

00:51:14.022 --> 00:51:20.585
Соответственно, вот фрагмент кода лист
равно 1, 2,

00:51:20.705 --> 00:51:21.946
3. Print.

00:51:23.302 --> 00:51:25.905
Аналогичная проверка осуществляется с
помощью словаря.

00:51:26.225 --> 00:51:31.110
Но проверяется, что значения в
определённой колонке входят или не входят

00:51:31.671 --> 00:51:33.353
в ключи словаря.

00:51:34.113 --> 00:51:36.316
Соответственно, аудикт, принт.

00:51:36.836 --> 00:51:41.521
Когда в переменной сохранён объект,
конструкция колон.

00:51:41.894 --> 00:51:44.731
проводят вхождение в список значений, а не
индексов.

00:51:44.851 --> 00:51:51.604
То есть Aur series равняется PID-сервис,
11, 12, допустим, Print Data Quary

00:51:54.082 --> 00:51:59.316
Если нужно проверить вхождение в индекс,
это указывает явно, дописывая индекс через

00:51:59.476 --> 00:52:00.715
точку колон ин

00:52:01.716 --> 00:52:03.954
Коммерческая AU Serius индекс.

00:52:05.233 --> 00:52:06.872
Фрагмент кода, соответственно.

00:52:07.871 --> 00:52:11.628
Aur series равно PD-series с параметрами.

00:52:11.908 --> 00:52:18.063
Print Data Cory, соответственно, колон ин
коммерческая AUSeries индекс.

00:52:18.183 --> 00:52:21.580
Когда имеют дело с объектом DataFrame,
вхождение в индекс

00:52:22.607 --> 00:52:28.374
Проверяют так же, как в сервис, приписав
индекс через точку к имени дата-фрейма.

00:52:28.814 --> 00:52:35.382
Значит, AU Data-Frame PDataFrame: Calon
1246, Calone 2 322, Calon 3

00:52:35.702 --> 00:52:37.945
ABC большие.

00:52:41.298 --> 00:52:43.417
Так, то есть вот такой массив.

00:52:49.491 --> 00:52:53.088
Соответственно, можно напечатать принтaта
Квери.

00:52:53.128 --> 00:52:56.125
Для проверки вхождения в какой-либо
столбец применяют его имя.

00:53:04.288 --> 00:53:06.809
Несколько гистограмм можно отобразить на
одном графике.

00:53:06.929 --> 00:53:09.089
Для этого можно применять следующую
конструкцию.

00:53:09.249 --> 00:53:10.489
Ну, вот как показано.

00:53:10.689 --> 00:53:12.770
Тут я зачитывать смысла нет.

00:53:13.690 --> 00:53:19.571
Значит, AX равно и так далее, Data 2 —
плот.

00:53:20.091 --> 00:53:20.291
То есть

00:53:22.665 --> 00:53:25.466
И в скобках все параметры.

00:53:25.746 --> 00:53:31.387
Включая сетка тру истина, длина указана.

00:53:31.787 --> 00:53:37.388
Обратите внимание, что вызвали не метод
Hist, а именно плот с параметром Kint,

00:53:37.628 --> 00:53:40.709
которым установили значение kins равно
равно хист.

00:53:41.994 --> 00:53:44.716
Это также гистограмма, то есть
хист-гистограмма.

00:53:45.077 --> 00:53:50.202
Только поддерживающая параметры, которые
нельзя задействовать в методом хист прежде

00:53:50.322 --> 00:53:54.446
всего. Хист-тайп.

00:53:54.566 --> 00:53:57.489
Тип гистограммы. По умолчанию это
столбчатая, то есть

00:53:58.710 --> 00:54:03.874
Закрашенное значение стэп чертит только
линию.

00:54:06.316 --> 00:54:09.518
Лайн вид, толщина линии графика в
пикселях.

00:54:09.638 --> 00:54:12.440
Альфа. Густота закраски линии.

00:54:12.600 --> 00:54:15.803
1 — это стопроцентная закраска, ноль —
прозрачная линия.

00:54:16.693 --> 00:54:18.533
Соответственно, label.

00:54:18.733 --> 00:54:25.652
Название линии Xet Plot, возвращающий оси
Xi, на которой были построены

00:54:25.772 --> 00:54:30.971
графики. Чтобы обе гистограммы
располагались на одном графике, надо

00:54:31.131 --> 00:54:32.891
сохранить оси первого графика.

00:54:33.850 --> 00:54:38.049
Переменный Ax, а затем передать его
значение параметру Acc второго плота.

00:54:38.409 --> 00:54:43.087
Так, сохранив оси одной гистограммы и
построив вторую на оссях первых,

00:54:43.127 --> 00:54:44.327
объединить в два графика.

00:54:44.527 --> 00:54:48.405
Лэнд выводит в легенду список условных
обозначений на графике.

00:54:49.245 --> 00:54:52.966
При добавлении столбцов в Data-Frame можно
учесть несколько нюансов.

00:54:53.126 --> 00:54:56.568
Пусть у нас есть два дата-фрейма,
соответственно, Data 1 и Data 2.

00:54:56.728 --> 00:55:02.010
Добавим в Data 1 новую колонку, значение
которой будет совпадать со значением

00:55:02.090 --> 00:55:05.371
столбца Data Colon, Data 1.

00:55:06.014 --> 00:55:11.655
Если бы столбец New же, соответственно, в
Data 1, то все его элементы были бы уже

00:55:11.775 --> 00:55:14.215
удалены, а вместе их записаны новые.

00:55:14.735 --> 00:55:19.456
Кажется, просто Панда скопирует столбец
Data 2, вставляет его в Data 1.

00:55:19.536 --> 00:55:20.656
Однако всё сложнее, когда

00:55:21.493 --> 00:55:25.887
В каждой строке первого Data-Frama Pandas
ищет пару, то есть строку с таким же

00:55:25.967 --> 00:55:31.479
индексом во втором Data-Fram находит и
берёт значение из этой строки.

00:55:31.559 --> 00:55:35.154
То есть в нашем случае индексы Data 1 и
Data 2 совпали.

00:55:35.600 --> 00:55:37.961
И всё оказалось простым копированием строк
по порядку.

00:55:38.081 --> 00:55:41.522
Если же индексы не будут совпадать,
например, дата 2 не будет некоторых

00:55:41.602 --> 00:55:45.843
значений индекса Data 1, то при
копировании столбца на их месте будет

00:55:46.003 --> 00:55:47.403
значение на Н.

00:55:47.603 --> 00:55:48.964
То есть пропуск.

00:55:52.685 --> 00:55:55.365
Число строк в Data 2 необязательно.

00:55:56.869 --> 00:55:59.429
Должно совпадать с числом слов Data 1.

00:56:00.070 --> 00:56:04.030
Если Data 2 не хватает значений, то Data
будет ноль.

00:56:04.710 --> 00:56:08.431
И будут лишние, просто не попадут в
обновлённый Data Frame.

00:56:08.671 --> 00:56:12.351
А вот повторяющиеся значения в индексе
Data 2 приведут к ошибке.

00:56:12.431 --> 00:56:15.152
То есть Пандекс не поймёт, какое значений
следует

00:56:16.208 --> 00:56:17.448
Подставить в дата-1.

00:56:17.528 --> 00:56:20.089
Отдельный столбец можно создать и без
дата-фрейма.

00:56:20.289 --> 00:56:22.529
Сервие — это будет набор значений с
индексами.

00:56:22.609 --> 00:56:28.410
При попытке присвоить объект с индексами
пандас подберёт соответствующие индексам

00:56:28.490 --> 00:56:32.291
строки. Если передавать столбцу список
значений без индекса, такой лист

00:56:32.531 --> 00:56:33.851
присвоения будет идти к

00:56:34.578 --> 00:56:35.779
По порядку строк.

00:56:36.219 --> 00:56:40.780
При работе над задачей нужно грамотно
выбирать метод усреднения, так как он

00:56:40.980 --> 00:56:42.341
может повлиять на выводы.

00:56:42.461 --> 00:56:46.902
Где-то средняя арифметическая более точно
опишет данные, а где-то может дать

00:56:46.982 --> 00:56:48.583
некоторый некорректный результат.

00:56:48.703 --> 00:56:49.623
Тогда нужно вычислить

00:56:50.268 --> 00:56:55.272
Медиана. Метод, соответственно, Pivot
Table группирует данные.

00:56:55.392 --> 00:57:01.197
А что с ними делать, указывать значение
параметра Age Func, функция агрегации.

00:57:01.437 --> 00:57:05.640
Среди этих значений есть Ferst, первое
значение из группы, ласт — последнее

00:57:05.680 --> 00:57:06.561
значение группы.

00:57:07.238 --> 00:57:12.839
В одном вызове, соответственно, pille
Table, Pilot Table, можно передать

00:57:12.959 --> 00:57:15.800
параметру Age Fund списком нескольких
функций.

00:57:15.880 --> 00:57:18.440
В интерующей таблице они будут в соседних
столбцах.

00:57:18.560 --> 00:57:23.641
Когда в индексе не одно значение, а целый
список, то получается двухэтажное название

00:57:23.721 --> 00:57:25.282
столбцов, то есть мультииндекс.

00:57:25.362 --> 00:57:28.842
Вообще индексы можно представить как ещё
один столбец в дата-Фрейме.

00:57:29.456 --> 00:57:31.853
То есть выходит мультииндекс несколько
столбцов.

00:57:32.052 --> 00:57:37.045
Это справедливо и для названий столбцов
они как дополнительные строки в

00:57:37.125 --> 00:57:41.239
дата-фрейме. В таком случае мультикс — это
две и более строк с названиями.

00:57:44.886 --> 00:57:48.289
Когда нужно к существующему дата-фрейму
добавить несколько новых столбцов,

00:57:48.329 --> 00:57:51.733
существует более лаконичный способ сделать
это по сравнению с добавлением каждого

00:57:51.813 --> 00:57:56.618
столбца по очереди. Такая процедура
называется объединение, Джоин или слияние

00:57:56.818 --> 00:58:00.061
мерш. Для слияния используется,
соответственно, метод мерч.

00:58:01.255 --> 00:58:03.454
Параметр How, то есть метод объединения.

00:58:03.574 --> 00:58:08.372
То есть вот как Data 1, merce, Data 1, on
Colone How inder.

00:58:08.692 --> 00:58:13.650
Если некоторые значения в колонке слияния
совпадают, то остаются только одни.

00:58:14.169 --> 00:58:18.088
Такой тип объединения называет Inder, то
есть внутренняя ошибка.

00:58:21.032 --> 00:58:25.355
Общая, внутренняя, общая область, где есть
данные, соответственно, Data 1 и Data 2.

00:58:25.475 --> 00:58:31.119
Существует тип слияния outer.

00:58:32.000 --> 00:58:36.803
То есть внешняя общая область, область,
где есть данные хотя бы в одном из,

00:58:36.923 --> 00:58:37.443
соответственно.

00:58:38.222 --> 00:58:40.102
DF1 или DF2.

00:58:40.503 --> 00:58:44.864
Режим объединения LEFT, когда в результате
слияния обязательно будут все строки из

00:58:44.984 --> 00:58:46.185
левого Data Frame.

00:58:46.225 --> 00:58:47.785
В нашем случае Data 1.

00:58:48.146 --> 00:58:53.068
И есть полностью аналогичный режим Rige,
когда сохраняются все строки из Data 2.

00:58:53.588 --> 00:58:58.470
Если совпадут имена столбцов Data 1 и Data
2, то Pandas переименует их

00:58:59.547 --> 00:59:02.184
Чтобы можно было разобраться, где какое
значение.

00:59:02.344 --> 00:59:07.858
Как известно, к названию столбца из Data 1
в таком случае припишется X, а к столбцу

00:59:07.978 --> 00:59:12.413
дата-2 игрек. Можно самостоятельно задать
что?

00:59:14.070 --> 00:59:19.425
Приписать названию столбцов, используя
параметр Suffix, то есть X-грек, заменив,

00:59:19.465 --> 00:59:24.621
соответственно, нижний слэш-кс, нижний
слэш-грек на нужные нам окончания имён

00:59:24.820 --> 00:59:30.136
столбцов. Отметим также, что если столбец
индекса именованный, то можно передать его

00:59:30.295 --> 00:59:31.534
имя с параметром.

00:59:31.574 --> 00:59:33.812
Объединить можно не только по одному
столбцу.

00:59:34.500 --> 00:59:38.620
Но по совпадению значений в нескольких
столбцах достаточно только передать список

00:59:38.780 --> 00:59:44.180
вон. Также в Пандах существует аналогичный
метод Join, который ищет совпадение по

00:59:44.260 --> 00:59:48.661
индексам Data 1, Data 2, если не указать
параметр.

00:59:48.781 --> 00:59:52.901
В случае указания параметра Н, он будет
искать соответствующий столбец Data 1 и

00:59:52.981 --> 00:59:54.541
сравнивать его с индексом Data 2.

00:59:55.222 --> 01:00:00.743
Кроме того, если в Merj слияние по
умолчанию хао равнор, то Join

01:00:01.864 --> 01:00:05.424
использует по умолчанию Kau равно лефт.

01:00:06.225 --> 01:00:08.945
Отличается названием параметров суффиксов.

01:00:09.185 --> 01:00:13.306
Они разделены на два независимых,
соответственно, L-суффикс и R- суффикс.

01:00:14.240 --> 01:00:17.923
Ещё Join позволяет объединить сразу более
двух дата-фрейм.

01:00:17.963 --> 01:00:21.325
То есть их набор можно определить списком
вместо одного — дата-два.

01:00:22.886 --> 01:00:24.167
Взаимосвязь данных.

01:00:24.367 --> 01:00:28.130
График, где значения соединяются линиями
хороший, если иллюстрировать непрерывную

01:00:28.250 --> 01:00:29.011
связь. Если же

01:00:30.077 --> 01:00:33.234
Расположении данных, которые никак не
связаны друг с другом, гораздо лучше

01:00:33.434 --> 01:00:38.868
обозначить их точками. Это возможно на
основе на особом типе графиков, то есть в

01:00:38.868 --> 01:00:41.665
диаграмме рассеяния, так называемый
скейт-плот.

01:00:41.825 --> 01:00:46.060
То есть дата-плот колон X, колонна-грек.

01:00:46.714 --> 01:00:49.235
Соответственно, крайн-тип равняется
скеттер.

01:00:49.355 --> 01:00:55.237
Очевидный недостаток диаграммы рассеяния в
том, что местами может оказаться огромное

01:00:55.317 --> 01:00:57.917
количество точек, сливающихся в единую
массу.

01:00:58.077 --> 01:01:02.599
В облаке значений не разглядеть области
более высокой плотности.

01:01:02.679 --> 01:01:07.160
Есть два способа сделать график нагляднее:
сделать точки полупрозрачными, задав

01:01:07.280 --> 01:01:08.200
параметр альфа.

01:01:08.740 --> 01:01:10.741
...и подобрать его оптимальные значения.

01:01:10.821 --> 01:01:14.181
Построить график, поделённый на
шестиугольные области.

01:01:14.301 --> 01:01:18.181
График делят на ячейки, пересчитывают
точки в каждой ячейке, затем ячейки

01:01:18.261 --> 01:01:22.221
заливают цветом. Чем больше точек, тем
цвет гуще.

01:01:22.341 --> 01:01:24.382
Такой график называется, соответственно...

01:01:25.797 --> 01:01:30.036
Хекс-бин-графиком, то есть разделённым на
шестиугольные области.

01:01:31.316 --> 01:01:36.156
Число ячеек по горизонтальной оси задаёт
параметром, соответственно, Grade Science

01:01:36.356 --> 01:01:40.195
аналогом Bins для хиста, то есть
гистограммы.

01:01:50.727 --> 01:01:53.489
Значит, график Хексберн.

01:01:54.009 --> 01:02:00.413
Соответственно, вот здесь кусочек,
соответственно, кода.

01:02:00.893 --> 01:02:06.217
Опять же, в параметр просто вставляем кинт
равняется видите, хексберн.

01:02:07.529 --> 01:02:11.851
Ну, если на практических занятиях мы это
попробуем.

01:02:12.491 --> 01:02:19.374
Смысл этого графика, как и у гистограммы,
отображения частности, то есть

01:02:19.694 --> 01:02:20.335
частоты.

01:02:22.665 --> 01:02:25.225
Но на гистограмме указана только одна
величина.

01:02:25.385 --> 01:02:29.025
Здесь две, то есть повышенная частота
определённых сочетаний указывает на

01:02:29.145 --> 01:02:33.745
закономерности. Часто цель анализа данных
в том и состоит, чтобы показать связь двух

01:02:33.785 --> 01:02:37.145
величин. Взаимосвязь двух величин
называется корреляция.

01:02:38.145 --> 01:02:39.425
График позволяет утверждать

01:02:40.755 --> 01:02:43.594
Что две величины явно взаимосвязаны или
коррелируют.

01:02:43.674 --> 01:02:48.992
В этом случае, если существует прямая
зависимость величин: чем больше одна, тем

01:02:49.032 --> 01:02:52.110
больше другая, то говорят, что корреляция
положительная.

01:02:52.190 --> 01:02:56.668
В том случае, если существует обратная
зависимость величин, чем больше одна, тем

01:02:56.668 --> 01:02:59.147
меньше другая, то говорят, что корреляция
отрицательная.

01:03:03.199 --> 01:03:06.601
Численно взаимосвязь оценивается с помощью
коэффициента корреляции, например,

01:03:06.721 --> 01:03:10.763
пирсона. Он помогает определить, как
сильно меняется одна величина при

01:03:10.843 --> 01:03:14.004
изменении другой и принимает значение от
-1 до 1.

01:03:14.204 --> 01:03:17.926
Если с ростом первой величины растёт
вторая, то коэффициент корреляции пирсона

01:03:18.046 --> 01:03:18.767
положительный.

01:03:19.304 --> 01:03:22.984
Если при изменении одной величины другая
остаётся прежней, то коэффициент равен

01:03:23.024 --> 01:03:25.104
нулю, то есть никакой связи.

01:03:25.224 --> 01:03:28.183
Если рост одной величины связан с
уменьшением другой, коэффициент

01:03:28.343 --> 01:03:30.263
отрицательный, то есть обратная связь.

01:03:30.383 --> 01:03:34.863
Чем ближе коэффициент корреляции Persan к
райним значением 1 или - 1, тем сильнее

01:03:34.983 --> 01:03:35.783
взаимосвязь.

01:03:36.517 --> 01:03:40.913
Если значение близкое к нулю, то значит
связь слабая либо отсутствует вовсе.

01:03:41.233 --> 01:03:45.510
Бывает, что коэффициент нулевой, не
оттого, что связи между значениями нет, а

01:03:45.630 --> 01:03:48.708
потому, что у неё более сложный,
нелинейный характер, то есть коэффициент

01:03:48.788 --> 01:03:50.587
корреляции такую связь не берёт.

01:03:50.906 --> 01:03:51.986
Коэффициент пирсона

01:03:52.925 --> 01:03:54.364
Находит методом кор.

01:03:54.484 --> 01:03:59.041
Соответственно, метод применяет к столбцу
с первой величиной, а столбец со второй

01:03:59.121 --> 01:04:04.477
величиной передаёт в параметры,
Соответственно, когда в задаче нужно найти

01:04:05.597 --> 01:04:09.714
попарные взаимосвязи величин, это можно
сделать с помощью попарных диаграмм

01:04:09.794 --> 01:04:10.393
рассеивания.

01:04:11.148 --> 01:04:14.544
Значит, Pandas такую задачу решает,
соответственно, не Data-plot, а

01:04:14.623 --> 01:04:20.335
специальным методом PD-ploting Skaten
Matrix, то есть Матрица специальная.

01:04:20.815 --> 01:04:24.170
Соответственно, PD-plotin's Catin Matrix в
скобках Data.

01:04:24.672 --> 01:04:29.070
Помимо попарных диаграмм рассеяния, можно
получить попарный коэффициент корреляции

01:04:29.190 --> 01:04:33.349
для всех величин. Это можно с помощью
сделать с помощью матрицы корреляции.

01:04:33.429 --> 01:04:35.468
Видите, находится как дата кор.

01:04:36.468 --> 01:04:38.507
Следующий вопрос: волидация результатов.

01:04:40.912 --> 01:04:44.870
Если объект исследования является
обособленным, никак не связанным с

01:04:44.910 --> 01:04:50.627
ближайшими соседями, то для анализа лучше
подходит столбчатый график, так как он

01:04:50.747 --> 01:04:52.866
подчёркивает изолированность данных.

01:04:52.946 --> 01:04:55.545
Столбчатый график строят методом плот.

01:04:55.705 --> 01:04:58.544
Параметром передаёт тип графика,
соответственно, кент.

01:04:59.377 --> 01:05:05.617
Кинт равняется Бар, соответственно, ну то
есть столбчатый график.

01:05:06.297 --> 01:05:09.378
И, соответственно, указывает вот параметр.

01:05:10.578 --> 01:05:15.818
Примеров таких можно много найтий как раз
график.

01:05:18.503 --> 01:05:22.307
Однако, если объектов много и не все они
обладают достаточно высокими целевыми

01:05:22.387 --> 01:05:25.511
показателями, можно перевести их в
группировку для дальнейшей обработки.

01:05:25.631 --> 01:05:29.916
Группировку в таком случае можно перевести
как выборочное переименование.

01:05:30.877 --> 01:05:34.522
Выборочно изменяет значение методом V.

01:05:34.899 --> 01:05:38.696
То есть ему передают два параметра:
Bullev-массив и новое значение.

01:05:38.775 --> 01:05:42.212
Если в буллево-массиве тру
соответствующему значению не име- не

01:05:42.332 --> 01:05:46.009
меняется, а если файль, значение
поменяется на второй параметр метода.

01:05:46.448 --> 01:05:50.884
То есть вот строка, как видите, вот
синтаксис описана.

01:05:51.955 --> 01:05:56.718
На данном слайде в некоторых случаях для
визуализации данных уместно использовать

01:05:56.918 --> 01:06:02.481
круговую диаграмму, так как она хороша для
показа доли каждого значения 100%.

01:06:02.561 --> 01:06:05.123
Ну, круговую диаграмму все знают,
показывать не будем.

01:06:05.323 --> 01:06:09.045
Чтобы получить круговую диаграмму,
достаточно вплоть задать, соответственно,

01:06:09.165 --> 01:06:09.925
кант пайер.

01:06:10.258 --> 01:06:13.059
То есть пирог, дословно — круговая
диаграмма.

01:06:13.139 --> 01:06:18.179
При этом нужно задать столбец с данным
параметром: игрек равняется дата-плот,

01:06:18.259 --> 01:06:20.979
игрек равняется колун, карт равняется P.

01:06:21.539 --> 01:06:25.020
Работать с данными в зависимости от
определённых значений в столбце по

01:06:25.140 --> 01:06:28.060
отдельности стандартными методами не
всегда бывает удобно.

01:06:28.939 --> 01:06:35.376
Для того чтобы работать с данными по
группам, существует метод Group I, который

01:06:35.616 --> 01:06:37.895
автоматически перебирает уникальные
значения.

01:06:37.975 --> 01:06:42.053
Ему передаёт столбец, он возвращает
последовательность пар, значение столбца,

01:06:42.093 --> 01:06:43.812
срез данных с этим значением.

01:06:43.892 --> 01:06:47.531
И в дальнейшем можно обработать эти срезы
в соответствии с последующей

01:06:48.400 --> 01:06:49.999
...с поставленными задачами.

01:06:50.559 --> 01:06:56.235
Так, ну опять же, вот вам пример кода For
Columb Velue,

01:06:56.275 --> 01:07:03.031
Columbsis in Data, график, колумб
некоторое

01:07:03.151 --> 01:07:04.510
введение в Stat-Анализ.

01:07:05.457 --> 01:07:08.259
Значит, тут он это во многом классические
вопросы.

01:07:08.459 --> 01:07:12.101
Для больших данных вопрос только в
использовании этих методов.

01:07:12.502 --> 01:07:14.303
Прежде всего описательная статистика.

01:07:14.423 --> 01:07:18.186
Категория количественная переменная
принимает значения из ограниченного

01:07:18.266 --> 01:07:21.869
набора. Количественная и численная
переменная принимают числовые значения в

01:07:21.909 --> 01:07:22.549
диапазоне.

01:07:23.226 --> 01:07:27.671
Количественные переменные подразделяются
на непрерывные, которые могут принимать

01:07:27.832 --> 01:07:31.917
любые численные значения и дискретные,
которые могут принимать строго

01:07:32.037 --> 01:07:35.601
определённые значения. Гистограмма хорошо
подходит для работы с дискретными

01:07:35.681 --> 01:07:37.483
переменными, для отображения частот.

01:07:38.127 --> 01:07:40.207
Непрерывных переменных нужно что-то
другое.

01:07:40.287 --> 01:07:44.688
Одним из подходов к визуализации значений
непрерывных переменных является разделение

01:07:44.808 --> 01:07:49.409
множества значений на интервалы и подсчёт
количества значений, попадающих в каждый

01:07:49.449 --> 01:07:53.811
интервал. Пандус при построении
гистограммы может задавать не только

01:07:54.091 --> 01:07:57.812
количество интервалов, то есть корзин, но
и явно указывать их границы.

01:07:59.366 --> 01:08:00.847
Их ещё карманами называют.

01:08:00.967 --> 01:08:07.813
То есть вот дата хист Bince velu 1, belue
2, соответственно, какой-то velue N —

01:08:07.934 --> 01:08:11.857
значение N. Однако этот подход не может
дать полного представления о значениях

01:08:11.977 --> 01:08:15.700
переменной, так как полученная гистограмма
сильно зависит от того, как разбили

01:08:15.781 --> 01:08:17.462
множество значений на интервалы.

01:08:17.582 --> 01:08:18.983
Для того чтобы решить недостаток

01:08:19.977 --> 01:08:21.298
Разбиение на интервалы.

01:08:21.338 --> 01:08:25.581
Применяется метод, отображающий частоту не
высотой столбца гистограммы, а его

01:08:25.741 --> 01:08:30.664
площадью. Площадь столбца находят, как
площадь прямоугольника длину интервала

01:08:30.785 --> 01:08:32.266
умножает на высоту столбца.

01:08:32.346 --> 01:08:35.308
И вот найденная площадь — это частота
непрерывной переменной.

01:08:35.867 --> 01:08:37.786
А высота столбца — плотность частоты.

01:08:37.986 --> 01:08:41.626
Гистограмма, использующая в качестве
переменной столбца плотность частоты,

01:08:41.666 --> 01:08:43.506
называется плотностной гистограммой.

01:08:43.706 --> 01:08:48.146
Вот как раз известные законы распределения
именно так и определяются.

01:08:48.706 --> 01:08:51.225
То есть мы вот рассматривали пласоновскую

01:08:52.332 --> 01:08:57.018
кривую, Гаусовскую кривую нормального
распределения, вот это вот не что иное,

01:08:57.018 --> 01:08:58.660
как плотность распределения.

01:08:58.900 --> 01:09:02.744
Для того чтобы оценить, сколько значений
попало в любой интервал, необязательно

01:09:02.944 --> 01:09:07.670
выбранный для построения, берут два
значения и ищут площадь.

01:09:08.070 --> 01:09:09.952
Плотностной гистограммы между ними.

01:09:10.032 --> 01:09:13.756
Полученное число и будет оценкой
количества значений, попавших в интервал.

01:09:14.677 --> 01:09:18.240
Плотность частоты для непрерывных
переменных можно задавать не только

01:09:18.520 --> 01:09:22.164
прямоугольниками, как на гистограммах, но
и кривыми функциями.

01:09:22.284 --> 01:09:26.608
Работает тот же принцип: площадь между
двумя значениями пропорциональна частоте

01:09:26.768 --> 01:09:28.690
попадания значений в интервал между ними.

01:09:29.360 --> 01:09:33.678
Такие характерные значения выборки, как
медиана, среднее значение, также называют

01:09:34.358 --> 01:09:37.596
метрики локальной локации данных.

01:09:37.836 --> 01:09:44.633
По медиане и среднему можно судить, где
примерно расположен набор данных на число,

01:09:44.713 --> 01:09:45.672
на числовой оси.

01:09:46.484 --> 01:09:50.647
Два расчёта среднего значения берут все
значения дата-сета.

01:09:50.767 --> 01:09:55.291
Это необходимое полное использование
информации при поиске метрики-геолокации.

01:09:55.371 --> 01:09:58.854
Среднее значение называют алгебраической
метрикой локации.

01:09:58.934 --> 01:10:01.776
Медиана и квартире просто делят набор
данных на части.

01:10:01.856 --> 01:10:04.218
Медиана — структурная метрика локации.

01:10:04.838 --> 01:10:07.958
Для представления данных недостаточно
знать метрики локации.

01:10:08.118 --> 01:10:13.037
Нужно ещё понимать, как данные разбросаны
вокруг них.

01:10:13.117 --> 01:10:17.437
У структурной метрики локации есть
структурные методики — метрики разброса в

01:10:17.477 --> 01:10:21.237
квартире. Для подсчёта разброса значения
вокруг алгебраической метрики

01:10:22.135 --> 01:10:25.939
Может применяться такой метод — вычисление
среднего расстояния между средними

01:10:26.019 --> 01:10:28.702
значениями и всеми остальными значениями
переменной.

01:10:29.703 --> 01:10:34.068
Ранее предложенный метод подсчёта разброса
значений вокруг алгебраической метрики

01:10:34.789 --> 01:10:38.953
имеет право на существование, но он не
всегда даёт полное представление о

01:10:38.993 --> 01:10:39.554
разбросе.

01:10:41.068 --> 01:10:45.144
Улучшенная метрика разброса — не просто
среднее расстояние между значениями

01:10:45.504 --> 01:10:49.259
дата-сета и средним, а средний квадрат
этого расстояния.

01:10:50.099 --> 01:10:54.654
Эта величина называется дисперсией и
находится, соответственно, по формуле.

01:10:54.853 --> 01:10:57.610
Вот среднее, соответственно, Ню.

01:10:58.888 --> 01:11:05.886
У нас, ну, либо, соответственно, X минус
ню, или минус икс, тут неважно, знак всё

01:11:06.006 --> 01:11:07.845
равно в квадрате исчезнет.

01:11:08.524 --> 01:11:10.724
Вот. Соответственно, делится на N.

01:11:11.043 --> 01:11:13.962
Среднее арифметическое значение совокупных
данных — миу.

01:11:17.991 --> 01:11:22.232
Библиотека Nampy в Пайтон содержит большую
библиотеку высокоуровневых математических

01:11:22.312 --> 01:11:27.713
функций, импортируют её как импорт нампин.

01:11:27.953 --> 01:11:31.033
Дисперсию рассчитывают методом вар вари.

01:11:31.153 --> 01:11:34.794
Соответственно, импорт Нампи, вариент
равняется НП вар от X.

01:11:35.274 --> 01:11:36.074
Дисперсия есть

01:11:37.285 --> 01:11:42.248
Один небольшой недостаток: единица её
измерения — это квадрат исходной величины.

01:11:42.889 --> 01:11:47.331
Чтобы вернуться к исходной единице
измерения, из дисперсии извлекают

01:11:47.452 --> 01:11:51.134
квадратный корень. Получается величина,
называется стандартным отклонением,

01:11:51.174 --> 01:11:55.897
стандарт-дивершн. Либо у нас в математике
называют средне-квадратичным отклонением.

01:11:56.628 --> 01:12:00.944
Стандартное отклонение находится методом
СТД из библиотеки Нампия.

01:12:01.064 --> 01:12:03.062
Кстати, похожие функции есть и в Excel.

01:12:03.302 --> 01:12:08.457
Import Nampias Standart Diveration NPD от
X.

01:12:08.656 --> 01:12:14.091
Если дисперсия известна заранее, можно
применить метод SQRT из библиотеки Нампия,

01:12:14.131 --> 01:12:15.729
то есть найти корень из дисперсии.

01:12:17.397 --> 01:12:20.079
Соответственно, вот как показано здесь.

01:12:20.599 --> 01:12:24.722
Для большинства распределений верно
правило трёх стандартных отклонений или

01:12:24.882 --> 01:12:27.243
правило так называемых трёх сигм.

01:12:30.365 --> 01:12:35.688
Оно гласит: «Практически все значения
около 99%» находятся в промежутке: me -

01:12:35.808 --> 01:12:38.770
3igma, me + 3 сигма, ми среднее, помните?

01:12:39.778 --> 01:12:42.776
Соответственно, это правило позволяет не
только находить интервал, в который

01:12:43.056 --> 01:12:46.934
наверняка попадут практически все значения
интересующих нас переменных, но и искать

01:12:46.974 --> 01:12:49.053
значения вне этого интервала.

01:12:49.493 --> 01:12:50.852
Их называют выбросами.

01:12:51.597 --> 01:12:54.637
Многие данные из жизни распылены нормально
или симметрично.

01:12:54.677 --> 01:12:58.517
Однако дата-сеты могут быть
ассимметричными, то есть иметь скошенность

01:12:58.997 --> 01:13:00.838
положительную или отрицательную сторону.

01:13:00.958 --> 01:13:04.238
Определить скошенность легко по
гистограмме, то есть чисто визуально.

01:13:04.678 --> 01:13:08.398
Для этого нужно представить асимметричную
гистограмму как симметричную с

01:13:08.438 --> 01:13:09.718
дополнительными значениями.

01:13:10.473 --> 01:13:14.511
Такая гистограмма с дополнительными
значениями справа изображает число

01:13:14.591 --> 01:13:17.029
значений, сокращённых справа в наборе
данных.

01:13:17.309 --> 01:13:20.267
Его также называют дата-сетом с
положительной скошенностью.

01:13:20.347 --> 01:13:24.104
Вид, вид дополнительного значения
находится со стороны положительного

01:13:24.224 --> 01:13:28.221
направления оси. Скошенную влево дата-сет
получится, если добавить

01:13:29.278 --> 01:13:31.956
К симметричному набору данных значение
слева.

01:13:32.556 --> 01:13:37.832
Если влево идёт отрицательное направление
оси, такой набор данных назовут дата-сетом

01:13:37.912 --> 01:13:39.151
с отрицательной скошностью.

01:13:39.271 --> 01:13:43.028
Скошность данных также хорошо иллюстрирует
диаграмма размаха.

01:13:43.428 --> 01:13:47.265
Чтобы понять, в какую сторону скошен
дата-сет, необязательно строить графики.

01:13:48.077 --> 01:13:52.675
Достаточно взглянуть на метрики локации,
то есть медиану или средние.

01:13:52.755 --> 01:13:56.233
Помня о том, что медиана, в отличие от
среднего устойчива к выбросам, легко

01:13:56.353 --> 01:14:02.510
сделать вывод, что для скошенных вправо
данных медиана будет меньше среднего, а

01:14:02.630 --> 01:14:04.269
для скошенных влево больше.

01:14:05.205 --> 01:14:08.443
Ну вот по этому вопросу можно вот такую
иллюстрацию провести.

01:14:08.722 --> 01:14:15.077
Видите, мода — это у нас наиболее
вероятное значение, значение наибольшей

01:14:15.117 --> 01:14:20.832
вероятностью в зависимости от
распределения, скошенных в ту или иную

01:14:20.952 --> 01:14:23.270
сторону, как видите, смещаются эти оценки.

01:14:30.528 --> 01:14:33.643
Ну конечно, статистики, исследователи это
всё должны знать.

01:14:37.956 --> 01:14:42.109
Ну, здесь не очень удачная иллюстрация, но
тем не менее, тоже посмотрим.

01:14:47.657 --> 01:14:51.457
Так, ну и таким образом. Аналитика больших
данных — это процесс исследования

01:14:52.098 --> 01:14:56.419
массивных сложноструктурированных наборов
информации с целью выявления скрытых

01:14:56.459 --> 01:14:59.539
закономерностей, корреляций и других
полезных инсайтов.

01:14:59.979 --> 01:15:03.660
В отличие от традиционной аналитики, она
работает с данными, характеризующимися

01:15:03.860 --> 01:15:06.941
тремя V, как мы сказали: объёмом verium,
скоростью

01:15:07.463 --> 01:15:12.824
Поступление велоси и многообразием в Роль
аналитики больших данных в бизнесе трудно

01:15:12.944 --> 01:15:17.625
переоценить. По данным исследователя,
соответственно, КНИС или компании,

01:15:17.705 --> 01:15:22.465
интегрированные аналитику больших данных в
свои процессы, демонстрируют на 5—6% более

01:15:22.665 --> 01:15:26.226
высокую продуктивность, прибыльность по
сравнению с конкурентами.

01:15:26.386 --> 01:15:27.866
Эти цифры объясняются тем, что

01:15:28.703 --> 01:15:34.424
Качественная аналитика обеспечивает бизнес
информацию для принятия более точных

01:15:34.664 --> 01:15:39.266
стратегических решений, оптимизации
операционной деятельности, снижения

01:15:39.426 --> 01:15:43.347
задержек, персонализации клиентского
опыта, выявления новых рыночных

01:15:43.467 --> 01:15:45.867
возможностей, предотвращения рисков и
угроз.

01:15:46.759 --> 01:15:48.599
Соответственно, тип аналитики.

01:15:48.959 --> 01:15:54.760
Фокус бизнес-применения может быть
использовано описательная, то есть что

01:15:54.960 --> 01:16:01.401
произошло отчётность, соответственно,
дашборды мониторинга,

01:16:01.441 --> 01:16:04.721
диагностическая, почему это произошло.

01:16:05.317 --> 01:16:11.595
Анализ причинно-следственных связей,
предиктивное, что

01:16:11.795 --> 01:16:16.914
произойдёт, то есть прогнозирование,
моделирование и предписывающее, что нужно

01:16:17.274 --> 01:16:21.193
делать. То есть автоматизированные
рекомендации.

01:16:23.013 --> 01:16:28.012
Важно помнить, что аналитика больших
данных — не изолированная технология, а

01:16:28.292 --> 01:16:32.732
экосистема инструментов и методов, которые
позволяют извлекать ценность из

01:16:32.932 --> 01:16:35.171
информационных активов компании.

01:16:35.851 --> 01:16:39.011
Согласно прогнозам IDC к 2025 году

01:16:39.595 --> 01:16:44.629
Глобальный объём данных достигнет 175 ЗТБ,
и компании, не сумевшие наладить

01:16:44.669 --> 01:16:50.343
эффективную работу с таким потоком,
рискуют оказаться на обочине рынка.

01:16:51.102 --> 01:16:51.781
Соответственно,

01:16:55.795 --> 01:16:58.636
Ключевые методы аналитики данных в
современном мире.

01:16:58.836 --> 01:17:02.158
Арсенал методов работы с большими данными
постоянно развивается.

01:17:02.518 --> 01:17:05.920
То есть, соответственно, рассмотрим
ключевые подходы, которые формируют основу

01:17:06.000 --> 01:17:09.482
современной аналитики, обеспечивают
получение значимых инсайтов, массивов

01:17:09.562 --> 01:17:12.083
информации. Машинное обучение, машин
лёнинг.

01:17:12.697 --> 01:17:14.458
Фундамент аналитики больших данных.

01:17:14.538 --> 01:17:19.619
Алгоритмы ML выявляют паттерны, которые
сложно обнаружить традиционными методами.

01:17:19.699 --> 01:17:23.860
Наиболее распространённые варианты — это
супервайзед Лёнинг.

01:17:23.940 --> 01:17:27.500
Обучение с учителем используется для
классификации и прогнозирования на основе

01:17:27.620 --> 01:17:30.741
исторических данных с заранее известными
результатами.

01:17:33.246 --> 01:17:37.203
Обучение без учителя применяется для
кластеризации и выявления аномалий в

01:17:37.282 --> 01:17:41.958
данных, когда целевые переменные не
определены, соответственно.

01:17:45.155 --> 01:17:46.394
Обучение с подкреплением.

01:17:46.474 --> 01:17:50.949
Алгоритмы учатся принимать решения через
метод проб и ошибок, получая обратную

01:17:51.069 --> 01:17:52.588
связь от окружающей среды.

01:17:53.501 --> 01:17:57.618
Технология обработки естественного языка
MLP позволяет извлекать смысл из

01:17:57.778 --> 01:17:59.616
неструктурированных текстовых данных.

01:17:59.736 --> 01:18:04.413
Применение включает анализ точности
отзывов, обращения клиентов,

01:18:04.493 --> 01:18:06.611
автоматическая классификация документов.

01:18:07.811 --> 01:18:11.809
Извлечение структурированной информации из
текста, генерация контента на основе

01:18:11.889 --> 01:18:13.328
аналитики текстовых данных.

01:18:13.528 --> 01:18:15.847
Глубокое обучение — третий момент.

01:18:16.287 --> 01:18:20.085
Соответственно, гип-лёнинг — подход,
основанный на нейронных сетях со

01:18:20.164 --> 01:18:24.042
множеством слоёв, позволяющих работать со
сверхсложными данными, включая

01:18:24.162 --> 01:18:25.602
изображение, аудио, видео.

01:18:26.335 --> 01:18:32.783
По данным статисты, рынок решений на базе
глубокого обучения растёт на 34%

01:18:33.103 --> 01:18:36.787
ежегодно, достигнув 57 млрд 2023 г.

01:18:37.107 --> 01:18:38.629
Далее, потоговая аналитика.

01:18:39.705 --> 01:18:43.861
Стрим-аналитик обрабатывает данные в
режиме реального времени, не дожидаясь их

01:18:43.901 --> 01:18:47.738
накопления, критически важна для систем,
требующих немедленной реакции.

01:18:47.818 --> 01:18:51.534
То есть мониторинг промышленного
оборудования, обработка финансовых

01:18:51.654 --> 01:18:55.051
транзакций, выявление мошенничества,
аналитика, используемого поведения

01:18:56.316 --> 01:18:59.716
Аналитика пользовательского поведения,
прошу прощения, онлайн.

01:19:00.436 --> 01:19:05.075
Графовая аналитика, то есть какие тут
графики исследует связь между объектами,

01:19:05.115 --> 01:19:06.675
вызывает сложные зависимости.

01:19:07.228 --> 01:19:11.232
В сетевых структурах. Особенно эффективно
для анализа социальных сетей, логических

01:19:11.352 --> 01:19:15.597
цепочек, логистических цепочек и
телекоммуникационных сетей.

01:19:15.797 --> 01:19:20.962
Соответственно, несколько методов метод
аналитики, оптимизации типа данных.

01:19:31.673 --> 01:19:33.233
Так, ну ладно, просто перечислим.

01:19:33.513 --> 01:19:35.072
Времени уже заканчивается.

01:19:35.472 --> 01:19:41.950
Машинное обучение, НЛП, глубокое обучение,
соответственно, потоковая аналитика и

01:19:42.150 --> 01:19:43.430
графовая аналитика.

01:19:43.510 --> 01:19:45.549
То есть вот радиационные, сетевые модели.

01:19:45.867 --> 01:19:48.829
Как видите, здесь инструментарий показан.

01:19:49.109 --> 01:19:55.672
Глубокое обучение pi Toch kirs,
соответственно, потоковая аналитика,

01:19:55.872 --> 01:19:59.994
пачafic и так далее.

01:20:04.552 --> 01:20:08.783
При выборе методов аналитики больших
данных решающую роль играет не только тип

01:20:08.863 --> 01:20:11.537
имеющейся информации, но и конкретная
бит-задачи.

01:20:11.617 --> 01:20:12.615
Согласно исследованию

01:20:13.367 --> 01:20:18.488
Где-то 47% проектов по большим данным не
достигают цели именно за несоответствия

01:20:18.568 --> 01:20:21.329
выбранных методов анализа поставленным
бизнес-задачам.

01:20:21.689 --> 01:20:25.890
Современные потоки-подходы к аналитике
больших данных всё чаще объединяют

01:20:25.970 --> 01:20:27.851
несколько методов в комплексные решения.

01:20:27.971 --> 01:20:32.612
Например, предективное техническое
обслуживание в промышленности может

01:20:32.972 --> 01:20:38.653
сочетать анализ временных рядов, машинное
обучение и потоковую обработку данных от,

01:20:38.693 --> 01:20:40.253
соответственно, лот-устройств.

01:20:41.053 --> 01:20:43.053
Преимущества использования больших данных.

01:20:43.494 --> 01:20:47.135
Внедрение аналитики больших данных
трансформирует бизнес системным образом,

01:20:47.175 --> 01:20:50.175
затрагивая все ключевые области
деятельности.

01:20:50.295 --> 01:20:55.337
Соответственно, оптимизация принятия
решений, углубление понимания клиентов и

01:20:55.577 --> 01:20:58.578
персонализации, повышение оперативной
эффективности.

01:20:59.341 --> 01:21:03.939
Инновации и новые бизнес-модели,
управление рисками соответствует их

01:21:04.099 --> 01:21:08.857
требованиям. Мы, конечно, это в следующий
раз уже на следующих лекциях более

01:21:09.097 --> 01:21:10.497
подробно рассмотрим.

01:21:10.976 --> 01:21:13.575
Но время у нас истекло, спасибо за
внимание.