Курс за обучение по Python и Spark за Big Data (PySpark)

Този обучителен курс с инструктор (онлайн или на място) е насочен към инженери по данни, анализатори на данни и специалисти по данни, които искат да използват Databricks и PySpark за изграждане на мащабируеми потоци от обработка на данни и прехвърляне на съществуващи SQL работни потоци.

Това обучение предоставя практическо въведение в изграждането на мащабируеми процеси за обработка на данни и машинно обучение с помощта на PySpark. Участниците научават как Apache Spark функционира в съвременните Big Data екосистеми и как ефективно да обработват големи набори от данни, използвайки принципите на разпределените изчисления.

Този тридневен практически курс се фокусира върху изграждането и оптимизацията на ефективни работни натоварвания за обработка на данни, използвайки PySpark, Pandas и Polars в Kubernetes-базирани среди.

Участниците ще развият практично разбиране на начина, по който Spark приложенията се изпълняват в Kubernetes и как решенията за конфигурация на ниво приложение влияят върху ефективността, мащабируемостта, потреблението на ресурси и разходите. Курсът обхваща ключови области за оптимизация, включително размериране на изпълнителите (executors), разпределение на паметта, динамично разпределение, стратегии за партициониране, поведение при shuffle, проблемите с малките файлове и ефективната обработка на Parquet./p>

Курсът също така адресира общите предизвикателства при работа с Pandas, включително ограниченията на паметта и грешките при изчерпване на паметта (out-of-memory), и въвежда Polars като алтернатива с висока ефективност за избрани работни натоварвания за обработка на данни. Чрез практически упражнения участниците ще диагностицират проблеми с ефективността и паметта, ще сравнят различни стратегии за конфигурация и ще приложат техники за оптимизация в реалистични сценарии за ETL и машинно обучение.

Акцентът в курса е върху практическото вземане на решения: разбирането как да се идентифицират слабите места, да се избере подходящият инструмент, да се конфигурира Spark ефективно и да се постигне баланс между ефективността, потреблението на инфраструктурни ресурси и разходите.

Това обучение на живо с инструктор в България обхваща платформата Stratio, като се фокусира върху модулите Rocket и Intelligence с PySpark. Участниците ще овладеят поглъщането на данни, трансформацията и разширената аналитика, придобивайки практически умения за цикли, UDF и корпоративни потоци от данни.