Oбучения по PySpark в София

В това живо обучение, водено от инструктор в София, участниците ще научат как да използват Python и Spark заедно за анализ на Big Data, като работят по практически упражнения.

В края на обучението участниците ще могат да:

• Изучат как да използват Spark с Python за анализ на Big Data.
• Работят по упражнения, които имитират реални сценарии.
• Използват различни инструменти и техники за анализ на Big Data чрез PySpark.

Този обучителен курс с инструктор (онлайн или на място) е насочен към инженери по данни, анализатори на данни и специалисти по данни, които искат да използват Databricks и PySpark за изграждане на мащабируеми потоци от обработка на данни и прехвърляне на съществуващи SQL работни потоци.

Това обучение предоставя практическо въведение в изграждането на мащабируеми процеси за обработка на данни и машинно обучение с помощта на PySpark. Участниците научават как Apache Spark функционира в съвременните Big Data екосистеми и как ефективно да обработват големи набори от данни, използвайки принципите на разпределените изчисления.

Този тридневен практически курс се фокусира върху изграждането и оптимизацията на ефективни работни натоварвания за обработка на данни, използвайки PySpark, Pandas и Polars в Kubernetes-базирани среди.

Участниците ще развият практично разбиране на начина, по който Spark приложенията се изпълняват в Kubernetes и как решенията за конфигурация на ниво приложение влияят върху ефективността, мащабируемостта, потреблението на ресурси и разходите. Курсът обхваща ключови области за оптимизация, включително размериране на изпълнителите (executors), разпределение на паметта, динамично разпределение, стратегии за партициониране, поведение при shuffle, проблемите с малките файлове и ефективната обработка на Parquet./p>

Курсът също така адресира общите предизвикателства при работа с Pandas, включително ограниченията на паметта и грешките при изчерпване на паметта (out-of-memory), и въвежда Polars като алтернатива с висока ефективност за избрани работни натоварвания за обработка на данни. Чрез практически упражнения участниците ще диагностицират проблеми с ефективността и паметта, ще сравнят различни стратегии за конфигурация и ще приложат техники за оптимизация в реалистични сценарии за ETL и машинно обучение.

Акцентът в курса е върху практическото вземане на решения: разбирането как да се идентифицират слабите места, да се избере подходящият инструмент, да се конфигурира Spark ефективно и да се постигне баланс между ефективността, потреблението на инфраструктурни ресурси и разходите.