PySpark — SparkFiles
В Apache Spark вы можете загружать свои файлы с помощью sc.addFile (sc — ваш SparkContext по умолчанию) и получать путь к работнику […]
PySpark — Сериализаторы
Сериализация используется для настройки производительности в Apache Spark. Все данные, которые отправляются по сети или записываются на диск или сохраняются в […]
PySpark — MLlib
Apache Spark предлагает API для машинного обучения под названием MLlib . PySpark также имеет этот API машинного обучения на Python. Он поддерживает различные виды […]
PySpark — StorageLevel
StorageLevel решает, как следует хранить RDD. В Apache Spark StorageLevel решает, должен ли RDD храниться в памяти или на диске, или […]
PySpark — SparkConf
Чтобы запустить приложение Spark на локальном / кластере, вам нужно установить несколько конфигураций и параметров, в этом SparkConf помогает. Он предоставляет […]
PySpark — Трансляция и Аккумулятор
Для параллельной обработки Apache Spark использует общие переменные. Копия общей переменной отправляется на каждый узел кластера, когда драйвер отправляет задачу исполнителю […]
PySpark — RDD
Теперь, когда мы установили и настроили PySpark в нашей системе, мы можем программировать на Python для Apache Spark. Однако, прежде чем […]
PySpark — SparkContext
SparkContext — это точка входа в любую функциональность искры. Когда мы запускаем любое приложение Spark, запускается программа драйвера, которая выполняет основную […]
PySpark — Введение
В этой главе мы познакомимся с тем, что такое Apache Spark и как был разработан PySpark. Spark — Обзор Apache […]
PySpark — настройка среды
В этой главе мы разберемся с настройкой среды PySpark. Примечание. Это означает, что на вашем компьютере установлены Java и Scala. Давайте […]