Python — интернет-протокол
Протокол Интернета предназначен для реализации единой системы адресов на всех компьютерах, подключенных к Интернету, и для обеспечения возможности прохождения пакетов […]
Python — Сетевое окружение
Python 3 доступен для Windows, Mac OS и большинства разновидностей операционной системы Linux. Несмотря на то, что Python 2 доступен для […]
Python — Сетевое программирование Введение
Поскольку универсальность python как языка программирования выросла за эти годы, мы находим, что python также очень подходит в мире сетевого […]
PySpark — SparkFiles
В Apache Spark вы можете загружать свои файлы с помощью sc.addFile (sc — ваш SparkContext по умолчанию) и получать путь к работнику […]
PySpark — Сериализаторы
Сериализация используется для настройки производительности в Apache Spark. Все данные, которые отправляются по сети или записываются на диск или сохраняются в […]
PySpark — MLlib
Apache Spark предлагает API для машинного обучения под названием MLlib . PySpark также имеет этот API машинного обучения на Python. Он поддерживает различные виды […]
PySpark — StorageLevel
StorageLevel решает, как следует хранить RDD. В Apache Spark StorageLevel решает, должен ли RDD храниться в памяти или на диске, или […]
PySpark — SparkConf
Чтобы запустить приложение Spark на локальном / кластере, вам нужно установить несколько конфигураций и параметров, в этом SparkConf помогает. Он предоставляет […]
PySpark — Трансляция и Аккумулятор
Для параллельной обработки Apache Spark использует общие переменные. Копия общей переменной отправляется на каждый узел кластера, когда драйвер отправляет задачу исполнителю […]
PySpark — RDD
Теперь, когда мы установили и настроили PySpark в нашей системе, мы можем программировать на Python для Apache Spark. Однако, прежде чем […]