CPLUSPLUC Telegram 814
🌟 RLtools: самая быстрая Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ для Π·Π°Π΄Π°Ρ‡ Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ³ΠΎ управлСния.

RLtools - Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (Deep Reinforcement Learning, DRL) с высокой ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒΡŽ Ρ€Π°Π±ΠΎΡ‚Ρ‹ для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ исслСдования Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² DL.

RLtools написана Π½Π° C++ ΠΈ позволяСт ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Π²Ρ‹Π²ΠΎΠ΄ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ DRL Π½Π° Π Π‘, ΠΌΠΎΠ±ΠΈΠ»ΡŒΠ½Ρ‹Ρ… устройствах ΠΈ embedded-систСмах. Π’ ΡΠΊΡΠΏΠ΅Ρ€ΠΈΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½ΠΎΠΌ тСстировании, Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° ΠΎΠ±ΡƒΡ‡ΠΈΠ»Π° Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ RL нСпосрСдствСнно Π½Π° ΠΌΠΈΠΊΡ€ΠΎΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π»Π΅Ρ€Π΅.

Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ DRL: TD3, PPO, Multi-Agent PPO ΠΈ SAC ΠΈ ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅Ρ‚ Π½Π°Π±ΠΎΡ€ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ², Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΡƒΡŽΡ‰ΠΈΡ… использованиС этих Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² для Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ Π·Π°Π΄Π°Ρ‡ управлСния Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°Ρ… управлСния маятником, Π³ΠΎΠ½ΠΎΡ‡Π½Ρ‹ΠΌ Π°Π²Ρ‚ΠΎΠΌΠΎΠ±ΠΈΠ»Π΅ΠΌ ΠΈ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠΌ-ΠΌΡƒΡ€Π°Π²ΡŒΠ΅ΠΌ MuJoCo.

Код Ρ€Π΅Π°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ²:

🟒TD3 - Pendulum, Racing Car, MuJoCo Ant-v4, Acrobot;
🟒PPO - Pendulum, Racing Car, MuJoCo Ant-v4 (CPU), MuJoCo Ant-v4 (CUDA);
🟒Multi-Agent PPO - Bottleneck;
🟒SAC - Pendulum (CPU), Pendulum (CUDA), Acrobot.

Благодаря ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΈ использования Π°ΠΏΠΏΠ°Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ ускорСния RLtools Π² 76 Ρ€Π°Π· быстрСС Π΄Ρ€ΡƒΠ³ΠΈΡ… Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊ. НапримСр, Π½Π° MacBook Pro с M1 RLtools ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΠ±ΡƒΡ‡ΠΈΡ‚ΡŒ модСль SAC (ΡƒΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ маятником) Π·Π° 4 сСкунды.

Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΡƒ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π½Π° Linux, macOS, Windows, iOS, Teensy, Crazyflie, ESP32 ΠΈ PX4.

RLtools прСдоставляСт Python API, с ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΡƒ ΠΈΠ· Python-ΠΊΠΎΠ΄Π°. API RLtools совмСстим с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ симуляции срСд Gym.

ΠŸΡ€ΠΎΠ΅ΠΊΡ‚Ρ‹, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‰ΠΈΠ΅ RLtools:

πŸŸ ΠΠ°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ Π»Π΅Ρ‚Π°Ρ‚ΡŒ Π·Π° сСкунды (Youtube, IEEE Spectrum);

πŸŸ Π˜Π΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΡ систСмы Π½Π° основС Π΄Π°Π½Π½Ρ‹Ρ… для ΠΊΠ²Π°Π΄Ρ€ΠΎΠΊΠΎΠΏΡ‚Π΅Ρ€ΠΎΠ² с Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠΎΠΉ двигатСля (Youtube, Project Page).

▢️Запуск Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ обучСния ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠ΅ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ PPO:


# Clone and checkout
git clone https://github.com/rl-tools/example
cd example
git submodule update --init external/rl_tools

# Build and run
mkdir build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
cmake --build .
./my_pendulum


βš‘οΈΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: MIT License.


πŸ”—Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸ”—Arxiv
πŸ”—RLTools Design Studio
πŸ”—Demo
πŸ”—Zoo Experiment Tracking
πŸ”—Google Collab (Python Interface)
πŸ”—Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ”—GitHub


@cpluspluc

#AI #ML #DL #RTools #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
πŸ”₯20❀2πŸ₯°2



tgoop.com/cpluspluc/814
Create:
Last Update:

🌟 RLtools: самая быстрая Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ для Π·Π°Π΄Π°Ρ‡ Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ³ΠΎ управлСния.

RLtools - Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (Deep Reinforcement Learning, DRL) с высокой ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒΡŽ Ρ€Π°Π±ΠΎΡ‚Ρ‹ для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ исслСдования Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² DL.

RLtools написана Π½Π° C++ ΠΈ позволяСт ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Π²Ρ‹Π²ΠΎΠ΄ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ DRL Π½Π° Π Π‘, ΠΌΠΎΠ±ΠΈΠ»ΡŒΠ½Ρ‹Ρ… устройствах ΠΈ embedded-систСмах. Π’ ΡΠΊΡΠΏΠ΅Ρ€ΠΈΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½ΠΎΠΌ тСстировании, Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° ΠΎΠ±ΡƒΡ‡ΠΈΠ»Π° Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ RL нСпосрСдствСнно Π½Π° ΠΌΠΈΠΊΡ€ΠΎΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π»Π΅Ρ€Π΅.

Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ DRL: TD3, PPO, Multi-Agent PPO ΠΈ SAC ΠΈ ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅Ρ‚ Π½Π°Π±ΠΎΡ€ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ², Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΡƒΡŽΡ‰ΠΈΡ… использованиС этих Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² для Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ Π·Π°Π΄Π°Ρ‡ управлСния Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°Ρ… управлСния маятником, Π³ΠΎΠ½ΠΎΡ‡Π½Ρ‹ΠΌ Π°Π²Ρ‚ΠΎΠΌΠΎΠ±ΠΈΠ»Π΅ΠΌ ΠΈ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠΌ-ΠΌΡƒΡ€Π°Π²ΡŒΠ΅ΠΌ MuJoCo.

Код Ρ€Π΅Π°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ²:

🟒TD3 - Pendulum, Racing Car, MuJoCo Ant-v4, Acrobot;
🟒PPO - Pendulum, Racing Car, MuJoCo Ant-v4 (CPU), MuJoCo Ant-v4 (CUDA);
🟒Multi-Agent PPO - Bottleneck;
🟒SAC - Pendulum (CPU), Pendulum (CUDA), Acrobot.

Благодаря ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΈ использования Π°ΠΏΠΏΠ°Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ ускорСния RLtools Π² 76 Ρ€Π°Π· быстрСС Π΄Ρ€ΡƒΠ³ΠΈΡ… Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊ. НапримСр, Π½Π° MacBook Pro с M1 RLtools ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΠ±ΡƒΡ‡ΠΈΡ‚ΡŒ модСль SAC (ΡƒΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ маятником) Π·Π° 4 сСкунды.

Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΡƒ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π½Π° Linux, macOS, Windows, iOS, Teensy, Crazyflie, ESP32 ΠΈ PX4.

RLtools прСдоставляСт Python API, с ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΡƒ ΠΈΠ· Python-ΠΊΠΎΠ΄Π°. API RLtools совмСстим с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ симуляции срСд Gym.

ΠŸΡ€ΠΎΠ΅ΠΊΡ‚Ρ‹, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‰ΠΈΠ΅ RLtools:

πŸŸ ΠΠ°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ Π»Π΅Ρ‚Π°Ρ‚ΡŒ Π·Π° сСкунды (Youtube, IEEE Spectrum);

πŸŸ Π˜Π΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΡ систСмы Π½Π° основС Π΄Π°Π½Π½Ρ‹Ρ… для ΠΊΠ²Π°Π΄Ρ€ΠΎΠΊΠΎΠΏΡ‚Π΅Ρ€ΠΎΠ² с Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠΎΠΉ двигатСля (Youtube, Project Page).

▢️Запуск Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ обучСния ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠ΅ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ PPO:


# Clone and checkout
git clone https://github.com/rl-tools/example
cd example
git submodule update --init external/rl_tools

# Build and run
mkdir build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
cmake --build .
./my_pendulum


βš‘οΈΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: MIT License.


πŸ”—Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸ”—Arxiv
πŸ”—RLTools Design Studio
πŸ”—Demo
πŸ”—Zoo Experiment Tracking
πŸ”—Google Collab (Python Interface)
πŸ”—Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ”—GitHub


@cpluspluc

#AI #ML #DL #RTools #Github

BY C++ Academy







Share with your friend now:
tgoop.com/cpluspluc/814

View MORE
Open in Telegram


Telegram News

Date: |

The channel also called on people to turn out for illegal assemblies and listed the things that participants should bring along with them, showing prior planning was in the works for riots. The messages also incited people to hurl toxic gas bombs at police and MTR stations, he added. The group’s featured image is of a Pepe frog yelling, often referred to as the β€œREEEEEEE” meme. Pepe the Frog was created back in 2005 by Matt Furie and has since become an internet symbol for meme culture and β€œdegen” culture. Activate up to 20 bots Just at this time, Bitcoin and the broader crypto market have dropped to new 2022 lows. The Bitcoin price has tanked 10 percent dropping to $20,000. On the other hand, the altcoin space is witnessing even more brutal correction. Bitcoin has dropped nearly 60 percent year-to-date and more than 70 percent since its all-time high in November 2021.
from us


Telegram C++ Academy
FROM American