CPLUSPLUC Telegram 811
🌟 RLtools: самая быстрая Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ для Π·Π°Π΄Π°Ρ‡ Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ³ΠΎ управлСния.

RLtools - Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (Deep Reinforcement Learning, DRL) с высокой ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒΡŽ Ρ€Π°Π±ΠΎΡ‚Ρ‹ для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ исслСдования Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² DL.

RLtools написана Π½Π° C++ ΠΈ позволяСт ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Π²Ρ‹Π²ΠΎΠ΄ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ DRL Π½Π° Π Π‘, ΠΌΠΎΠ±ΠΈΠ»ΡŒΠ½Ρ‹Ρ… устройствах ΠΈ embedded-систСмах. Π’ ΡΠΊΡΠΏΠ΅Ρ€ΠΈΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½ΠΎΠΌ тСстировании, Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° ΠΎΠ±ΡƒΡ‡ΠΈΠ»Π° Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ RL нСпосрСдствСнно Π½Π° ΠΌΠΈΠΊΡ€ΠΎΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π»Π΅Ρ€Π΅.

Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ DRL: TD3, PPO, Multi-Agent PPO ΠΈ SAC ΠΈ ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅Ρ‚ Π½Π°Π±ΠΎΡ€ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ², Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΡƒΡŽΡ‰ΠΈΡ… использованиС этих Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² для Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ Π·Π°Π΄Π°Ρ‡ управлСния Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°Ρ… управлСния маятником, Π³ΠΎΠ½ΠΎΡ‡Π½Ρ‹ΠΌ Π°Π²Ρ‚ΠΎΠΌΠΎΠ±ΠΈΠ»Π΅ΠΌ ΠΈ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠΌ-ΠΌΡƒΡ€Π°Π²ΡŒΠ΅ΠΌ MuJoCo.

Код Ρ€Π΅Π°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ²:

🟒TD3 - Pendulum, Racing Car, MuJoCo Ant-v4, Acrobot;
🟒PPO - Pendulum, Racing Car, MuJoCo Ant-v4 (CPU), MuJoCo Ant-v4 (CUDA);
🟒Multi-Agent PPO - Bottleneck;
🟒SAC - Pendulum (CPU), Pendulum (CUDA), Acrobot.

Благодаря ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΈ использования Π°ΠΏΠΏΠ°Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ ускорСния RLtools Π² 76 Ρ€Π°Π· быстрСС Π΄Ρ€ΡƒΠ³ΠΈΡ… Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊ. НапримСр, Π½Π° MacBook Pro с M1 RLtools ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΠ±ΡƒΡ‡ΠΈΡ‚ΡŒ модСль SAC (ΡƒΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ маятником) Π·Π° 4 сСкунды.

Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΡƒ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π½Π° Linux, macOS, Windows, iOS, Teensy, Crazyflie, ESP32 ΠΈ PX4.

RLtools прСдоставляСт Python API, с ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΡƒ ΠΈΠ· Python-ΠΊΠΎΠ΄Π°. API RLtools совмСстим с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ симуляции срСд Gym.

ΠŸΡ€ΠΎΠ΅ΠΊΡ‚Ρ‹, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‰ΠΈΠ΅ RLtools:

πŸŸ ΠΠ°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ Π»Π΅Ρ‚Π°Ρ‚ΡŒ Π·Π° сСкунды (Youtube, IEEE Spectrum);

πŸŸ Π˜Π΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΡ систСмы Π½Π° основС Π΄Π°Π½Π½Ρ‹Ρ… для ΠΊΠ²Π°Π΄Ρ€ΠΎΠΊΠΎΠΏΡ‚Π΅Ρ€ΠΎΠ² с Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠΎΠΉ двигатСля (Youtube, Project Page).

▢️Запуск Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ обучСния ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠ΅ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ PPO:


# Clone and checkout
git clone https://github.com/rl-tools/example
cd example
git submodule update --init external/rl_tools

# Build and run
mkdir build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
cmake --build .
./my_pendulum


βš‘οΈΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: MIT License.


πŸ”—Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸ”—Arxiv
πŸ”—RLTools Design Studio
πŸ”—Demo
πŸ”—Zoo Experiment Tracking
πŸ”—Google Collab (Python Interface)
πŸ”—Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ”—GitHub


@cpluspluc

#AI #ML #DL #RTools #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
πŸ”₯20❀2πŸ₯°2



tgoop.com/cpluspluc/811
Create:
Last Update:

🌟 RLtools: самая быстрая Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ для Π·Π°Π΄Π°Ρ‡ Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ³ΠΎ управлСния.

RLtools - Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (Deep Reinforcement Learning, DRL) с высокой ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒΡŽ Ρ€Π°Π±ΠΎΡ‚Ρ‹ для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ исслСдования Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² DL.

RLtools написана Π½Π° C++ ΠΈ позволяСт ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Π²Ρ‹Π²ΠΎΠ΄ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ DRL Π½Π° Π Π‘, ΠΌΠΎΠ±ΠΈΠ»ΡŒΠ½Ρ‹Ρ… устройствах ΠΈ embedded-систСмах. Π’ ΡΠΊΡΠΏΠ΅Ρ€ΠΈΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½ΠΎΠΌ тСстировании, Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° ΠΎΠ±ΡƒΡ‡ΠΈΠ»Π° Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ RL нСпосрСдствСнно Π½Π° ΠΌΠΈΠΊΡ€ΠΎΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π»Π΅Ρ€Π΅.

Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ DRL: TD3, PPO, Multi-Agent PPO ΠΈ SAC ΠΈ ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅Ρ‚ Π½Π°Π±ΠΎΡ€ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ², Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΡƒΡŽΡ‰ΠΈΡ… использованиС этих Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² для Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ Π·Π°Π΄Π°Ρ‡ управлСния Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°Ρ… управлСния маятником, Π³ΠΎΠ½ΠΎΡ‡Π½Ρ‹ΠΌ Π°Π²Ρ‚ΠΎΠΌΠΎΠ±ΠΈΠ»Π΅ΠΌ ΠΈ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠΌ-ΠΌΡƒΡ€Π°Π²ΡŒΠ΅ΠΌ MuJoCo.

Код Ρ€Π΅Π°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ²:

🟒TD3 - Pendulum, Racing Car, MuJoCo Ant-v4, Acrobot;
🟒PPO - Pendulum, Racing Car, MuJoCo Ant-v4 (CPU), MuJoCo Ant-v4 (CUDA);
🟒Multi-Agent PPO - Bottleneck;
🟒SAC - Pendulum (CPU), Pendulum (CUDA), Acrobot.

Благодаря ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΈ использования Π°ΠΏΠΏΠ°Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ ускорСния RLtools Π² 76 Ρ€Π°Π· быстрСС Π΄Ρ€ΡƒΠ³ΠΈΡ… Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊ. НапримСр, Π½Π° MacBook Pro с M1 RLtools ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΠ±ΡƒΡ‡ΠΈΡ‚ΡŒ модСль SAC (ΡƒΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ маятником) Π·Π° 4 сСкунды.

Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΡƒ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π½Π° Linux, macOS, Windows, iOS, Teensy, Crazyflie, ESP32 ΠΈ PX4.

RLtools прСдоставляСт Python API, с ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΡƒ ΠΈΠ· Python-ΠΊΠΎΠ΄Π°. API RLtools совмСстим с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ симуляции срСд Gym.

ΠŸΡ€ΠΎΠ΅ΠΊΡ‚Ρ‹, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‰ΠΈΠ΅ RLtools:

πŸŸ ΠΠ°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ Π»Π΅Ρ‚Π°Ρ‚ΡŒ Π·Π° сСкунды (Youtube, IEEE Spectrum);

πŸŸ Π˜Π΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΡ систСмы Π½Π° основС Π΄Π°Π½Π½Ρ‹Ρ… для ΠΊΠ²Π°Π΄Ρ€ΠΎΠΊΠΎΠΏΡ‚Π΅Ρ€ΠΎΠ² с Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠΎΠΉ двигатСля (Youtube, Project Page).

▢️Запуск Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ обучСния ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠ΅ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ PPO:


# Clone and checkout
git clone https://github.com/rl-tools/example
cd example
git submodule update --init external/rl_tools

# Build and run
mkdir build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
cmake --build .
./my_pendulum


βš‘οΈΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: MIT License.


πŸ”—Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸ”—Arxiv
πŸ”—RLTools Design Studio
πŸ”—Demo
πŸ”—Zoo Experiment Tracking
πŸ”—Google Collab (Python Interface)
πŸ”—Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ”—GitHub


@cpluspluc

#AI #ML #DL #RTools #Github

BY C++ Academy







Share with your friend now:
tgoop.com/cpluspluc/811

View MORE
Open in Telegram


Telegram News

Date: |

Telegram message that reads: "Bear Market Screaming Therapy Group. You are only allowed to send screaming voice notes. Everything else = BAN. Text pics, videos, stickers, gif = BAN. Anything other than screaming = BAN. You think you are smart = BAN. The best encrypted messaging apps Write your hashtags in the language of your target audience. The court said the defendant had also incited people to commit public nuisance, with messages calling on them to take part in rallies and demonstrations including at Hong Kong International Airport, to block roads and to paralyse the public transportation system. Various forms of protest promoted on the messaging platform included general strikes, lunchtime protests and silent sit-ins. Choose quality over quantity. Remember that one high-quality post is better than five short publications of questionable value.
from us


Telegram C++ Academy
FROM American