I tried configuring the training for Apple M1 chip and I was able to configure the training to work on both CPU / GPU based on how you configure. In my case it was faster on CPU. If you are running on other platforms, We need to check on PyTorch config for utilising better CPU.
What I noticed was, block_size config 16 works best. Increasing it gives mostly the original kural. There are lot of ideas for further optimisation, especially in the encoder/decoder as it is not tuned for Tamil.
If you ever want to add more data...and it is too much to check into your GitHub repository, I'm working on a "data version control" system that is built to be complimentary to your code repo, without taking up space next to your code.
It's called "Oxen" and I'm looking for any feedback on the project right now. Feel free to check it out and create a free repo to host your data as it grows!
6 comments
[ 3.7 ms ] story [ 33.5 ms ] threadWorking on optimising the model, please suggest your thoughts.
ஆற்றுவார் ஆற்றின் அடங்கின் அறிவுடைமை\ நில்லார் மயக்கிடந்தது இல்.
மன்னநீஇ போல பகையில் கொள்கவற்றின்\ நிற்றற்கு உய்த்தார்க்கு அரண்.
கெழுநம்யுள் கைகூடும் மரபிடும்பைக்கு\ மெய்வுொழுக்கம் பூது.
இழுக்காற்றின் இன்னாத இன்னா செயல்\ பிறர்பழி லா்நோக்கு வார்.
கருவியான் காக்கம் செயல்கீழ்\ வற்றாகும் மாந் தரும்.
நாணொடு நல்லாண்மை கய்கத்தின் சாதல்\ அறங்கு வதுபோல் பகை.
வேண்டாமை அன்ன விழுச்செல்வம் செல்வத்தை\ நோற்பான் போக்கிச் செயல்.
பிற்பகை பொருள்தெரியா மன்னவன் கொற்றங் கொளக்கிடந்தது இல்.
It's called "Oxen" and I'm looking for any feedback on the project right now. Feel free to check it out and create a free repo to host your data as it grows!
https://github.com/Oxen-AI/oxen-release