mirror of
https://github.com/InternLM/InternBootcamp.git
synced 2026-04-19 12:58:04 +00:00
refactor(data_pipeline): optimize data generation pipeline; add multiple preset configurations for data generation
This commit is contained in:
parent
1a8477c8d8
commit
8d493b35a0
2160 changed files with 69199 additions and 154 deletions
62
examples/pipelines/all_configs/Econveyor_train.json
Normal file
62
examples/pipelines/all_configs/Econveyor_train.json
Normal file
|
|
@ -0,0 +1,62 @@
|
|||
[
|
||||
{
|
||||
"max_n": 500,
|
||||
"l_range": [
|
||||
100000,
|
||||
100000
|
||||
],
|
||||
"v1_range": [
|
||||
100,
|
||||
100
|
||||
],
|
||||
"v2_range": [
|
||||
200,
|
||||
200
|
||||
]
|
||||
},
|
||||
{
|
||||
"max_n": 1,
|
||||
"l_range": [
|
||||
1,
|
||||
1
|
||||
],
|
||||
"v1_range": [
|
||||
1,
|
||||
1
|
||||
],
|
||||
"v2_range": [
|
||||
1,
|
||||
1
|
||||
]
|
||||
},
|
||||
{
|
||||
"max_n": 100,
|
||||
"l_range": [
|
||||
1000,
|
||||
1000
|
||||
],
|
||||
"v1_range": [
|
||||
5,
|
||||
5
|
||||
],
|
||||
"v2_range": [
|
||||
5,
|
||||
5
|
||||
]
|
||||
},
|
||||
{
|
||||
"max_n": 2,
|
||||
"l_range": [
|
||||
3,
|
||||
3
|
||||
],
|
||||
"v1_range": [
|
||||
1,
|
||||
1
|
||||
],
|
||||
"v2_range": [
|
||||
2,
|
||||
2
|
||||
]
|
||||
}
|
||||
]
|
||||
Loading…
Add table
Add a link
Reference in a new issue