Hugging Face's logo

Finnish-actions
/
SetFit-FinBERT1-Avg-acceptance

Text Classification
setfit
Safetensors
sentence-transformers
bert
generated_from_setfit_trainer
Eval Results
Model card Files
xet
Community
Henniina commited on
Commit
81adf68
·
verified ·
1 Parent(s): a448ec8

Push model using huggingface_hub.

Browse files
Files changed (4) hide show
  1. README.md +80 -75
  2. config_setfit.json +2 -2
  3. model.safetensors +1 -1
  4. model_head.pkl +1 -1
README.md CHANGED
@@ -5,18 +5,23 @@ tags:
5
  - text-classification
6
  - generated_from_setfit_trainer
7
  widget:
8
- - text: Kremlissä sihteeristö on kiireellä kirjoitellut ”da” lappuja, jotka toimittaa
9
- perille Nopea Kortteliohjuspalvelu Byroo (NKB). Aika kätevästi Venäjä ”äänestää”
10
- itselleen puolustettavaa aluetta.
11
- - text: Ville-Aleksi Alatalo tai Keisarillista Venäjää johon Suomi kuului.
12
- - text: Mika Nieminen 🙋‍♀️
13
- - text: No jos haluaa lapsensa kotiin jättää, niin luultavasti se lupa joko lomaan
14
- tai kotiopetukseen tulee koululta. Oman lapsen kohdalla riitti rehtorille ilmoitus
15
- ja kaikki oli kunnossa ettei nuori tule kouluun. Tehtävät tulee kotiin, niin kuin
16
- esim. lomalle jäädessä.
17
- - text: Markus Juuti Kyllä, se vaatii rohkeutta mutta hintansa sillä on. Kaikkia kansalaisia
18
- ei voi salamurhata. Venäläiset ovat kautta historian pidetty hiljaisina votkalla
19
- ja leivällä.Nyt olis aika pyrkiä Oikeaan Demokratiaan.
 
 
 
 
 
20
  metrics:
21
  - metric
22
  pipeline_tag: text-classification
@@ -35,7 +40,7 @@ model-index:
35
  split: test
36
  metrics:
37
  - type: metric
38
- value: 0.9110831544498011
39
  name: Metric
40
  ---
41
 
@@ -67,17 +72,17 @@ The model has been trained using an efficient few-shot learning technique that i
67
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
68
 
69
  ### Model Labels
70
- | Label | Examples |
71
- |:------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
72
- | 0 | <ul><li>'Luulen, että Halla-aho on vaiti.'</li><li>'Anne Nousiainen paikalla on pelastakaa lapset ry , SPR ja monia muita kriisityön osaajia jotka saavat siihen koulutuksen ja tuen ,kaikki vapaaehtoiset tarvitaan mutta kotimaasta käsin voi auttaa turvallisesti ja se on yhtä arvokasta ja tärkeää apua !meidän Ammattilaisten on pidettävä huolta myös maallikko auttajista !kriisityötä 30 v tehneenä yhdyn Anna-Liisa Sallinen kommentteihin jolla myös kokemusta ja osaamista aiheesta .'</li><li>'Anna-Liisa Sallinen Mutta miten sen varmistaa, että rahat menevät oikeaan kohteeseen? Kaikenlaisia huijaushuhuja pyörii esim. SPR:n aiemmissa keräyksissä. Kun nyt Suomi saisi edes niitä aseita liikkeelle. Monta onnistunutta lähetystä on jo mennyt perille yksityisten ihmisten ansiosta. Mä nostan kyllä hattua! Yksikin pelastettu lapsi on vaivan arvoista. 🥲'</li></ul> |
73
- | 1 | <ul><li>'Pia Rouhiainen sama havainto parin viikon takaa'</li><li>'Helena Miettinen Kyllä.'</li><li>'Maaria Mettovaara todellakin! Antaa noitten naurajien murjottaa eristyksissä. Aika lyhyt tää elämä elää pelossa😤'</li></ul> |
74
 
75
  ## Evaluation
76
 
77
  ### Metrics
78
  | Label | Metric |
79
  |:--------|:-------|
80
- | **all** | 0.9111 |
81
 
82
  ## Uses
83
 
@@ -97,7 +102,7 @@ from setfit import SetFitModel
97
  # Download from the 🤗 Hub
98
  model = SetFitModel.from_pretrained("Finnish-actions/SetFit-FinBERT1-Avg-acceptance")
99
  # Run inference
100
- preds = model("Mika Nieminen 🙋‍♀️")
101
  ```
102
 
103
  <!--
@@ -129,12 +134,12 @@ preds = model("Mika Nieminen 🙋‍♀️")
129
  ### Training Set Metrics
130
  | Training set | Min | Median | Max |
131
  |:-------------|:----|:--------|:----|
132
- | Word count | 1 | 20.3800 | 213 |
133
 
134
  | Label | Training Sample Count |
135
  |:------|:----------------------|
136
- | 0 | 765 |
137
- | 1 | 77 |
138
 
139
  ### Training Hyperparameters
140
  - batch_size: (16, 16)
@@ -159,61 +164,61 @@ preds = model("Mika Nieminen 🙋‍♀️")
159
  ### Training Results
160
  | Epoch | Step | Training Loss | Validation Loss |
161
  |:------:|:----:|:-------------:|:---------------:|
162
- | 0.0016 | 1 | 0.2193 | - |
163
- | 0.0791 | 50 | 0.2601 | - |
164
- | 0.1582 | 100 | 0.23 | - |
165
- | 0.2373 | 150 | 0.1719 | - |
166
- | 0.3165 | 200 | 0.0702 | - |
167
- | 0.3956 | 250 | 0.0239 | - |
168
- | 0.4747 | 300 | 0.0099 | - |
169
- | 0.5538 | 350 | 0.0027 | - |
170
- | 0.6329 | 400 | 0.0011 | - |
171
- | 0.7120 | 450 | 0.0009 | - |
172
- | 0.7911 | 500 | 0.0005 | - |
173
- | 0.8703 | 550 | 0.0004 | - |
174
- | 0.9494 | 600 | 0.0002 | - |
175
- | 1.0 | 632 | - | 0.2560 |
176
- | 1.0285 | 650 | 0.0003 | - |
177
- | 1.1076 | 700 | 0.0002 | - |
178
- | 1.1867 | 750 | 0.0002 | - |
179
- | 1.2658 | 800 | 0.0002 | - |
180
- | 1.3449 | 850 | 0.0001 | - |
181
- | 1.4241 | 900 | 0.0001 | - |
182
- | 1.5032 | 950 | 0.0001 | - |
183
- | 1.5823 | 1000 | 0.0001 | - |
184
- | 1.6614 | 1050 | 0.0001 | - |
185
- | 1.7405 | 1100 | 0.0001 | - |
186
- | 1.8196 | 1150 | 0.0001 | - |
187
- | 1.8987 | 1200 | 0.0001 | - |
188
- | 1.9778 | 1250 | 0.0001 | - |
189
- | 2.0 | 1264 | - | 0.2603 |
190
  | 2.0570 | 1300 | 0.0001 | - |
191
  | 2.1361 | 1350 | 0.0001 | - |
192
- | 2.2152 | 1400 | 0.0001 | - |
193
- | 2.2943 | 1450 | 0.0016 | - |
194
- | 2.3734 | 1500 | 0.0001 | - |
195
- | 2.4525 | 1550 | 0.0001 | - |
196
- | 2.5316 | 1600 | 0.0001 | - |
197
- | 2.6108 | 1650 | 0.0001 | - |
198
- | 2.6899 | 1700 | 0.0001 | - |
199
- | 2.7690 | 1750 | 0.0001 | - |
200
- | 2.8481 | 1800 | 0.0001 | - |
201
- | 2.9272 | 1850 | 0.0001 | - |
202
- | 3.0 | 1896 | - | 0.2602 |
203
- | 3.0063 | 1900 | 0.0001 | - |
204
- | 3.0854 | 1950 | 0.0001 | - |
205
- | 3.1646 | 2000 | 0.0001 | - |
206
- | 3.2437 | 2050 | 0.0001 | - |
207
- | 3.3228 | 2100 | 0.0001 | - |
208
- | 3.4019 | 2150 | 0.0001 | - |
209
- | 3.4810 | 2200 | 0.0001 | - |
210
- | 3.5601 | 2250 | 0.0001 | - |
211
- | 3.6392 | 2300 | 0.0 | - |
212
- | 3.7184 | 2350 | 0.0001 | - |
213
- | 3.7975 | 2400 | 0.0 | - |
214
- | 3.8766 | 2450 | 0.0 | - |
215
- | 3.9557 | 2500 | 0.0001 | - |
216
- | 4.0 | 2528 | - | 0.2601 |
217
 
218
  ### Framework Versions
219
  - Python: 3.11.9
 
5
  - text-classification
6
  - generated_from_setfit_trainer
7
  widget:
8
+ - text: Etunimi Etunimi menetkö noin vaan takuuseen, ettei sodan johdosta näin käy?
9
+ Ite en kyllä menis 100% sanomaan mitään mihin liittyy Putin ja Putinin sota
10
+ - text: Kohta on lisää lapsia sairaalassa koronan vuoksi ☹
11
+ - text: Etunimi Sukunimi pyöräily sekä kävely ovat hyvää liikuntaa
12
+ - text: Etunimi Sukunimi Niin.. Nuo todelliset tartunyamäärät voivat olla ihan mitä
13
+ tahansa. Mihinkään rajoitustoimiin ei tarvitsisi ryhtyä. Ihmiset voivat itse pitää
14
+ huolta itsestää, ja valtion tehtävä on pitää huolta siitä että hoitokapasiteetti
15
+ riittää. Tällä hetkellä meillä ei ole mitään hätää. Koko Suomessa tehohoidossa
16
+ koronan vuoksi on noin 2p ihmistä. Tehohoitopaikkoja siis riittää vielä vaikka
17
+ ja kuinka jos tarvetta. Korostan, että edelleenkin ovat turvavälit, hyvä hygienia
18
+ ja turhien kontaktien välttäminen kaikkein tärkeintä. Mitään ei tarvitsisi rajoittaa,
19
+ jollei ihmiset olisi niin helvetin tyhmiä, että osaisivat ajatella ihan omilla
20
+ aivoillaan, eikä valtion tarvitsisi heitä opastaa kädestä pitäen kuten jotain
21
+ pieniä lapsia.
22
+ - text: Etunimi hallituksella pitää kuitenkin olla jokin pohja johon perustavat päätöksensä.
23
+ Poikkeustilaa ei voi loputtomiin jatkaa vain mutulla, jolloin heidän on kuunneltava
24
+ aiheen ammattilaisia.
25
  metrics:
26
  - metric
27
  pipeline_tag: text-classification
 
40
  split: test
41
  metrics:
42
  - type: metric
43
+ value: 0.9230958686682255
44
  name: Metric
45
  ---
46
 
 
72
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
73
 
74
  ### Model Labels
75
+ | Label | Examples |
76
+ |:------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
77
+ | 0 | <ul><li>'Etunimi Sukunimi miten luulet tilanteen parantuneen kun sairaala- ja tehohoito potilaiden määrä on vain kasvanut silloisesta?\nOlet niin totaalisen puusilmäinen ja hallirusvihan vallassa, että tätä on turha jatkaa pitemmälle. Pysy terveenä ja rauhallista joulua!'</li><li>'"Hylkiö" unionin toimesta johon ei kuulu.'</li><li>'Etunimi Almonkari-Kuikka en nyt varsinaisesti pelkästään tuota aihetta tarkoittanutkaan. Sekin on kuitenkin vähintään kyseenalaista, koska kyseessä ei ole valmis tuote, vaan hätämyyntiluvalla käytössä oleva ruiske, ja sen seurauksena on niinikään perusoikeudellinen terveydenhuollon taso turvaamattomalla tasolla.'</li></ul> |
78
+ | 1 | <ul><li>'Etunimi Sukunimi Niin on.. ja valtioita joista lähinnä venäjä ja valko-venäjä.'</li><li>'Etunimi Sukunimi mulla sama tilanne ja epäilemättä ympäri Suomea, tätähän ei ikinä tulla myöntämään, mutta ei tarvi ku katella ympärilleen, niin joka paikassa sama😁'</li><li>'Etunimi Sukunimi juuri noin. En ole elänyt sodan aikaa,mutta isän kertomat muistan hyvin. Jospa sota loppuu.'</li></ul> |
79
 
80
  ## Evaluation
81
 
82
  ### Metrics
83
  | Label | Metric |
84
  |:--------|:-------|
85
+ | **all** | 0.9231 |
86
 
87
  ## Uses
88
 
 
102
  # Download from the 🤗 Hub
103
  model = SetFitModel.from_pretrained("Finnish-actions/SetFit-FinBERT1-Avg-acceptance")
104
  # Run inference
105
+ preds = model("Kohta on lisää lapsia sairaalassa koronan vuoksi ☹")
106
  ```
107
 
108
  <!--
 
134
  ### Training Set Metrics
135
  | Training set | Min | Median | Max |
136
  |:-------------|:----|:--------|:----|
137
+ | Word count | 1 | 19.9323 | 213 |
138
 
139
  | Label | Training Sample Count |
140
  |:------|:----------------------|
141
+ | 0 | 763 |
142
+ | 1 | 79 |
143
 
144
  ### Training Hyperparameters
145
  - batch_size: (16, 16)
 
164
  ### Training Results
165
  | Epoch | Step | Training Loss | Validation Loss |
166
  |:------:|:----:|:-------------:|:---------------:|
167
+ | 0.0016 | 1 | 0.2302 | - |
168
+ | 0.0791 | 50 | 0.2706 | - |
169
+ | 0.1582 | 100 | 0.2415 | - |
170
+ | 0.2373 | 150 | 0.1881 | - |
171
+ | 0.3165 | 200 | 0.0944 | - |
172
+ | 0.3956 | 250 | 0.022 | - |
173
+ | 0.4747 | 300 | 0.0116 | - |
174
+ | 0.5538 | 350 | 0.0034 | - |
175
+ | 0.6329 | 400 | 0.0032 | - |
176
+ | 0.7120 | 450 | 0.0017 | - |
177
+ | 0.7911 | 500 | 0.0071 | - |
178
+ | 0.8703 | 550 | 0.0017 | - |
179
+ | 0.9494 | 600 | 0.0013 | - |
180
+ | 1.0 | 632 | - | 0.3158 |
181
+ | 1.0285 | 650 | 0.0006 | - |
182
+ | 1.1076 | 700 | 0.0163 | - |
183
+ | 1.1867 | 750 | 0.0026 | - |
184
+ | 1.2658 | 800 | 0.0046 | - |
185
+ | 1.3449 | 850 | 0.003 | - |
186
+ | 1.4241 | 900 | 0.0018 | - |
187
+ | 1.5032 | 950 | 0.0026 | - |
188
+ | 1.5823 | 1000 | 0.0043 | - |
189
+ | 1.6614 | 1050 | 0.0031 | - |
190
+ | 1.7405 | 1100 | 0.0014 | - |
191
+ | 1.8196 | 1150 | 0.0026 | - |
192
+ | 1.8987 | 1200 | 0.0011 | - |
193
+ | 1.9778 | 1250 | 0.0014 | - |
194
+ | 2.0 | 1264 | - | 0.2581 |
195
  | 2.0570 | 1300 | 0.0001 | - |
196
  | 2.1361 | 1350 | 0.0001 | - |
197
+ | 2.2152 | 1400 | 0.0032 | - |
198
+ | 2.2943 | 1450 | 0.0001 | - |
199
+ | 2.3734 | 1500 | 0.0038 | - |
200
+ | 2.4525 | 1550 | 0.0015 | - |
201
+ | 2.5316 | 1600 | 0.0026 | - |
202
+ | 2.6108 | 1650 | 0.0029 | - |
203
+ | 2.6899 | 1700 | 0.0025 | - |
204
+ | 2.7690 | 1750 | 0.0013 | - |
205
+ | 2.8481 | 1800 | 0.0024 | - |
206
+ | 2.9272 | 1850 | 0.0042 | - |
207
+ | 3.0 | 1896 | - | 0.2681 |
208
+ | 3.0063 | 1900 | 0.0029 | - |
209
+ | 3.0854 | 1950 | 0.0024 | - |
210
+ | 3.1646 | 2000 | 0.0025 | - |
211
+ | 3.2437 | 2050 | 0.0029 | - |
212
+ | 3.3228 | 2100 | 0.0016 | - |
213
+ | 3.4019 | 2150 | 0.0027 | - |
214
+ | 3.4810 | 2200 | 0.0033 | - |
215
+ | 3.5601 | 2250 | 0.0012 | - |
216
+ | 3.6392 | 2300 | 0.0005 | - |
217
+ | 3.7184 | 2350 | 0.0013 | - |
218
+ | 3.7975 | 2400 | 0.005 | - |
219
+ | 3.8766 | 2450 | 0.0002 | - |
220
+ | 3.9557 | 2500 | 0.0015 | - |
221
+ | 4.0 | 2528 | - | 0.2362 |
222
 
223
  ### Framework Versions
224
  - Python: 3.11.9
config_setfit.json CHANGED
@@ -1,4 +1,4 @@
1
  {
2
- "normalize_embeddings": false,
3
- "labels": null
4
  }
 
1
  {
2
+ "labels": null,
3
+ "normalize_embeddings": false
4
  }
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:f3b9b7eabf7932bfed1347ad24e9c858759f9cee61802d7862b1d15f963c6b41
3
  size 498110312
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4600abb5ac84976570c79a727100ba169011bb4d89931f8ba341d3c44296d235
3
  size 498110312
model_head.pkl CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ca5747f0f37afacb5a4923f8da518a8aecfb07f98ce1c6965207d91cc9b359cc
3
  size 7007
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fd36627543faad2d5e809bbe977753e79dfe161a8a06bcf869a5e4c51e29c4a3
3
  size 7007