Initial QSfera import
This commit is contained in:
Курнат Андрей
@@ -0,0 +1,4 @@
|
||||
coverage.out
|
||||
/nbproject/private/
|
||||
/nbproject/
|
||||
/coverage.txt
|
||||
+17
@@ -0,0 +1,17 @@
|
||||
language: go
|
||||
|
||||
go:
|
||||
- 1.7
|
||||
- 1.8
|
||||
- tip
|
||||
|
||||
before_install:
|
||||
- go get golang.org/x/text/language
|
||||
- go get golang.org/x/text/unicode/norm
|
||||
- pip install --user codecov
|
||||
|
||||
script:
|
||||
- go test -coverprofile=coverage.txt -covermode=atomic
|
||||
|
||||
after_success:
|
||||
- codecov
|
||||
+27
@@ -0,0 +1,27 @@
|
||||
The BSD License
|
||||
|
||||
Copyright (c) 2015, Benjamin BALET.
|
||||
Copyright (c) 2005, Jacques Savoy.
|
||||
|
||||
All rights reserved.
|
||||
|
||||
Redistribution and use in source and binary forms, with or without
|
||||
modification, are permitted provided that the following conditions are met:
|
||||
|
||||
* Redistributions of source code must retain the above copyright notice, this
|
||||
list of conditions and the following disclaimer.
|
||||
|
||||
* Redistributions in binary form must reproduce the above copyright notice,
|
||||
this list of conditions and the following disclaimer in the documentation
|
||||
and/or other materials provided with the distribution.
|
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
|
||||
AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
|
||||
IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
|
||||
DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE
|
||||
FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
|
||||
DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
|
||||
SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
|
||||
CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
|
||||
OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
|
||||
OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
|
||||
+108
@@ -0,0 +1,108 @@
|
||||
**stopwords** is a go package that removes stop words from a text content.
|
||||
If instructed to do so, it will remove HTML tags and parse HTML entities.
|
||||
The objective is to prepare a text in view to be used by natural processing algos
|
||||
or text comparison algorithms such as SimHash.
|
||||
|
||||
[](https://godoc.org/github.com/bbalet/stopwords)
|
||||
[](https://travis-ci.org/bbalet/stopwords)
|
||||
[](https://codecov.io/github/bbalet/stopwords?branch=master)
|
||||
[](https://goreportcard.com/report/bbalet/stopwords)
|
||||
|
||||
[](https://gitter.im/bbalet/stopwords?utm_source=badge&utm_medium=badge&utm_campaign=pr-badge&utm_content=badge)
|
||||
|
||||
It uses a curated list of the most frequent words used in these languages:
|
||||
|
||||
* Arabic
|
||||
* Bulgarian
|
||||
* Czech
|
||||
* Danish
|
||||
* English
|
||||
* Finnish
|
||||
* French
|
||||
* German
|
||||
* Hungarian
|
||||
* Italian
|
||||
* Japanese
|
||||
* Khmer
|
||||
* Latvian
|
||||
* Norwegian
|
||||
* Persian
|
||||
* Polish
|
||||
* Portuguese
|
||||
* Romanian
|
||||
* Russian
|
||||
* Slovak
|
||||
* Spanish
|
||||
* Swedish
|
||||
* Thai
|
||||
* Turkish
|
||||
|
||||
If the function is used with an unsupported language, it doesn't fail, but will apply english filter to the content.
|
||||
|
||||
## How to use this package?
|
||||
|
||||
You can find an example here https:github.com/bbalet/gorelated where **stopwords**
|
||||
package is used in conjunction with SimHash algorithm in order to find a list of
|
||||
related content for a static website generator:
|
||||
|
||||
import (
|
||||
"github.com/bbalet/stopwords"
|
||||
)
|
||||
|
||||
//Example with 2 strings containing P html tags
|
||||
//"la", "un", etc. are (stop) words without lexical value in French
|
||||
string1 := []byte("<p>la fin d'un bel après-midi d'été</p>")
|
||||
string2 := []byte("<p>cet été, nous avons eu un bel après-midi</p>")
|
||||
|
||||
//Return a string where HTML tags and French stop words has been removed
|
||||
cleanContent := stopwords.CleanString(string1, "fr", true)
|
||||
|
||||
//Get two (Sim) hash representing the content of each string
|
||||
hash1 := stopwords.Simhash(string1, "fr", true)
|
||||
hash2 := stopwords.Simhash(string2, "fr", true)
|
||||
|
||||
//Hamming distance between the two strings (diffference between contents)
|
||||
distance := stopwords.CompareSimhash(hash1, hash2)
|
||||
|
||||
//Clean the content of string1 and string2, compute the Levenshtein Distance
|
||||
stopwords.LevenshteinDistance(string1, string2, "fr", true)
|
||||
|
||||
Where *fr* is the ISO 639-1 code for French (it accepts a BCP 47 tag as well).
|
||||
https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes
|
||||
|
||||
## How to load a custom list of stop words from a file/string?
|
||||
|
||||
This package comes with a predefined list of stopwords.
|
||||
However, two functions allow you to use your own list of words:
|
||||
|
||||
stopwords.LoadStopWordsFromFile(filePath, langCode, separator)
|
||||
stopwords.LoadStopWordsFromString(wordsList, langCode, separator)
|
||||
|
||||
They will overwrite the predefined words for a given language.
|
||||
You can find an example with the file `stopwords.txt`
|
||||
|
||||
## How to overwrite the word segmenter?
|
||||
|
||||
If you don't want to strip the Unicode Characters of the 'Number, Decimal Digit'
|
||||
Category, call the function `DontStripDigits` before using the package :
|
||||
|
||||
stopwords.DontStripDigits()
|
||||
|
||||
If you want to use your own segmenter, you can overwrite the regular expression:
|
||||
|
||||
stopwords.OverwriteWordSegmenter(`[\pL]+`)
|
||||
|
||||
## Limitations
|
||||
|
||||
Please note that this library doesn't break words. If you want to break words prior using stopwords, you need to use another library that provides a binding to ICU library.
|
||||
|
||||
These curated lists contain the most used words in various topics, they were not built with a corpus limited to any given specialized topic.
|
||||
|
||||
## Credits
|
||||
|
||||
Most of the lists were built by IR Multilingual Resources at UniNE
|
||||
http://members.unine.ch/jacques.savoy/clef/index.html
|
||||
|
||||
## License
|
||||
|
||||
**stopwords** is released under the BSD license.
|
||||
+317
@@ -0,0 +1,317 @@
|
||||
a
|
||||
about
|
||||
above
|
||||
across
|
||||
after
|
||||
afterwards
|
||||
again
|
||||
against
|
||||
all
|
||||
almost
|
||||
alone
|
||||
along
|
||||
already
|
||||
also
|
||||
although
|
||||
always
|
||||
am
|
||||
among
|
||||
amongst
|
||||
amoungst
|
||||
amount
|
||||
an
|
||||
and
|
||||
another
|
||||
any
|
||||
anyhow
|
||||
anyone
|
||||
anything
|
||||
anyway
|
||||
anywhere
|
||||
are
|
||||
around
|
||||
as
|
||||
at
|
||||
back
|
||||
be
|
||||
became
|
||||
because
|
||||
become
|
||||
becomes
|
||||
becoming
|
||||
been
|
||||
before
|
||||
beforehand
|
||||
behind
|
||||
being
|
||||
below
|
||||
beside
|
||||
besides
|
||||
between
|
||||
beyond
|
||||
bill
|
||||
both
|
||||
bottom
|
||||
but
|
||||
by
|
||||
call
|
||||
can
|
||||
cannot
|
||||
cant
|
||||
co
|
||||
con
|
||||
could
|
||||
couldnt
|
||||
cry
|
||||
de
|
||||
describe
|
||||
detail
|
||||
do
|
||||
done
|
||||
down
|
||||
due
|
||||
during
|
||||
each
|
||||
eg
|
||||
eight
|
||||
either
|
||||
eleven
|
||||
else
|
||||
elsewhere
|
||||
empty
|
||||
enough
|
||||
etc
|
||||
even
|
||||
ever
|
||||
every
|
||||
everyone
|
||||
everything
|
||||
everywhere
|
||||
except
|
||||
few
|
||||
fifteen
|
||||
fify
|
||||
fill
|
||||
find
|
||||
fire
|
||||
first
|
||||
five
|
||||
for
|
||||
former
|
||||
formerly
|
||||
forty
|
||||
found
|
||||
four
|
||||
from
|
||||
front
|
||||
full
|
||||
further
|
||||
get
|
||||
give
|
||||
go
|
||||
had
|
||||
has
|
||||
hasnt
|
||||
have
|
||||
he
|
||||
hence
|
||||
her
|
||||
here
|
||||
hereafter
|
||||
hereby
|
||||
herein
|
||||
hereupon
|
||||
hers
|
||||
herself
|
||||
him
|
||||
himself
|
||||
his
|
||||
how
|
||||
however
|
||||
hundred
|
||||
ie
|
||||
if
|
||||
in
|
||||
inc
|
||||
indeed
|
||||
interest
|
||||
into
|
||||
is
|
||||
it
|
||||
its
|
||||
itself
|
||||
keep
|
||||
last
|
||||
latter
|
||||
latterly
|
||||
least
|
||||
less
|
||||
ltd
|
||||
made
|
||||
many
|
||||
may
|
||||
me
|
||||
meanwhile
|
||||
might
|
||||
mill
|
||||
mine
|
||||
more
|
||||
moreover
|
||||
most
|
||||
mostly
|
||||
move
|
||||
much
|
||||
must
|
||||
my
|
||||
myself
|
||||
name
|
||||
namely
|
||||
neither
|
||||
never
|
||||
nevertheless
|
||||
next
|
||||
nine
|
||||
no
|
||||
nobody
|
||||
none
|
||||
noone
|
||||
nor
|
||||
not
|
||||
nothing
|
||||
now
|
||||
nowhere
|
||||
of
|
||||
off
|
||||
often
|
||||
on
|
||||
once
|
||||
one
|
||||
only
|
||||
onto
|
||||
or
|
||||
other
|
||||
others
|
||||
otherwise
|
||||
our
|
||||
ours
|
||||
ourselves
|
||||
out
|
||||
over
|
||||
own
|
||||
part
|
||||
per
|
||||
perhaps
|
||||
please
|
||||
put
|
||||
rather
|
||||
re
|
||||
same
|
||||
see
|
||||
seem
|
||||
seemed
|
||||
seeming
|
||||
seems
|
||||
serious
|
||||
several
|
||||
she
|
||||
should
|
||||
show
|
||||
side
|
||||
since
|
||||
sincere
|
||||
six
|
||||
sixty
|
||||
so
|
||||
some
|
||||
somehow
|
||||
someone
|
||||
something
|
||||
sometime
|
||||
sometimes
|
||||
somewhere
|
||||
still
|
||||
such
|
||||
system
|
||||
take
|
||||
ten
|
||||
than
|
||||
that
|
||||
the
|
||||
their
|
||||
them
|
||||
themselves
|
||||
then
|
||||
thence
|
||||
there
|
||||
thereafter
|
||||
thereby
|
||||
therefore
|
||||
therein
|
||||
thereupon
|
||||
these
|
||||
they
|
||||
thickv
|
||||
thin
|
||||
third
|
||||
this
|
||||
those
|
||||
though
|
||||
three
|
||||
through
|
||||
throughout
|
||||
thru
|
||||
thus
|
||||
to
|
||||
together
|
||||
too
|
||||
top
|
||||
toward
|
||||
towards
|
||||
twelve
|
||||
twenty
|
||||
two
|
||||
un
|
||||
under
|
||||
until
|
||||
up
|
||||
upon
|
||||
us
|
||||
very
|
||||
via
|
||||
was
|
||||
we
|
||||
well
|
||||
were
|
||||
what
|
||||
whatever
|
||||
when
|
||||
whence
|
||||
whenever
|
||||
where
|
||||
whereafter
|
||||
whereas
|
||||
whereby
|
||||
wherein
|
||||
whereupon
|
||||
wherever
|
||||
whether
|
||||
which
|
||||
while
|
||||
whither
|
||||
who
|
||||
whoever
|
||||
whole
|
||||
whom
|
||||
whose
|
||||
why
|
||||
will
|
||||
with
|
||||
within
|
||||
without
|
||||
would
|
||||
yet
|
||||
you
|
||||
your
|
||||
yours
|
||||
yourself
|
||||
yourselves
|
||||
+988
@@ -0,0 +1,988 @@
|
||||
'll
|
||||
've
|
||||
1-1
|
||||
a
|
||||
a's
|
||||
able
|
||||
about
|
||||
above
|
||||
abroad
|
||||
abst
|
||||
accordance
|
||||
according
|
||||
accordingly
|
||||
across
|
||||
act
|
||||
actually
|
||||
added
|
||||
adj
|
||||
adopted
|
||||
affected
|
||||
affecting
|
||||
affects
|
||||
after
|
||||
afterwards
|
||||
again
|
||||
against
|
||||
ago
|
||||
ah
|
||||
ahead
|
||||
ain't
|
||||
all
|
||||
allow
|
||||
allows
|
||||
almost
|
||||
alone
|
||||
along
|
||||
alongside
|
||||
already
|
||||
also
|
||||
although
|
||||
always
|
||||
am
|
||||
amid
|
||||
amidst
|
||||
among
|
||||
amongst
|
||||
amoungst
|
||||
amount
|
||||
an
|
||||
and
|
||||
announce
|
||||
another
|
||||
any
|
||||
anybody
|
||||
anyhow
|
||||
anymore
|
||||
anyone
|
||||
anything
|
||||
anyway
|
||||
anyways
|
||||
anywhere
|
||||
apart
|
||||
apparently
|
||||
appear
|
||||
appreciate
|
||||
appropriate
|
||||
approximately
|
||||
are
|
||||
area
|
||||
areas
|
||||
aren
|
||||
aren't
|
||||
arent
|
||||
arise
|
||||
around
|
||||
as
|
||||
aside
|
||||
ask
|
||||
asked
|
||||
asking
|
||||
asks
|
||||
associated
|
||||
at
|
||||
auth
|
||||
available
|
||||
away
|
||||
awfully
|
||||
b
|
||||
back
|
||||
backed
|
||||
backing
|
||||
backs
|
||||
backward
|
||||
backwards
|
||||
be
|
||||
became
|
||||
because
|
||||
become
|
||||
becomes
|
||||
becoming
|
||||
been
|
||||
before
|
||||
beforehand
|
||||
began
|
||||
begin
|
||||
beginning
|
||||
beginnings
|
||||
begins
|
||||
behind
|
||||
being
|
||||
beings
|
||||
believe
|
||||
below
|
||||
beside
|
||||
besides
|
||||
best
|
||||
better
|
||||
between
|
||||
beyond
|
||||
big
|
||||
bill
|
||||
biol
|
||||
both
|
||||
bottom
|
||||
brief
|
||||
briefly
|
||||
but
|
||||
by
|
||||
c
|
||||
c'mon
|
||||
c's
|
||||
ca
|
||||
call
|
||||
called
|
||||
came
|
||||
can
|
||||
can't
|
||||
cannot
|
||||
cant
|
||||
caption
|
||||
case
|
||||
cases
|
||||
cause
|
||||
causes
|
||||
certain
|
||||
certainly
|
||||
changes
|
||||
clear
|
||||
clearly
|
||||
co
|
||||
co.
|
||||
com
|
||||
come
|
||||
comes
|
||||
computer
|
||||
con
|
||||
concerning
|
||||
consequently
|
||||
consider
|
||||
considering
|
||||
contain
|
||||
containing
|
||||
contains
|
||||
corresponding
|
||||
could
|
||||
couldn't
|
||||
couldnt
|
||||
course
|
||||
cry
|
||||
currently
|
||||
d
|
||||
dare
|
||||
daren't
|
||||
date
|
||||
de
|
||||
dear
|
||||
definitely
|
||||
describe
|
||||
described
|
||||
despite
|
||||
detail
|
||||
did
|
||||
didn't
|
||||
differ
|
||||
different
|
||||
differently
|
||||
directly
|
||||
do
|
||||
does
|
||||
doesn't
|
||||
doing
|
||||
don't
|
||||
done
|
||||
down
|
||||
downed
|
||||
downing
|
||||
downs
|
||||
downwards
|
||||
due
|
||||
during
|
||||
e
|
||||
each
|
||||
early
|
||||
ed
|
||||
edu
|
||||
effect
|
||||
eg
|
||||
eight
|
||||
eighty
|
||||
either
|
||||
eleven
|
||||
else
|
||||
elsewhere
|
||||
empty
|
||||
end
|
||||
ended
|
||||
ending
|
||||
ends
|
||||
enough
|
||||
entirely
|
||||
especially
|
||||
et
|
||||
et-al
|
||||
etc
|
||||
even
|
||||
evenly
|
||||
ever
|
||||
evermore
|
||||
every
|
||||
everybody
|
||||
everyone
|
||||
everything
|
||||
everywhere
|
||||
ex
|
||||
exactly
|
||||
example
|
||||
except
|
||||
f
|
||||
face
|
||||
faces
|
||||
fact
|
||||
facts
|
||||
fairly
|
||||
far
|
||||
farther
|
||||
felt
|
||||
few
|
||||
fewer
|
||||
ff
|
||||
fifteen
|
||||
fifth
|
||||
fify
|
||||
fill
|
||||
find
|
||||
finds
|
||||
fire
|
||||
first
|
||||
five
|
||||
fix
|
||||
followed
|
||||
following
|
||||
follows
|
||||
for
|
||||
forever
|
||||
former
|
||||
formerly
|
||||
forth
|
||||
forty
|
||||
forward
|
||||
found
|
||||
four
|
||||
from
|
||||
front
|
||||
full
|
||||
fully
|
||||
further
|
||||
furthered
|
||||
furthering
|
||||
furthermore
|
||||
furthers
|
||||
g
|
||||
gave
|
||||
general
|
||||
generally
|
||||
get
|
||||
gets
|
||||
getting
|
||||
give
|
||||
given
|
||||
gives
|
||||
giving
|
||||
go
|
||||
goes
|
||||
going
|
||||
gone
|
||||
good
|
||||
goods
|
||||
got
|
||||
gotten
|
||||
great
|
||||
greater
|
||||
greatest
|
||||
greetings
|
||||
group
|
||||
grouped
|
||||
grouping
|
||||
groups
|
||||
h
|
||||
had
|
||||
hadn't
|
||||
half
|
||||
happens
|
||||
hardly
|
||||
has
|
||||
hasn't
|
||||
hasnt
|
||||
have
|
||||
haven't
|
||||
having
|
||||
he
|
||||
he'd
|
||||
he'll
|
||||
he's
|
||||
hed
|
||||
held
|
||||
hello
|
||||
help
|
||||
hence
|
||||
her
|
||||
here
|
||||
here's
|
||||
hereafter
|
||||
hereby
|
||||
herein
|
||||
heres
|
||||
hereupon
|
||||
hers
|
||||
herse
|
||||
herself
|
||||
hes
|
||||
hi
|
||||
hid
|
||||
high
|
||||
higher
|
||||
highest
|
||||
him
|
||||
himse
|
||||
himself
|
||||
his
|
||||
hither
|
||||
home
|
||||
hopefully
|
||||
how
|
||||
howbeit
|
||||
however
|
||||
hundred
|
||||
i
|
||||
i'd
|
||||
i'll
|
||||
i'm
|
||||
i've
|
||||
id
|
||||
ie
|
||||
if
|
||||
ignored
|
||||
im
|
||||
immediate
|
||||
immediately
|
||||
importance
|
||||
important
|
||||
in
|
||||
inasmuch
|
||||
inc
|
||||
inc.
|
||||
include
|
||||
included
|
||||
including
|
||||
indeed
|
||||
index
|
||||
indicate
|
||||
indicated
|
||||
indicates
|
||||
information
|
||||
inner
|
||||
inside
|
||||
insofar
|
||||
instead
|
||||
interest
|
||||
interested
|
||||
interesting
|
||||
interests
|
||||
into
|
||||
invention
|
||||
inward
|
||||
is
|
||||
isn't
|
||||
it
|
||||
it'd
|
||||
it'll
|
||||
it's
|
||||
itd
|
||||
its
|
||||
itse
|
||||
itself
|
||||
j
|
||||
just
|
||||
k
|
||||
keep
|
||||
keeps
|
||||
kept
|
||||
keys
|
||||
kg
|
||||
kind
|
||||
km
|
||||
knew
|
||||
know
|
||||
known
|
||||
knows
|
||||
l
|
||||
large
|
||||
largely
|
||||
last
|
||||
late
|
||||
lately
|
||||
later
|
||||
latest
|
||||
latter
|
||||
latterly
|
||||
least
|
||||
led
|
||||
less
|
||||
lest
|
||||
let
|
||||
let's
|
||||
lets
|
||||
like
|
||||
liked
|
||||
likely
|
||||
likewise
|
||||
line
|
||||
links
|
||||
little
|
||||
long
|
||||
longer
|
||||
longest
|
||||
look
|
||||
looking
|
||||
looks
|
||||
low
|
||||
lower
|
||||
ltd
|
||||
m
|
||||
made
|
||||
mainly
|
||||
make
|
||||
makes
|
||||
making
|
||||
man
|
||||
many
|
||||
may
|
||||
maybe
|
||||
mayn't
|
||||
me
|
||||
mean
|
||||
means
|
||||
meantime
|
||||
meanwhile
|
||||
member
|
||||
members
|
||||
men
|
||||
merely
|
||||
mg
|
||||
might
|
||||
mightn't
|
||||
mill
|
||||
million
|
||||
mine
|
||||
minus
|
||||
miss
|
||||
ml
|
||||
more
|
||||
moreover
|
||||
most
|
||||
mostly
|
||||
move
|
||||
moved
|
||||
mr
|
||||
mrs
|
||||
much
|
||||
mug
|
||||
must
|
||||
mustn't
|
||||
my
|
||||
myse
|
||||
myself
|
||||
n
|
||||
na
|
||||
name
|
||||
namely
|
||||
nay
|
||||
nd
|
||||
near
|
||||
nearly
|
||||
necessarily
|
||||
necessary
|
||||
need
|
||||
needed
|
||||
needing
|
||||
needn't
|
||||
needs
|
||||
neither
|
||||
never
|
||||
neverf
|
||||
neverless
|
||||
nevertheless
|
||||
new
|
||||
newer
|
||||
newest
|
||||
next
|
||||
nine
|
||||
ninety
|
||||
no
|
||||
no-one
|
||||
nobody
|
||||
non
|
||||
none
|
||||
nonetheless
|
||||
noone
|
||||
nor
|
||||
normally
|
||||
nos
|
||||
not
|
||||
noted
|
||||
nothing
|
||||
notwithstanding
|
||||
novel
|
||||
now
|
||||
nowhere
|
||||
number
|
||||
numbers
|
||||
o
|
||||
obtain
|
||||
obtained
|
||||
obviously
|
||||
of
|
||||
off
|
||||
often
|
||||
oh
|
||||
ok
|
||||
okay
|
||||
old
|
||||
older
|
||||
oldest
|
||||
omitted
|
||||
on
|
||||
once
|
||||
one
|
||||
one's
|
||||
ones
|
||||
only
|
||||
onto
|
||||
open
|
||||
opened
|
||||
opening
|
||||
opens
|
||||
opposite
|
||||
or
|
||||
ord
|
||||
order
|
||||
ordered
|
||||
ordering
|
||||
orders
|
||||
other
|
||||
others
|
||||
otherwise
|
||||
ought
|
||||
oughtn't
|
||||
our
|
||||
ours
|
||||
ourselves
|
||||
out
|
||||
outside
|
||||
over
|
||||
overall
|
||||
owing
|
||||
own
|
||||
p
|
||||
page
|
||||
pages
|
||||
part
|
||||
parted
|
||||
particular
|
||||
particularly
|
||||
parting
|
||||
parts
|
||||
past
|
||||
per
|
||||
perhaps
|
||||
place
|
||||
placed
|
||||
places
|
||||
please
|
||||
plus
|
||||
point
|
||||
pointed
|
||||
pointing
|
||||
points
|
||||
poorly
|
||||
possible
|
||||
possibly
|
||||
potentially
|
||||
pp
|
||||
predominantly
|
||||
present
|
||||
presented
|
||||
presenting
|
||||
presents
|
||||
presumably
|
||||
previously
|
||||
primarily
|
||||
probably
|
||||
problem
|
||||
problems
|
||||
promptly
|
||||
proud
|
||||
provided
|
||||
provides
|
||||
put
|
||||
puts
|
||||
q
|
||||
que
|
||||
quickly
|
||||
quite
|
||||
qv
|
||||
r
|
||||
ran
|
||||
rather
|
||||
rd
|
||||
re
|
||||
readily
|
||||
really
|
||||
reasonably
|
||||
received
|
||||
recent
|
||||
recently
|
||||
ref
|
||||
refs
|
||||
regarding
|
||||
regardless
|
||||
regards
|
||||
related
|
||||
relatively
|
||||
research
|
||||
respectively
|
||||
resulted
|
||||
resulting
|
||||
results
|
||||
right
|
||||
room
|
||||
rooms
|
||||
round
|
||||
run
|
||||
s
|
||||
said
|
||||
same
|
||||
saw
|
||||
say
|
||||
saying
|
||||
says
|
||||
sec
|
||||
second
|
||||
secondly
|
||||
seconds
|
||||
section
|
||||
see
|
||||
seeing
|
||||
seem
|
||||
seemed
|
||||
seeming
|
||||
seems
|
||||
seen
|
||||
sees
|
||||
self
|
||||
selves
|
||||
sensible
|
||||
sent
|
||||
serious
|
||||
seriously
|
||||
seven
|
||||
several
|
||||
shall
|
||||
shan't
|
||||
she
|
||||
she'd
|
||||
she'll
|
||||
she's
|
||||
shed
|
||||
shes
|
||||
should
|
||||
shouldn't
|
||||
show
|
||||
showed
|
||||
showing
|
||||
shown
|
||||
showns
|
||||
shows
|
||||
side
|
||||
sides
|
||||
significant
|
||||
significantly
|
||||
similar
|
||||
similarly
|
||||
since
|
||||
sincere
|
||||
six
|
||||
sixty
|
||||
slightly
|
||||
small
|
||||
smaller
|
||||
smallest
|
||||
so
|
||||
some
|
||||
somebody
|
||||
someday
|
||||
somehow
|
||||
someone
|
||||
somethan
|
||||
something
|
||||
sometime
|
||||
sometimes
|
||||
somewhat
|
||||
somewhere
|
||||
soon
|
||||
sorry
|
||||
specifically
|
||||
specified
|
||||
specify
|
||||
specifying
|
||||
state
|
||||
states
|
||||
still
|
||||
stop
|
||||
strongly
|
||||
sub
|
||||
substantially
|
||||
successfully
|
||||
such
|
||||
sufficiently
|
||||
suggest
|
||||
sup
|
||||
sure
|
||||
system
|
||||
t
|
||||
t's
|
||||
take
|
||||
taken
|
||||
taking
|
||||
tell
|
||||
ten
|
||||
tends
|
||||
th
|
||||
than
|
||||
thank
|
||||
thanks
|
||||
thanx
|
||||
that
|
||||
that'll
|
||||
that's
|
||||
that've
|
||||
thats
|
||||
the
|
||||
their
|
||||
theirs
|
||||
them
|
||||
themselves
|
||||
then
|
||||
thence
|
||||
there
|
||||
there'd
|
||||
there'll
|
||||
there're
|
||||
there's
|
||||
there've
|
||||
thereafter
|
||||
thereby
|
||||
thered
|
||||
therefore
|
||||
therein
|
||||
thereof
|
||||
therere
|
||||
theres
|
||||
thereto
|
||||
thereupon
|
||||
these
|
||||
they
|
||||
they'd
|
||||
they'll
|
||||
they're
|
||||
they've
|
||||
theyd
|
||||
theyre
|
||||
thick
|
||||
thin
|
||||
thing
|
||||
things
|
||||
think
|
||||
thinks
|
||||
third
|
||||
thirty
|
||||
this
|
||||
thorough
|
||||
thoroughly
|
||||
those
|
||||
thou
|
||||
though
|
||||
thoughh
|
||||
thought
|
||||
thoughts
|
||||
thousand
|
||||
three
|
||||
throug
|
||||
through
|
||||
throughout
|
||||
thru
|
||||
thus
|
||||
til
|
||||
till
|
||||
time
|
||||
tip
|
||||
tis
|
||||
to
|
||||
today
|
||||
together
|
||||
too
|
||||
took
|
||||
top
|
||||
toward
|
||||
towards
|
||||
tried
|
||||
tries
|
||||
truly
|
||||
try
|
||||
trying
|
||||
ts
|
||||
turn
|
||||
turned
|
||||
turning
|
||||
turns
|
||||
twas
|
||||
twelve
|
||||
twenty
|
||||
twice
|
||||
two
|
||||
u
|
||||
un
|
||||
under
|
||||
underneath
|
||||
undoing
|
||||
unfortunately
|
||||
unless
|
||||
unlike
|
||||
unlikely
|
||||
until
|
||||
unto
|
||||
up
|
||||
upon
|
||||
ups
|
||||
upwards
|
||||
us
|
||||
use
|
||||
used
|
||||
useful
|
||||
usefully
|
||||
usefulness
|
||||
uses
|
||||
using
|
||||
usually
|
||||
uucp
|
||||
v
|
||||
value
|
||||
various
|
||||
versus
|
||||
very
|
||||
via
|
||||
viz
|
||||
vol
|
||||
vols
|
||||
vs
|
||||
w
|
||||
want
|
||||
wanted
|
||||
wanting
|
||||
wants
|
||||
was
|
||||
wasn't
|
||||
way
|
||||
ways
|
||||
we
|
||||
we'd
|
||||
we'll
|
||||
we're
|
||||
we've
|
||||
wed
|
||||
welcome
|
||||
well
|
||||
wells
|
||||
went
|
||||
were
|
||||
weren't
|
||||
what
|
||||
what'll
|
||||
what's
|
||||
what've
|
||||
whatever
|
||||
whats
|
||||
when
|
||||
whence
|
||||
whenever
|
||||
where
|
||||
where's
|
||||
whereafter
|
||||
whereas
|
||||
whereby
|
||||
wherein
|
||||
wheres
|
||||
whereupon
|
||||
wherever
|
||||
whether
|
||||
which
|
||||
whichever
|
||||
while
|
||||
whilst
|
||||
whim
|
||||
whither
|
||||
who
|
||||
who'd
|
||||
who'll
|
||||
who's
|
||||
whod
|
||||
whoever
|
||||
whole
|
||||
whom
|
||||
whomever
|
||||
whos
|
||||
whose
|
||||
why
|
||||
widely
|
||||
will
|
||||
willing
|
||||
wish
|
||||
with
|
||||
within
|
||||
without
|
||||
won't
|
||||
wonder
|
||||
words
|
||||
work
|
||||
worked
|
||||
working
|
||||
works
|
||||
world
|
||||
would
|
||||
wouldn't
|
||||
written
|
||||
www
|
||||
x
|
||||
y
|
||||
year
|
||||
years
|
||||
yes
|
||||
yet
|
||||
you
|
||||
you'd
|
||||
you'll
|
||||
you're
|
||||
you've
|
||||
youd
|
||||
young
|
||||
younger
|
||||
youngest
|
||||
your
|
||||
yourabout
|
||||
youre
|
||||
yours
|
||||
yourself
|
||||
yourselves
|
||||
z
|
||||
zero
|
||||
+177
@@ -0,0 +1,177 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
// Package stopwords allows you to customize the list of stopwords
|
||||
package stopwords
|
||||
|
||||
import (
|
||||
"io/ioutil"
|
||||
"strings"
|
||||
|
||||
"golang.org/x/text/language"
|
||||
)
|
||||
|
||||
// LoadStopWordsFromFile loads a list of stop words from a file
|
||||
// filePath is the full path to the file to be loaded
|
||||
// langCode is a BCP 47 or ISO 639-1 language code (e.g. "en" for English).
|
||||
// sep is the string separator (e.g. "\n" for newline)
|
||||
func LoadStopWordsFromFile(filePath string, langCode string, sep string) {
|
||||
b, err := ioutil.ReadFile(filePath)
|
||||
if err != nil {
|
||||
panic(err)
|
||||
}
|
||||
LoadStopWordsFromString(string(b), langCode, sep)
|
||||
}
|
||||
|
||||
// LoadStopWordsFromString loads a list of stop words from a string
|
||||
// filePath is the full path to the file to be loaded
|
||||
// langCode is a BCP 47 or ISO 639-1 language code (e.g. "en" for English).
|
||||
// sep is the string separator (e.g. "\n" for newline)
|
||||
func LoadStopWordsFromString(wordsList string, langCode string, sep string) {
|
||||
|
||||
//Parse language
|
||||
tag := language.Make(langCode)
|
||||
base, _ := tag.Base()
|
||||
langCode = base.String()
|
||||
|
||||
words := strings.Split(strings.ToLower(wordsList), sep)
|
||||
|
||||
switch langCode {
|
||||
case "ar":
|
||||
arabic = make(map[string]string)
|
||||
for _, word := range words {
|
||||
arabic[word] = ""
|
||||
}
|
||||
case "bg":
|
||||
bulgarian = make(map[string]string)
|
||||
for _, word := range words {
|
||||
bulgarian[word] = ""
|
||||
}
|
||||
case "cs":
|
||||
czech = make(map[string]string)
|
||||
for _, word := range words {
|
||||
czech[word] = ""
|
||||
}
|
||||
case "da":
|
||||
danish = make(map[string]string)
|
||||
for _, word := range words {
|
||||
danish[word] = ""
|
||||
}
|
||||
case "de":
|
||||
german = make(map[string]string)
|
||||
for _, word := range words {
|
||||
german[word] = ""
|
||||
}
|
||||
case "el":
|
||||
greek = make(map[string]string)
|
||||
for _, word := range words {
|
||||
greek[word] = ""
|
||||
}
|
||||
case "en":
|
||||
english = make(map[string]string)
|
||||
for _, word := range words {
|
||||
english[word] = ""
|
||||
}
|
||||
case "es":
|
||||
spanish = make(map[string]string)
|
||||
for _, word := range words {
|
||||
spanish[word] = ""
|
||||
}
|
||||
case "fa":
|
||||
persian = make(map[string]string)
|
||||
for _, word := range words {
|
||||
persian[word] = ""
|
||||
}
|
||||
case "fr":
|
||||
french = make(map[string]string)
|
||||
for _, word := range words {
|
||||
french[word] = ""
|
||||
}
|
||||
case "fi":
|
||||
finnish = make(map[string]string)
|
||||
for _, word := range words {
|
||||
finnish[word] = ""
|
||||
}
|
||||
case "hu":
|
||||
hungarian = make(map[string]string)
|
||||
for _, word := range words {
|
||||
hungarian[word] = ""
|
||||
}
|
||||
case "id":
|
||||
indonesian = make(map[string]string)
|
||||
for _, word := range words {
|
||||
indonesian[word] = ""
|
||||
}
|
||||
case "it":
|
||||
italian = make(map[string]string)
|
||||
for _, word := range words {
|
||||
italian[word] = ""
|
||||
}
|
||||
case "ja":
|
||||
japanese = make(map[string]string)
|
||||
for _, word := range words {
|
||||
japanese[word] = ""
|
||||
}
|
||||
case "km":
|
||||
khmer = make(map[string]string)
|
||||
for _, word := range words {
|
||||
khmer[word] = ""
|
||||
}
|
||||
case "lv":
|
||||
latvian = make(map[string]string)
|
||||
for _, word := range words {
|
||||
latvian[word] = ""
|
||||
}
|
||||
case "nl":
|
||||
dutch = make(map[string]string)
|
||||
for _, word := range words {
|
||||
dutch[word] = ""
|
||||
}
|
||||
case "no":
|
||||
norwegian = make(map[string]string)
|
||||
for _, word := range words {
|
||||
norwegian[word] = ""
|
||||
}
|
||||
case "pl":
|
||||
polish = make(map[string]string)
|
||||
for _, word := range words {
|
||||
polish[word] = ""
|
||||
}
|
||||
case "pt":
|
||||
portuguese = make(map[string]string)
|
||||
for _, word := range words {
|
||||
portuguese[word] = ""
|
||||
}
|
||||
case "ro":
|
||||
romanian = make(map[string]string)
|
||||
for _, word := range words {
|
||||
romanian[word] = ""
|
||||
}
|
||||
case "ru":
|
||||
russian = make(map[string]string)
|
||||
for _, word := range words {
|
||||
russian[word] = ""
|
||||
}
|
||||
case "sk":
|
||||
slovak = make(map[string]string)
|
||||
for _, word := range words {
|
||||
slovak[word] = ""
|
||||
}
|
||||
case "sv":
|
||||
swedish = make(map[string]string)
|
||||
for _, word := range words {
|
||||
swedish[word] = ""
|
||||
}
|
||||
case "th":
|
||||
thai = make(map[string]string)
|
||||
for _, word := range words {
|
||||
thai[word] = ""
|
||||
}
|
||||
case "tr":
|
||||
turkish = make(map[string]string)
|
||||
for _, word := range words {
|
||||
turkish[word] = ""
|
||||
}
|
||||
}
|
||||
}
|
||||
+52
@@ -0,0 +1,52 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
// Package stopwords implements the Levenshtein Distance algorithm to evaluate the diference
|
||||
// between 2 strings
|
||||
package stopwords
|
||||
|
||||
// LevenshteinDistance compute the LevenshteinDistance between 2 strings
|
||||
// it removes useless spaces and stop words from a byte slice.
|
||||
// BCP 47 or ISO 639-1 language code (if unknown, we'll apply english filters).
|
||||
// If cleanHTML is TRUE, remove HTML tags from content and unescape HTML entities.
|
||||
func LevenshteinDistance(contentA []byte, contentB []byte, langCode string, cleanHTML bool) int {
|
||||
stringA := Clean(contentA, langCode, cleanHTML)
|
||||
stringB := Clean(contentB, langCode, cleanHTML)
|
||||
distance := levenshteinAlgo(&stringA, &stringB)
|
||||
return distance
|
||||
}
|
||||
|
||||
// levenshteinAlgo compute the LevenshteinDistance between 2 strings
|
||||
func levenshteinAlgo(a, b *[]byte) int {
|
||||
la := len(*a)
|
||||
lb := len(*b)
|
||||
d := make([]int, la+1)
|
||||
var lastdiag, olddiag, temp int
|
||||
|
||||
for i := 1; i <= la; i++ {
|
||||
d[i] = i
|
||||
}
|
||||
for i := 1; i <= lb; i++ {
|
||||
d[0] = i
|
||||
lastdiag = i - 1
|
||||
for j := 1; j <= la; j++ {
|
||||
olddiag = d[j]
|
||||
min := d[j] + 1
|
||||
if (d[j-1] + 1) < min {
|
||||
min = d[j-1] + 1
|
||||
}
|
||||
if (*a)[j-1] == (*b)[i-1] {
|
||||
temp = 0
|
||||
} else {
|
||||
temp = 1
|
||||
}
|
||||
if (lastdiag + temp) < min {
|
||||
min = lastdiag + temp
|
||||
}
|
||||
d[j] = min
|
||||
lastdiag = olddiag
|
||||
}
|
||||
}
|
||||
return d[la]
|
||||
}
|
||||
+158
@@ -0,0 +1,158 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
// Package stopwords implements Charikar's simhash algorithm to generate a 64-bit
|
||||
// fingerprint of a given document.
|
||||
package stopwords
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"hash/fnv"
|
||||
"html"
|
||||
|
||||
"golang.org/x/text/language"
|
||||
"golang.org/x/text/unicode/norm"
|
||||
)
|
||||
|
||||
// Each item of the array is the hash of a word of the content.
|
||||
type vector [64]int
|
||||
|
||||
// Internal struct: 64-bit hash and weight of a word
|
||||
type feature struct {
|
||||
Sum uint64
|
||||
Weight int
|
||||
}
|
||||
|
||||
// Simhash returns a 64-bit simhash representing the content of the string
|
||||
// removes useless spaces and stop words from a byte slice.
|
||||
// BCP 47 or ISO 639-1 language code (if unknown, we'll apply english filters).
|
||||
// If cleanHTML is TRUE, remove HTML tags from content and unescape HTML entities.
|
||||
func Simhash(content []byte, langCode string, cleanHTML bool) uint64 {
|
||||
//Remove HTML tags
|
||||
if cleanHTML {
|
||||
content = remTags.ReplaceAll(content, []byte(" "))
|
||||
content = []byte(html.UnescapeString(string(content)))
|
||||
}
|
||||
|
||||
//Parse language
|
||||
tag := language.Make(langCode)
|
||||
base, _ := tag.Base()
|
||||
langCode = base.String()
|
||||
var hash uint64
|
||||
|
||||
//Remove stop words by using a list of most frequent words
|
||||
switch langCode {
|
||||
case "ar":
|
||||
hash = removeStopWordsAndHash(content, arabic)
|
||||
case "bg":
|
||||
hash = removeStopWordsAndHash(content, bulgarian)
|
||||
case "cs":
|
||||
hash = removeStopWordsAndHash(content, czech)
|
||||
case "da":
|
||||
hash = removeStopWordsAndHash(content, danish)
|
||||
case "de":
|
||||
hash = removeStopWordsAndHash(content, german)
|
||||
case "el":
|
||||
hash = removeStopWordsAndHash(content, greek)
|
||||
case "en":
|
||||
hash = removeStopWordsAndHash(content, english)
|
||||
case "es":
|
||||
hash = removeStopWordsAndHash(content, spanish)
|
||||
case "fa":
|
||||
hash = removeStopWordsAndHash(content, persian)
|
||||
case "fr":
|
||||
hash = removeStopWordsAndHash(content, french)
|
||||
case "fi":
|
||||
hash = removeStopWordsAndHash(content, finnish)
|
||||
case "hu":
|
||||
hash = removeStopWordsAndHash(content, hungarian)
|
||||
case "it":
|
||||
hash = removeStopWordsAndHash(content, italian)
|
||||
case "ja":
|
||||
hash = removeStopWordsAndHash(content, japanese)
|
||||
case "km":
|
||||
hash = removeStopWordsAndHash(content, khmer)
|
||||
case "lv":
|
||||
hash = removeStopWordsAndHash(content, latvian)
|
||||
case "nl":
|
||||
hash = removeStopWordsAndHash(content, dutch)
|
||||
case "no":
|
||||
hash = removeStopWordsAndHash(content, norwegian)
|
||||
case "pl":
|
||||
hash = removeStopWordsAndHash(content, polish)
|
||||
case "pt":
|
||||
hash = removeStopWordsAndHash(content, portuguese)
|
||||
case "ro":
|
||||
hash = removeStopWordsAndHash(content, romanian)
|
||||
case "ru":
|
||||
hash = removeStopWordsAndHash(content, russian)
|
||||
case "sk":
|
||||
hash = removeStopWordsAndHash(content, slovak)
|
||||
case "sv":
|
||||
hash = removeStopWordsAndHash(content, swedish)
|
||||
case "th":
|
||||
hash = removeStopWordsAndHash(content, thai)
|
||||
case "tr":
|
||||
hash = removeStopWordsAndHash(content, turkish)
|
||||
}
|
||||
|
||||
return hash
|
||||
}
|
||||
|
||||
// removeStopWords iterates through a list of words and removes stop words.
|
||||
func removeStopWordsAndHash(content []byte, dict map[string]string) uint64 {
|
||||
var v vector
|
||||
var i int
|
||||
|
||||
content = norm.NFC.Bytes(content)
|
||||
content = bytes.ToLower(content)
|
||||
words := wordSegmenter.FindAll(content, -1)
|
||||
|
||||
for _, w := range words {
|
||||
if _, ok := dict[string(w)]; !ok {
|
||||
aFeature := newFeature(w)
|
||||
sum := aFeature.Sum
|
||||
weight := aFeature.Weight
|
||||
for i := uint8(0); i < 64; i++ {
|
||||
bit := ((sum >> i) & 1)
|
||||
if bit == 1 {
|
||||
v[i] += weight
|
||||
} else {
|
||||
v[i] -= weight
|
||||
}
|
||||
}
|
||||
i++
|
||||
}
|
||||
}
|
||||
|
||||
// compute and return the fingerprint of the content
|
||||
// The fingerprint f of a given 64-dimension vector v is defined as follows:
|
||||
// f[j] = 1 if v[j] >= 0
|
||||
// f[j] = 0 if v[j] < 0
|
||||
var fingerprint uint64
|
||||
for j := uint8(0); j < 64; j++ {
|
||||
if v[j] >= 0 {
|
||||
fingerprint |= (1 << j)
|
||||
}
|
||||
}
|
||||
return fingerprint
|
||||
}
|
||||
|
||||
// Returns a new feature representing the given byte slice, using a weight of 1
|
||||
func newFeature(f []byte) feature {
|
||||
h := fnv.New64()
|
||||
h.Write(f)
|
||||
return feature{h.Sum64(), 1}
|
||||
}
|
||||
|
||||
// CompareSimhash calculates the Hamming distance between two 64-bit integers
|
||||
// using the Kernighan method.
|
||||
func CompareSimhash(a uint64, b uint64) uint8 {
|
||||
v := a ^ b
|
||||
var c uint8
|
||||
for c = 0; v != 0; c++ {
|
||||
v &= v - 1
|
||||
}
|
||||
return c
|
||||
}
|
||||
+145
@@ -0,0 +1,145 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
// stopwords package removes most frequent words from a text content.
|
||||
// It can be used to improve the accuracy of SimHash algo for example.
|
||||
// It uses a list of most frequent words used in various languages :
|
||||
//
|
||||
// arabic, bulgarian, czech, danish, english, finnish, french, german,
|
||||
// hungarian, italian, japanese, latvian, norwegian, persian, polish,
|
||||
// portuguese, romanian, russian, slovak, spanish, swedish, turkish
|
||||
|
||||
// Package stopwords contains various algorithms of text comparison (Simhash, Levenshtein)
|
||||
package stopwords
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"html"
|
||||
"regexp"
|
||||
|
||||
"golang.org/x/text/language"
|
||||
"golang.org/x/text/unicode/norm"
|
||||
)
|
||||
|
||||
var (
|
||||
remTags = regexp.MustCompile(`<[^>]*>`)
|
||||
oneSpace = regexp.MustCompile(`\s{2,}`)
|
||||
wordSegmenter = regexp.MustCompile(`[\pL\p{Mc}\p{Mn}-_']+`)
|
||||
)
|
||||
|
||||
// DontStripDigits changes the behaviour of the default word segmenter
|
||||
// by including 'Number, Decimal Digit' Unicode Category as words
|
||||
func DontStripDigits() {
|
||||
wordSegmenter = regexp.MustCompile(`[\pL\p{Mc}\p{Mn}\p{Nd}-_']+`)
|
||||
}
|
||||
|
||||
// OverwriteWordSegmenter allows you to overwrite the default word segmenter
|
||||
// with your own regular expression
|
||||
func OverwriteWordSegmenter(expression string) {
|
||||
wordSegmenter = regexp.MustCompile(expression)
|
||||
}
|
||||
|
||||
// CleanString removes useless spaces and stop words from string content.
|
||||
// BCP 47 or ISO 639-1 language code (if unknown, we'll apply english filters).
|
||||
// If cleanHTML is TRUE, remove HTML tags from content and unescape HTML entities.
|
||||
func CleanString(content string, langCode string, cleanHTML bool) string {
|
||||
return string(Clean([]byte(content), langCode, cleanHTML))
|
||||
}
|
||||
|
||||
// Clean removes useless spaces and stop words from a byte slice.
|
||||
// BCP 47 or ISO 639-1 language code (if unknown, we'll apply english filters).
|
||||
// If cleanHTML is TRUE, remove HTML tags from content and unescape HTML entities.
|
||||
func Clean(content []byte, langCode string, cleanHTML bool) []byte {
|
||||
//Remove HTML tags
|
||||
if cleanHTML {
|
||||
content = remTags.ReplaceAll(content, []byte(" "))
|
||||
content = []byte(html.UnescapeString(string(content)))
|
||||
}
|
||||
|
||||
//Parse language
|
||||
tag := language.Make(langCode)
|
||||
base, _ := tag.Base()
|
||||
langCode = base.String()
|
||||
|
||||
//Remove stop words by using a list of most frequent words
|
||||
switch langCode {
|
||||
case "ar":
|
||||
content = removeStopWords(content, arabic)
|
||||
case "bg":
|
||||
content = removeStopWords(content, bulgarian)
|
||||
case "cs":
|
||||
content = removeStopWords(content, czech)
|
||||
case "da":
|
||||
content = removeStopWords(content, danish)
|
||||
case "de":
|
||||
content = removeStopWords(content, german)
|
||||
case "el":
|
||||
content = removeStopWords(content, greek)
|
||||
case "en":
|
||||
content = removeStopWords(content, english)
|
||||
case "es":
|
||||
content = removeStopWords(content, spanish)
|
||||
case "fa":
|
||||
content = removeStopWords(content, persian)
|
||||
case "fr":
|
||||
content = removeStopWords(content, french)
|
||||
case "fi":
|
||||
content = removeStopWords(content, finnish)
|
||||
case "hu":
|
||||
content = removeStopWords(content, hungarian)
|
||||
case "id":
|
||||
content = removeStopWords(content, indonesian)
|
||||
case "it":
|
||||
content = removeStopWords(content, italian)
|
||||
case "ja":
|
||||
content = removeStopWords(content, japanese)
|
||||
case "km":
|
||||
content = removeStopWords(content, khmer)
|
||||
case "lv":
|
||||
content = removeStopWords(content, latvian)
|
||||
case "nl":
|
||||
content = removeStopWords(content, dutch)
|
||||
case "no":
|
||||
content = removeStopWords(content, norwegian)
|
||||
case "pl":
|
||||
content = removeStopWords(content, polish)
|
||||
case "pt":
|
||||
content = removeStopWords(content, portuguese)
|
||||
case "ro":
|
||||
content = removeStopWords(content, romanian)
|
||||
case "ru":
|
||||
content = removeStopWords(content, russian)
|
||||
case "sk":
|
||||
content = removeStopWords(content, slovak)
|
||||
case "sv":
|
||||
content = removeStopWords(content, swedish)
|
||||
case "th":
|
||||
content = removeStopWords(content, thai)
|
||||
case "tr":
|
||||
content = removeStopWords(content, turkish)
|
||||
}
|
||||
|
||||
//Remove duplicated space characters
|
||||
content = oneSpace.ReplaceAll(content, []byte(" "))
|
||||
|
||||
return content
|
||||
}
|
||||
|
||||
// removeStopWords iterates through a list of words and removes stop words.
|
||||
func removeStopWords(content []byte, dict map[string]string) []byte {
|
||||
var result []byte
|
||||
content = norm.NFC.Bytes(content)
|
||||
content = bytes.ToLower(content)
|
||||
words := wordSegmenter.FindAll(content, -1)
|
||||
for _, w := range words {
|
||||
//log.Println(w)
|
||||
if _, ok := dict[string(w)]; ok {
|
||||
result = append(result, ' ')
|
||||
} else {
|
||||
result = append(result, []byte(w)...)
|
||||
result = append(result, ' ')
|
||||
}
|
||||
}
|
||||
return result
|
||||
}
|
||||
+169
@@ -0,0 +1,169 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var arabic = map[string]string{
|
||||
"ب": "",
|
||||
"ا": "",
|
||||
"أ": "",
|
||||
"،": "",
|
||||
"عشر": "",
|
||||
"عدد": "",
|
||||
"عدة": "",
|
||||
"عشرة": "",
|
||||
"عدم": "",
|
||||
"عام": "",
|
||||
"عاما": "",
|
||||
"عن": "",
|
||||
"عند": "",
|
||||
"عندما": "",
|
||||
"على": "",
|
||||
"عليه": "",
|
||||
"عليها": "",
|
||||
"زيارة": "",
|
||||
"سنة": "",
|
||||
"سنوات": "",
|
||||
"تم": "",
|
||||
"ضد": "",
|
||||
"بعد": "",
|
||||
"بعض": "",
|
||||
"اعادة": "",
|
||||
"اعلنت": "",
|
||||
"بسبب": "",
|
||||
"حتى": "",
|
||||
"اذا": "",
|
||||
"احد": "",
|
||||
"اثر": "",
|
||||
"برس": "",
|
||||
"باسم": "",
|
||||
"غدا": "",
|
||||
"شخصا": "",
|
||||
"صباح": "",
|
||||
"اطار": "",
|
||||
"اربعة": "",
|
||||
"اخرى": "",
|
||||
"بان": "",
|
||||
"اجل": "",
|
||||
"غير": "",
|
||||
"بشكل": "",
|
||||
"حاليا": "",
|
||||
"بن": "",
|
||||
"به": "",
|
||||
"ثم": "",
|
||||
"اف": "",
|
||||
"ان": "",
|
||||
"او": "",
|
||||
"اي": "",
|
||||
"بها": "",
|
||||
"صفر": "",
|
||||
"حيث": "",
|
||||
"اكد": "",
|
||||
"الا": "",
|
||||
"اما": "",
|
||||
"امس": "",
|
||||
"السابق": "",
|
||||
"التى": "",
|
||||
"التي": "",
|
||||
"اكثر": "",
|
||||
"ايار": "",
|
||||
"ايضا": "",
|
||||
"ثلاثة": "",
|
||||
"الذاتي": "",
|
||||
"الاخيرة": "",
|
||||
"الثاني": "",
|
||||
"الثانية": "",
|
||||
"الذى": "",
|
||||
"الذي": "",
|
||||
"الان": "",
|
||||
"امام": "",
|
||||
"ايام": "",
|
||||
"خلال": "",
|
||||
"حوالى": "",
|
||||
"الذين": "",
|
||||
"الاول": "",
|
||||
"الاولى": "",
|
||||
"بين": "",
|
||||
"ذلك": "",
|
||||
"دون": "",
|
||||
"حول": "",
|
||||
"حين": "",
|
||||
"الف": "",
|
||||
"الى": "",
|
||||
"انه": "",
|
||||
"اول": "",
|
||||
"ضمن": "",
|
||||
"انها": "",
|
||||
"جميع": "",
|
||||
"الماضي": "",
|
||||
"الوقت": "",
|
||||
"المقبل": "",
|
||||
"اليوم": "",
|
||||
"ـ": "",
|
||||
"ف": "",
|
||||
"و": "",
|
||||
"و6": "",
|
||||
"قد": "",
|
||||
"لا": "",
|
||||
"ما": "",
|
||||
"مع": "",
|
||||
"مساء": "",
|
||||
"هذا": "",
|
||||
"واحد": "",
|
||||
"واضاف": "",
|
||||
"واضافت": "",
|
||||
"فان": "",
|
||||
"قبل": "",
|
||||
"قال": "",
|
||||
"كان": "",
|
||||
"لدى": "",
|
||||
"نحو": "",
|
||||
"هذه": "",
|
||||
"وان": "",
|
||||
"واكد": "",
|
||||
"كانت": "",
|
||||
"واوضح": "",
|
||||
"مايو": "",
|
||||
"فى": "",
|
||||
"في": "",
|
||||
"كل": "",
|
||||
"لم": "",
|
||||
"لن": "",
|
||||
"له": "",
|
||||
"من": "",
|
||||
"هو": "",
|
||||
"هي": "",
|
||||
"قوة": "",
|
||||
"كما": "",
|
||||
"لها": "",
|
||||
"منذ": "",
|
||||
"وقد": "",
|
||||
"ولا": "",
|
||||
"نفسه": "",
|
||||
"لقاء": "",
|
||||
"مقابل": "",
|
||||
"هناك": "",
|
||||
"وقال": "",
|
||||
"وكان": "",
|
||||
"نهاية": "",
|
||||
"وقالت": "",
|
||||
"وكانت": "",
|
||||
"للامم": "",
|
||||
"فيه": "",
|
||||
"كلم": "",
|
||||
"لكن": "",
|
||||
"وفي": "",
|
||||
"وقف": "",
|
||||
"ولم": "",
|
||||
"ومن": "",
|
||||
"وهو": "",
|
||||
"وهي": "",
|
||||
"يوم": "",
|
||||
"فيها": "",
|
||||
"منها": "",
|
||||
"مليار": "",
|
||||
"لوكالة": "",
|
||||
"يكون": "",
|
||||
"يمكن": "",
|
||||
"مليون": ""}
|
||||
+266
@@ -0,0 +1,266 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var bulgarian = map[string]string{
|
||||
"а": "",
|
||||
"автентичен": "",
|
||||
"аз": "",
|
||||
"ако": "",
|
||||
"ала": "",
|
||||
"бе": "",
|
||||
"без": "",
|
||||
"беше": "",
|
||||
"би": "",
|
||||
"бивш": "",
|
||||
"бивша": "",
|
||||
"бившо": "",
|
||||
"бил": "",
|
||||
"била": "",
|
||||
"били": "",
|
||||
"било": "",
|
||||
"благодаря": "",
|
||||
"близо": "",
|
||||
"бъдат": "",
|
||||
"бъде": "",
|
||||
"бяха": "",
|
||||
"в": "",
|
||||
"вас": "",
|
||||
"ваш": "",
|
||||
"ваша": "",
|
||||
"вероятно": "",
|
||||
"вече": "",
|
||||
"взема": "",
|
||||
"ви": "",
|
||||
"вие": "",
|
||||
"винаги": "",
|
||||
"внимава": "",
|
||||
"време": "",
|
||||
"все": "",
|
||||
"всеки": "",
|
||||
"всички": "",
|
||||
"всичко": "",
|
||||
"всяка": "",
|
||||
"във": "",
|
||||
"въпреки": "",
|
||||
"върху": "",
|
||||
"г": "",
|
||||
"ги": "",
|
||||
"главен": "",
|
||||
"главна": "",
|
||||
"главно": "",
|
||||
"глас": "",
|
||||
"го": "",
|
||||
"година": "",
|
||||
"години": "",
|
||||
"годишен": "",
|
||||
"д": "",
|
||||
"да": "",
|
||||
"дали": "",
|
||||
"два": "",
|
||||
"двама": "",
|
||||
"двамата": "",
|
||||
"две": "",
|
||||
"двете": "",
|
||||
"ден": "",
|
||||
"днес": "",
|
||||
"дни": "",
|
||||
"до": "",
|
||||
"добра": "",
|
||||
"добре": "",
|
||||
"добро": "",
|
||||
"добър": "",
|
||||
"докато": "",
|
||||
"докога": "",
|
||||
"дори": "",
|
||||
"досега": "",
|
||||
"доста": "",
|
||||
"друг": "",
|
||||
"друга": "",
|
||||
"други": "",
|
||||
"е": "",
|
||||
"евтин": "",
|
||||
"едва": "",
|
||||
"един": "",
|
||||
"една": "",
|
||||
"еднаква": "",
|
||||
"еднакви": "",
|
||||
"еднакъв": "",
|
||||
"едно": "",
|
||||
"екип": "",
|
||||
"ето": "",
|
||||
"живот": "",
|
||||
"за": "",
|
||||
"забавям": "",
|
||||
"зад": "",
|
||||
"заедно": "",
|
||||
"заради": "",
|
||||
"засега": "",
|
||||
"заспал": "",
|
||||
"затова": "",
|
||||
"защо": "",
|
||||
"защото": "",
|
||||
"и": "",
|
||||
"из": "",
|
||||
"или": "",
|
||||
"им": "",
|
||||
"има": "",
|
||||
"имат": "",
|
||||
"иска": "",
|
||||
"й": "",
|
||||
"каза": "",
|
||||
"как": "",
|
||||
"каква": "",
|
||||
"какво": "",
|
||||
"както": "",
|
||||
"какъв": "",
|
||||
"като": "",
|
||||
"кога": "",
|
||||
"когато": "",
|
||||
"което": "",
|
||||
"които": "",
|
||||
"кой": "",
|
||||
"който": "",
|
||||
"колко": "",
|
||||
"която": "",
|
||||
"къде": "",
|
||||
"където": "",
|
||||
"към": "",
|
||||
"лесен": "",
|
||||
"лесно": "",
|
||||
"ли": "",
|
||||
"лош": "",
|
||||
"м": "",
|
||||
"май": "",
|
||||
"малко": "",
|
||||
"ме": "",
|
||||
"между": "",
|
||||
"мек": "",
|
||||
"мен": "",
|
||||
"месец": "",
|
||||
"ми": "",
|
||||
"много": "",
|
||||
"мнозина": "",
|
||||
"мога": "",
|
||||
"могат": "",
|
||||
"може": "",
|
||||
"мокър": "",
|
||||
"моля": "",
|
||||
"момента": "",
|
||||
"му": "",
|
||||
"н": "",
|
||||
"на": "",
|
||||
"над": "",
|
||||
"назад": "",
|
||||
"най": "",
|
||||
"направи": "",
|
||||
"напред": "",
|
||||
"например": "",
|
||||
"нас": "",
|
||||
"не": "",
|
||||
"него": "",
|
||||
"нещо": "",
|
||||
"нея": "",
|
||||
"ни": "",
|
||||
"ние": "",
|
||||
"никой": "",
|
||||
"нито": "",
|
||||
"нищо": "",
|
||||
"но": "",
|
||||
"нов": "",
|
||||
"нова": "",
|
||||
"нови": "",
|
||||
"новина": "",
|
||||
"някои": "",
|
||||
"някой": "",
|
||||
"няколко": "",
|
||||
"няма": "",
|
||||
"обаче": "",
|
||||
"около": "",
|
||||
"освен": "",
|
||||
"особено": "",
|
||||
"от": "",
|
||||
"отгоре": "",
|
||||
"отново": "",
|
||||
"още": "",
|
||||
"пак": "",
|
||||
"по": "",
|
||||
"повече": "",
|
||||
"повечето": "",
|
||||
"под": "",
|
||||
"поне": "",
|
||||
"поради": "",
|
||||
"после": "",
|
||||
"почти": "",
|
||||
"прави": "",
|
||||
"пред": "",
|
||||
"преди": "",
|
||||
"през": "",
|
||||
"при": "",
|
||||
"пък": "",
|
||||
"първата": "",
|
||||
"първи": "",
|
||||
"първо": "",
|
||||
"пъти": "",
|
||||
"равен": "",
|
||||
"равна": "",
|
||||
"с": "",
|
||||
"са": "",
|
||||
"сам": "",
|
||||
"само": "",
|
||||
"се": "",
|
||||
"сега": "",
|
||||
"си": "",
|
||||
"син": "",
|
||||
"скоро": "",
|
||||
"след": "",
|
||||
"следващ": "",
|
||||
"сме": "",
|
||||
"смях": "",
|
||||
"според": "",
|
||||
"сред": "",
|
||||
"срещу": "",
|
||||
"сте": "",
|
||||
"съм": "",
|
||||
"със": "",
|
||||
"също": "",
|
||||
"т": "",
|
||||
"тази": "",
|
||||
"така": "",
|
||||
"такива": "",
|
||||
"такъв": "",
|
||||
"там": "",
|
||||
"твой": "",
|
||||
"те": "",
|
||||
"тези": "",
|
||||
"ти": "",
|
||||
"т.н.": "",
|
||||
"то": "",
|
||||
"това": "",
|
||||
"тогава": "",
|
||||
"този": "",
|
||||
"той": "",
|
||||
"толкова": "",
|
||||
"точно": "",
|
||||
"три": "",
|
||||
"трябва": "",
|
||||
"тук": "",
|
||||
"тъй": "",
|
||||
"тя": "",
|
||||
"тях": "",
|
||||
"у": "",
|
||||
"утре": "",
|
||||
"харесва": "",
|
||||
"хиляди": "",
|
||||
"ч": "",
|
||||
"часа": "",
|
||||
"че": "",
|
||||
"често": "",
|
||||
"чрез": "",
|
||||
"ще": "",
|
||||
"щом": "",
|
||||
"юмрук": "",
|
||||
"я": "",
|
||||
"як": ""}
|
||||
+263
@@ -0,0 +1,263 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var czech = map[string]string{
|
||||
"ačkoli": "",
|
||||
"ahoj": "",
|
||||
"ale": "",
|
||||
"anebo": "",
|
||||
"ano": "",
|
||||
"asi": "",
|
||||
"aspoň": "",
|
||||
"během": "",
|
||||
"bez": "",
|
||||
"beze": "",
|
||||
"blízko": "",
|
||||
"bohužel": "",
|
||||
"brzo": "",
|
||||
"bude": "",
|
||||
"budeme": "",
|
||||
"budeš": "",
|
||||
"budete": "",
|
||||
"budou": "",
|
||||
"budu": "",
|
||||
"byl": "",
|
||||
"byla": "",
|
||||
"byli": "",
|
||||
"bylo": "",
|
||||
"byly": "",
|
||||
"bys": "",
|
||||
"čau": "",
|
||||
"chce": "",
|
||||
"chceme": "",
|
||||
"chceš": "",
|
||||
"chcete": "",
|
||||
"chci": "",
|
||||
"chtějí": "",
|
||||
"chtít": "",
|
||||
"chut'": "",
|
||||
"chuti": "",
|
||||
"co": "",
|
||||
"čtrnáct": "",
|
||||
"čtyři": "",
|
||||
"dál": "",
|
||||
"dále": "",
|
||||
"daleko": "",
|
||||
"děkovat": "",
|
||||
"děkujeme": "",
|
||||
"děkuji": "",
|
||||
"den": "",
|
||||
"deset": "",
|
||||
"devatenáct": "",
|
||||
"devět": "",
|
||||
"do": "",
|
||||
"dobrý": "",
|
||||
"docela": "",
|
||||
"dva": "",
|
||||
"dvacet": "",
|
||||
"dvanáct": "",
|
||||
"dvě": "",
|
||||
"hodně": "",
|
||||
"já": "",
|
||||
"jak": "",
|
||||
"jde": "",
|
||||
"je": "",
|
||||
"jeden": "",
|
||||
"jedenáct": "",
|
||||
"jedna": "",
|
||||
"jedno": "",
|
||||
"jednou": "",
|
||||
"jedou": "",
|
||||
"jeho": "",
|
||||
"její": "",
|
||||
"jejich": "",
|
||||
"jemu": "",
|
||||
"jen": "",
|
||||
"jenom": "",
|
||||
"ještě": "",
|
||||
"jestli": "",
|
||||
"jestliže": "",
|
||||
"jí": "",
|
||||
"jich": "",
|
||||
"jím": "",
|
||||
"jimi": "",
|
||||
"jinak": "",
|
||||
"jsem": "",
|
||||
"jsi": "",
|
||||
"jsme": "",
|
||||
"jsou": "",
|
||||
"jste": "",
|
||||
"kam": "",
|
||||
"kde": "",
|
||||
"kdo": "",
|
||||
"kdy": "",
|
||||
"když": "",
|
||||
"ke": "",
|
||||
"kolik": "",
|
||||
"kromě": "",
|
||||
"která": "",
|
||||
"které": "",
|
||||
"kteří": "",
|
||||
"který": "",
|
||||
"kvůli": "",
|
||||
"má": "",
|
||||
"mají": "",
|
||||
"málo": "",
|
||||
"mám": "",
|
||||
"máme": "",
|
||||
"máš": "",
|
||||
"máte": "",
|
||||
"mé": "",
|
||||
"mě": "",
|
||||
"mezi": "",
|
||||
"mí": "",
|
||||
"mít": "",
|
||||
"mně": "",
|
||||
"mnou": "",
|
||||
"moc": "",
|
||||
"mohl": "",
|
||||
"mohou": "",
|
||||
"moje": "",
|
||||
"moji": "",
|
||||
"možná": "",
|
||||
"můj": "",
|
||||
"musí": "",
|
||||
"může": "",
|
||||
"my": "",
|
||||
"na": "",
|
||||
"nad": "",
|
||||
"nade": "",
|
||||
"nám": "",
|
||||
"námi": "",
|
||||
"naproti": "",
|
||||
"nás": "",
|
||||
"náš": "",
|
||||
"naše": "",
|
||||
"naši": "",
|
||||
"ne": "",
|
||||
"ně": "",
|
||||
"nebo": "",
|
||||
"nebyl": "",
|
||||
"nebyla": "",
|
||||
"nebyli": "",
|
||||
"nebyly": "",
|
||||
"něco": "",
|
||||
"nedělá": "",
|
||||
"nedělají": "",
|
||||
"nedělám": "",
|
||||
"neděláme": "",
|
||||
"neděláš": "",
|
||||
"neděláte": "",
|
||||
"nějak": "",
|
||||
"nejsi": "",
|
||||
"někde": "",
|
||||
"někdo": "",
|
||||
"nemají": "",
|
||||
"nemáme": "",
|
||||
"nemáte": "",
|
||||
"neměl": "",
|
||||
"němu": "",
|
||||
"není": "",
|
||||
"nestačí": "",
|
||||
"nevadí": "",
|
||||
"než": "",
|
||||
"nic": "",
|
||||
"nich": "",
|
||||
"ním": "",
|
||||
"nimi": "",
|
||||
"nula": "",
|
||||
"od": "",
|
||||
"ode": "",
|
||||
"on": "",
|
||||
"ona": "",
|
||||
"oni": "",
|
||||
"ono": "",
|
||||
"ony": "",
|
||||
"osm": "",
|
||||
"osmnáct": "",
|
||||
"pak": "",
|
||||
"patnáct": "",
|
||||
"pět": "",
|
||||
"po": "",
|
||||
"pořád": "",
|
||||
"potom": "",
|
||||
"pozdě": "",
|
||||
"před": "",
|
||||
"přes": "",
|
||||
"přese": "",
|
||||
"pro": "",
|
||||
"proč": "",
|
||||
"prosím": "",
|
||||
"prostě": "",
|
||||
"proti": "",
|
||||
"protože": "",
|
||||
"rovně": "",
|
||||
"se": "",
|
||||
"sedm": "",
|
||||
"sedmnáct": "",
|
||||
"šest": "",
|
||||
"šestnáct": "",
|
||||
"skoro": "",
|
||||
"smějí": "",
|
||||
"smí": "",
|
||||
"snad": "",
|
||||
"spolu": "",
|
||||
"sta": "",
|
||||
"sté": "",
|
||||
"sto": "",
|
||||
"ta": "",
|
||||
"tady": "",
|
||||
"tak": "",
|
||||
"takhle": "",
|
||||
"taky": "",
|
||||
"tam": "",
|
||||
"tamhle": "",
|
||||
"tamhleto": "",
|
||||
"tamto": "",
|
||||
"tě": "",
|
||||
"tebe": "",
|
||||
"tebou": "",
|
||||
"ted'": "",
|
||||
"tedy": "",
|
||||
"ten": "",
|
||||
"ti": "",
|
||||
"tisíc": "",
|
||||
"tisíce": "",
|
||||
"to": "",
|
||||
"tobě": "",
|
||||
"tohle": "",
|
||||
"toto": "",
|
||||
"třeba": "",
|
||||
"tři": "",
|
||||
"třináct": "",
|
||||
"trošku": "",
|
||||
"tvá": "",
|
||||
"tvé": "",
|
||||
"tvoje": "",
|
||||
"tvůj": "",
|
||||
"ty": "",
|
||||
"určitě": "",
|
||||
"už": "",
|
||||
"vám": "",
|
||||
"vámi": "",
|
||||
"vás": "",
|
||||
"váš": "",
|
||||
"vaše": "",
|
||||
"vaši": "",
|
||||
"ve": "",
|
||||
"večer": "",
|
||||
"vedle": "",
|
||||
"vlastně": "",
|
||||
"všechno": "",
|
||||
"všichni": "",
|
||||
"vůbec": "",
|
||||
"vy": "",
|
||||
"vždy": "",
|
||||
"za": "",
|
||||
"zač": "",
|
||||
"zatímco": "",
|
||||
"ze": "",
|
||||
"že": ""}
|
||||
+108
@@ -0,0 +1,108 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var danish = map[string]string{
|
||||
"af": "",
|
||||
"alle": "",
|
||||
"andet": "",
|
||||
"andre": "",
|
||||
"at": "",
|
||||
"begge": "",
|
||||
"da": "",
|
||||
"de": "",
|
||||
"den": "",
|
||||
"denne": "",
|
||||
"der": "",
|
||||
"deres": "",
|
||||
"det": "",
|
||||
"dette": "",
|
||||
"dig": "",
|
||||
"din": "",
|
||||
"dog": "",
|
||||
"du": "",
|
||||
"ej": "",
|
||||
"eller": "",
|
||||
"en": "",
|
||||
"end": "",
|
||||
"ene": "",
|
||||
"eneste": "",
|
||||
"enhver": "",
|
||||
"et": "",
|
||||
"få": "",
|
||||
"fem": "",
|
||||
"fire": "",
|
||||
"flere": "",
|
||||
"fleste": "",
|
||||
"for": "",
|
||||
"før": "",
|
||||
"fordi": "",
|
||||
"forrige": "",
|
||||
"fra": "",
|
||||
"god": "",
|
||||
"han": "",
|
||||
"hans": "",
|
||||
"har": "",
|
||||
"hendes": "",
|
||||
"her": "",
|
||||
"hun": "",
|
||||
"hvad": "",
|
||||
"hvem": "",
|
||||
"hver": "",
|
||||
"hvilken": "",
|
||||
"hvis": "",
|
||||
"hvor": "",
|
||||
"hvordan": "",
|
||||
"hvorfor": "",
|
||||
"hvornår": "",
|
||||
"i": "",
|
||||
"ikke": "",
|
||||
"ind": "",
|
||||
"ingen": "",
|
||||
"intet": "",
|
||||
"jeg": "",
|
||||
"jeres": "",
|
||||
"kan": "",
|
||||
"kom": "",
|
||||
"kommer": "",
|
||||
"lav": "",
|
||||
"lidt": "",
|
||||
"lille": "",
|
||||
"man": "",
|
||||
"mand": "",
|
||||
"mange": "",
|
||||
"med": "",
|
||||
"meget": "",
|
||||
"men": "",
|
||||
"mens": "",
|
||||
"mere": "",
|
||||
"mig": "",
|
||||
"nær": "",
|
||||
"næste": "",
|
||||
"næsten": "",
|
||||
"ned": "",
|
||||
"ni": "",
|
||||
"nogen": "",
|
||||
"noget": "",
|
||||
"ny": "",
|
||||
"nyt": "",
|
||||
"og": "",
|
||||
"op": "",
|
||||
"otte": "",
|
||||
"over": "",
|
||||
"på": "",
|
||||
"se": "",
|
||||
"seks": "",
|
||||
"ses": "",
|
||||
"som": "",
|
||||
"stor": "",
|
||||
"store": "",
|
||||
"syv": "",
|
||||
"ti": "",
|
||||
"til": "",
|
||||
"to": "",
|
||||
"tre": "",
|
||||
"ud": "",
|
||||
"var": ""}
|
||||
+558
@@ -0,0 +1,558 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var german = map[string]string{
|
||||
"ab": "",
|
||||
"aber": "",
|
||||
"ach": "",
|
||||
"acht": "",
|
||||
"achte": "",
|
||||
"achten": "",
|
||||
"achter": "",
|
||||
"achtes": "",
|
||||
"ag": "",
|
||||
"alle": "",
|
||||
"allein": "",
|
||||
"allem": "",
|
||||
"allen": "",
|
||||
"aller": "",
|
||||
"allerdings": "",
|
||||
"alles": "",
|
||||
"allgemeinen": "",
|
||||
"als": "",
|
||||
"also": "",
|
||||
"am": "",
|
||||
"an": "",
|
||||
"andere": "",
|
||||
"anderen": "",
|
||||
"andern": "",
|
||||
"anders": "",
|
||||
"au": "",
|
||||
"auch": "",
|
||||
"auf": "",
|
||||
"aus": "",
|
||||
"ausser": "",
|
||||
"außer": "",
|
||||
"ausserdem": "",
|
||||
"außerdem": "",
|
||||
"bald": "",
|
||||
"bei": "",
|
||||
"beide": "",
|
||||
"beiden": "",
|
||||
"beim": "",
|
||||
"beispiel": "",
|
||||
"bekannt": "",
|
||||
"bereits": "",
|
||||
"besonders": "",
|
||||
"besser": "",
|
||||
"besten": "",
|
||||
"bin": "",
|
||||
"bis": "",
|
||||
"bisher": "",
|
||||
"bist": "",
|
||||
"da": "",
|
||||
"dabei": "",
|
||||
"dadurch": "",
|
||||
"dafür": "",
|
||||
"dagegen": "",
|
||||
"daher": "",
|
||||
"dahin": "",
|
||||
"dahinter": "",
|
||||
"damals": "",
|
||||
"damit": "",
|
||||
"danach": "",
|
||||
"daneben": "",
|
||||
"dank": "",
|
||||
"dann": "",
|
||||
"daran": "",
|
||||
"darauf": "",
|
||||
"daraus": "",
|
||||
"darf": "",
|
||||
"darfst": "",
|
||||
"darin": "",
|
||||
"darüber": "",
|
||||
"darum": "",
|
||||
"darunter": "",
|
||||
"das": "",
|
||||
"dasein": "",
|
||||
"daselbst": "",
|
||||
"dass": "",
|
||||
"daß": "",
|
||||
"dasselbe": "",
|
||||
"davon": "",
|
||||
"davor": "",
|
||||
"dazu": "",
|
||||
"dazwischen": "",
|
||||
"dein": "",
|
||||
"deine": "",
|
||||
"deinem": "",
|
||||
"deiner": "",
|
||||
"dem": "",
|
||||
"dementsprechend": "",
|
||||
"demgegenüber": "",
|
||||
"demgemäss": "",
|
||||
"demgemäß": "",
|
||||
"demselben": "",
|
||||
"demzufolge": "",
|
||||
"den": "",
|
||||
"denen": "",
|
||||
"denn": "",
|
||||
"denselben": "",
|
||||
"der": "",
|
||||
"deren": "",
|
||||
"derjenige": "",
|
||||
"derjenigen": "",
|
||||
"dermassen": "",
|
||||
"dermaßen": "",
|
||||
"derselbe": "",
|
||||
"derselben": "",
|
||||
"des": "",
|
||||
"deshalb": "",
|
||||
"desselben": "",
|
||||
"dessen": "",
|
||||
"deswegen": "",
|
||||
"d.h": "",
|
||||
"dich": "",
|
||||
"die": "",
|
||||
"diejenige": "",
|
||||
"diejenigen": "",
|
||||
"dies": "",
|
||||
"diese": "",
|
||||
"dieselbe": "",
|
||||
"dieselben": "",
|
||||
"diesem": "",
|
||||
"diesen": "",
|
||||
"dieser": "",
|
||||
"dieses": "",
|
||||
"dir": "",
|
||||
"doch": "",
|
||||
"dort": "",
|
||||
"drei": "",
|
||||
"drin": "",
|
||||
"dritte": "",
|
||||
"dritten": "",
|
||||
"dritter": "",
|
||||
"drittes": "",
|
||||
"du": "",
|
||||
"durch": "",
|
||||
"durchaus": "",
|
||||
"dürfen": "",
|
||||
"dürft": "",
|
||||
"durfte": "",
|
||||
"durften": "",
|
||||
"eben": "",
|
||||
"ebenso": "",
|
||||
"ehrlich": "",
|
||||
"ei": "",
|
||||
"eigen": "",
|
||||
"eigene": "",
|
||||
"eigenen": "",
|
||||
"eigener": "",
|
||||
"eigenes": "",
|
||||
"ein": "",
|
||||
"einander": "",
|
||||
"eine": "",
|
||||
"einem": "",
|
||||
"einen": "",
|
||||
"einer": "",
|
||||
"eines": "",
|
||||
"einige": "",
|
||||
"einigen": "",
|
||||
"einiger": "",
|
||||
"einiges": "",
|
||||
"einmal": "",
|
||||
"eins": "",
|
||||
"elf": "",
|
||||
"en": "",
|
||||
"ende": "",
|
||||
"endlich": "",
|
||||
"entweder": "",
|
||||
"er": "",
|
||||
"ernst": "",
|
||||
"erst": "",
|
||||
"erste": "",
|
||||
"ersten": "",
|
||||
"erster": "",
|
||||
"erstes": "",
|
||||
"es": "",
|
||||
"etwa": "",
|
||||
"etwas": "",
|
||||
"euch": "",
|
||||
"früher": "",
|
||||
"fünf": "",
|
||||
"fünfte": "",
|
||||
"fünften": "",
|
||||
"fünfter": "",
|
||||
"fünftes": "",
|
||||
"für": "",
|
||||
"gab": "",
|
||||
"ganz": "",
|
||||
"ganze": "",
|
||||
"ganzen": "",
|
||||
"ganzer": "",
|
||||
"ganzes": "",
|
||||
"gar": "",
|
||||
"gedurft": "",
|
||||
"gegen": "",
|
||||
"gegenüber": "",
|
||||
"gehabt": "",
|
||||
"gehen": "",
|
||||
"geht": "",
|
||||
"gekannt": "",
|
||||
"gekonnt": "",
|
||||
"gemacht": "",
|
||||
"gemocht": "",
|
||||
"gemusst": "",
|
||||
"genug": "",
|
||||
"gerade": "",
|
||||
"gern": "",
|
||||
"gesagt": "",
|
||||
"geschweige": "",
|
||||
"gewesen": "",
|
||||
"gewollt": "",
|
||||
"geworden": "",
|
||||
"gibt": "",
|
||||
"ging": "",
|
||||
"gleich": "",
|
||||
"gott": "",
|
||||
"gross": "",
|
||||
"groß": "",
|
||||
"grosse": "",
|
||||
"große": "",
|
||||
"grossen": "",
|
||||
"großen": "",
|
||||
"grosser": "",
|
||||
"großer": "",
|
||||
"grosses": "",
|
||||
"großes": "",
|
||||
"gut": "",
|
||||
"gute": "",
|
||||
"guter": "",
|
||||
"gutes": "",
|
||||
"habe": "",
|
||||
"haben": "",
|
||||
"habt": "",
|
||||
"hast": "",
|
||||
"hat": "",
|
||||
"hatte": "",
|
||||
"hätte": "",
|
||||
"hatten": "",
|
||||
"hätten": "",
|
||||
"heisst": "",
|
||||
"her": "",
|
||||
"heute": "",
|
||||
"hier": "",
|
||||
"hin": "",
|
||||
"hinter": "",
|
||||
"hoch": "",
|
||||
"ich": "",
|
||||
"ihm": "",
|
||||
"ihn": "",
|
||||
"ihnen": "",
|
||||
"ihr": "",
|
||||
"ihre": "",
|
||||
"ihrem": "",
|
||||
"ihren": "",
|
||||
"ihrer": "",
|
||||
"ihres": "",
|
||||
"im": "",
|
||||
"immer": "",
|
||||
"in": "",
|
||||
"indem": "",
|
||||
"infolgedessen": "",
|
||||
"ins": "",
|
||||
"irgend": "",
|
||||
"ist": "",
|
||||
"ja": "",
|
||||
"jahr": "",
|
||||
"jahre": "",
|
||||
"jahren": "",
|
||||
"je": "",
|
||||
"jede": "",
|
||||
"jedem": "",
|
||||
"jeden": "",
|
||||
"jeder": "",
|
||||
"jedermann": "",
|
||||
"jedermanns": "",
|
||||
"jedoch": "",
|
||||
"jemand": "",
|
||||
"jemandem": "",
|
||||
"jemanden": "",
|
||||
"jene": "",
|
||||
"jenem": "",
|
||||
"jenen": "",
|
||||
"jener": "",
|
||||
"jenes": "",
|
||||
"jetzt": "",
|
||||
"kam": "",
|
||||
"kann": "",
|
||||
"kannst": "",
|
||||
"kaum": "",
|
||||
"kein": "",
|
||||
"keine": "",
|
||||
"keinem": "",
|
||||
"keinen": "",
|
||||
"keiner": "",
|
||||
"kleine": "",
|
||||
"kleinen": "",
|
||||
"kleiner": "",
|
||||
"kleines": "",
|
||||
"kommen": "",
|
||||
"kommt": "",
|
||||
"können": "",
|
||||
"könnt": "",
|
||||
"konnte": "",
|
||||
"könnte": "",
|
||||
"konnten": "",
|
||||
"kurz": "",
|
||||
"lang": "",
|
||||
"lange": "",
|
||||
"leicht": "",
|
||||
"leide": "",
|
||||
"lieber": "",
|
||||
"los": "",
|
||||
"machen": "",
|
||||
"macht": "",
|
||||
"machte": "",
|
||||
"mag": "",
|
||||
"magst": "",
|
||||
"mahn": "",
|
||||
"man": "",
|
||||
"manche": "",
|
||||
"manchem": "",
|
||||
"manchen": "",
|
||||
"mancher": "",
|
||||
"manches": "",
|
||||
"mann": "",
|
||||
"mehr": "",
|
||||
"mein": "",
|
||||
"meine": "",
|
||||
"meinem": "",
|
||||
"meinen": "",
|
||||
"meiner": "",
|
||||
"meines": "",
|
||||
"mensch": "",
|
||||
"menschen": "",
|
||||
"mich": "",
|
||||
"mir": "",
|
||||
"mit": "",
|
||||
"mittel": "",
|
||||
"mochte": "",
|
||||
"möchte": "",
|
||||
"mochten": "",
|
||||
"mögen": "",
|
||||
"möglich": "",
|
||||
"mögt": "",
|
||||
"morgen": "",
|
||||
"muss": "",
|
||||
"muß": "",
|
||||
"müssen": "",
|
||||
"musst": "",
|
||||
"müsst": "",
|
||||
"musste": "",
|
||||
"mussten": "",
|
||||
"na": "",
|
||||
"nach": "",
|
||||
"nachdem": "",
|
||||
"nahm": "",
|
||||
"natürlich": "",
|
||||
"neben": "",
|
||||
"nein": "",
|
||||
"neue": "",
|
||||
"neuen": "",
|
||||
"neun": "",
|
||||
"neunte": "",
|
||||
"neunten": "",
|
||||
"neunter": "",
|
||||
"neuntes": "",
|
||||
"nicht": "",
|
||||
"nichts": "",
|
||||
"nie": "",
|
||||
"niemand": "",
|
||||
"niemandem": "",
|
||||
"niemanden": "",
|
||||
"noch": "",
|
||||
"nun": "",
|
||||
"nur": "",
|
||||
"ob": "",
|
||||
"oben": "",
|
||||
"oder": "",
|
||||
"offen": "",
|
||||
"oft": "",
|
||||
"ohne": "",
|
||||
"ordnung": "",
|
||||
"recht": "",
|
||||
"rechte": "",
|
||||
"rechten": "",
|
||||
"rechter": "",
|
||||
"rechtes": "",
|
||||
"richtig": "",
|
||||
"rund": "",
|
||||
"sa": "",
|
||||
"sache": "",
|
||||
"sagt": "",
|
||||
"sagte": "",
|
||||
"sah": "",
|
||||
"satt": "",
|
||||
"schlecht": "",
|
||||
"schluss": "",
|
||||
"schon": "",
|
||||
"sechs": "",
|
||||
"sechste": "",
|
||||
"sechsten": "",
|
||||
"sechster": "",
|
||||
"sechstes": "",
|
||||
"sehr": "",
|
||||
"sei": "",
|
||||
"seid": "",
|
||||
"seien": "",
|
||||
"sein": "",
|
||||
"seine": "",
|
||||
"seinem": "",
|
||||
"seinen": "",
|
||||
"seiner": "",
|
||||
"seines": "",
|
||||
"seit": "",
|
||||
"seitdem": "",
|
||||
"selbst": "",
|
||||
"sich": "",
|
||||
"sie": "",
|
||||
"sieben": "",
|
||||
"siebente": "",
|
||||
"siebenten": "",
|
||||
"siebenter": "",
|
||||
"siebentes": "",
|
||||
"sind": "",
|
||||
"so": "",
|
||||
"solang": "",
|
||||
"solche": "",
|
||||
"solchem": "",
|
||||
"solchen": "",
|
||||
"solcher": "",
|
||||
"solches": "",
|
||||
"soll": "",
|
||||
"sollen": "",
|
||||
"sollte": "",
|
||||
"sollten": "",
|
||||
"sondern": "",
|
||||
"sonst": "",
|
||||
"sowie": "",
|
||||
"später": "",
|
||||
"statt": "",
|
||||
"tag": "",
|
||||
"tage": "",
|
||||
"tagen": "",
|
||||
"tat": "",
|
||||
"teil": "",
|
||||
"tel": "",
|
||||
"tritt": "",
|
||||
"trotzdem": "",
|
||||
"tun": "",
|
||||
"über": "",
|
||||
"überhaupt": "",
|
||||
"übrigens": "",
|
||||
"uhr": "",
|
||||
"um": "",
|
||||
"und": "",
|
||||
"und?": "",
|
||||
"uns": "",
|
||||
"unser": "",
|
||||
"unsere": "",
|
||||
"unserer": "",
|
||||
"unter": "",
|
||||
"vergangenen": "",
|
||||
"viel": "",
|
||||
"viele": "",
|
||||
"vielem": "",
|
||||
"vielen": "",
|
||||
"vielleicht": "",
|
||||
"vier": "",
|
||||
"vierte": "",
|
||||
"vierten": "",
|
||||
"vierter": "",
|
||||
"viertes": "",
|
||||
"vom": "",
|
||||
"von": "",
|
||||
"vor": "",
|
||||
"wahr?": "",
|
||||
"während": "",
|
||||
"währenddem": "",
|
||||
"währenddessen": "",
|
||||
"wann": "",
|
||||
"war": "",
|
||||
"wäre": "",
|
||||
"waren": "",
|
||||
"wart": "",
|
||||
"warum": "",
|
||||
"was": "",
|
||||
"wegen": "",
|
||||
"weil": "",
|
||||
"weit": "",
|
||||
"weiter": "",
|
||||
"weitere": "",
|
||||
"weiteren": "",
|
||||
"weiteres": "",
|
||||
"welche": "",
|
||||
"welchem": "",
|
||||
"welchen": "",
|
||||
"welcher": "",
|
||||
"welches": "",
|
||||
"wem": "",
|
||||
"wen": "",
|
||||
"wenig": "",
|
||||
"wenige": "",
|
||||
"weniger": "",
|
||||
"weniges": "",
|
||||
"wenigstens": "",
|
||||
"wenn": "",
|
||||
"wer": "",
|
||||
"werde": "",
|
||||
"werden": "",
|
||||
"werdet": "",
|
||||
"wessen": "",
|
||||
"wie": "",
|
||||
"wieder": "",
|
||||
"will": "",
|
||||
"willst": "",
|
||||
"wir": "",
|
||||
"wird": "",
|
||||
"wirklich": "",
|
||||
"wirst": "",
|
||||
"wo": "",
|
||||
"wohl": "",
|
||||
"wollen": "",
|
||||
"wollt": "",
|
||||
"wollte": "",
|
||||
"wollten": "",
|
||||
"worden": "",
|
||||
"wurde": "",
|
||||
"würde": "",
|
||||
"wurden": "",
|
||||
"würden": "",
|
||||
"z.b": "",
|
||||
"zehn": "",
|
||||
"zehnte": "",
|
||||
"zehnten": "",
|
||||
"zehnter": "",
|
||||
"zehntes": "",
|
||||
"zeit": "",
|
||||
"zu": "",
|
||||
"zuerst": "",
|
||||
"zugleich": "",
|
||||
"zum": "",
|
||||
"zunächst": "",
|
||||
"zur": "",
|
||||
"zurück": "",
|
||||
"zusammen": "",
|
||||
"zwanzig": "",
|
||||
"zwar": "",
|
||||
"zwei": "",
|
||||
"zweite": "",
|
||||
"zweiten": "",
|
||||
"zweiter": "",
|
||||
"zweites": "",
|
||||
"zwischen": "",
|
||||
"zwölf": ""}
|
||||
+160
@@ -0,0 +1,160 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var greek = map[string]string{
|
||||
"μή": "",
|
||||
"ἑαυτοῦ": "",
|
||||
"ἄν ": "",
|
||||
"ἀλλ’": "",
|
||||
"ἀλλά": "",
|
||||
"ἄλλοσ": "",
|
||||
"ἀπό": "",
|
||||
"ἄρα": "",
|
||||
"αὐτόσ": "",
|
||||
"δ’": "",
|
||||
"δέ": "",
|
||||
"δή": "",
|
||||
"διά": "",
|
||||
"δαί": "",
|
||||
"δαίσ": "",
|
||||
"ἔτι": "",
|
||||
"ἐγώ": "",
|
||||
"ἐκ": "",
|
||||
"ἐμόσ": "",
|
||||
"ἐν": "",
|
||||
"ἐπί": "",
|
||||
"εἰ": "",
|
||||
"εἰμί": "",
|
||||
"εἴμι": "",
|
||||
"εἰσ": "",
|
||||
"γάρ": "",
|
||||
"γε": "",
|
||||
"γα": "",
|
||||
"ἡ": "",
|
||||
"ἤ": "",
|
||||
"καί": "",
|
||||
"κατά": "",
|
||||
"μέν": "",
|
||||
"μετά": "",
|
||||
"ὁ": "",
|
||||
"ὅδε": "",
|
||||
"ὅσ": "",
|
||||
"ὅστισ": "",
|
||||
"ὅτι": "",
|
||||
"οὕτωσ": "",
|
||||
"οὗτοσ": "",
|
||||
"οὔτε": "",
|
||||
"οὖν": "",
|
||||
"οὐδείσ": "",
|
||||
"οἱ": "",
|
||||
"οὐ": "",
|
||||
"οὐδέ": "",
|
||||
"οὐκ": "",
|
||||
"περί": "",
|
||||
"πρόσ": "",
|
||||
"σύ": "",
|
||||
"σύν": "",
|
||||
"τά": "",
|
||||
"τε": "",
|
||||
"τήν": "",
|
||||
"τῆσ": "",
|
||||
"τῇ": "",
|
||||
"τι": "",
|
||||
"τί": "",
|
||||
"τισ": "",
|
||||
"τίσ": "",
|
||||
"τό": "",
|
||||
"τοί": "",
|
||||
"τοιοῦτοσ": "",
|
||||
"τόν": "",
|
||||
"τούσ": "",
|
||||
"τοῦ": "",
|
||||
"τῶν": "",
|
||||
"τῷ": "",
|
||||
"ὑμόσ": "",
|
||||
"ὑπέρ": "",
|
||||
"ὑπό": "",
|
||||
"ὡσ": "",
|
||||
"ὦ": "",
|
||||
"ὥστε": "",
|
||||
"ἐάν": "",
|
||||
"παρά": "",
|
||||
"σόσ": "",
|
||||
"ο": "",
|
||||
"η": "",
|
||||
"το": "",
|
||||
"οι": "",
|
||||
"τα": "",
|
||||
"του": "",
|
||||
"τησ": "",
|
||||
"των": "",
|
||||
"τον": "",
|
||||
"την": "",
|
||||
"και ": "",
|
||||
"κι": "",
|
||||
"κ": "",
|
||||
"ειμαι": "",
|
||||
"εισαι": "",
|
||||
"ειναι": "",
|
||||
"ειμαστε": "",
|
||||
"ειστε": "",
|
||||
"στο": "",
|
||||
"στον": "",
|
||||
"στη": "",
|
||||
"στην": "",
|
||||
"μα": "",
|
||||
"αλλα": "",
|
||||
"απο": "",
|
||||
"για": "",
|
||||
"προσ": "",
|
||||
"με": "",
|
||||
"σε": "",
|
||||
"ωσ": "",
|
||||
"παρα": "",
|
||||
"αντι": "",
|
||||
"κατα": "",
|
||||
"μετα": "",
|
||||
"θα": "",
|
||||
"να": "",
|
||||
"δε": "",
|
||||
"δεν": "",
|
||||
"μη": "",
|
||||
"μην": "",
|
||||
"επι": "",
|
||||
"ενω": "",
|
||||
"εαν": "",
|
||||
"αν": "",
|
||||
"τοτε": "",
|
||||
"που": "",
|
||||
"πωσ": "",
|
||||
"ποιοσ": "",
|
||||
"ποια": "",
|
||||
"ποιο": "",
|
||||
"ποιοι": "",
|
||||
"ποιεσ": "",
|
||||
"ποιων": "",
|
||||
"ποιουσ": "",
|
||||
"αυτοσ": "",
|
||||
"αυτη": "",
|
||||
"αυτο": "",
|
||||
"αυτοι": "",
|
||||
"αυτων": "",
|
||||
"αυτουσ": "",
|
||||
"αυτεσ": "",
|
||||
"αυτα": "",
|
||||
"εκεινοσ": "",
|
||||
"εκεινη": "",
|
||||
"εκεινο": "",
|
||||
"εκεινοι": "",
|
||||
"εκεινεσ": "",
|
||||
"εκεινα": "",
|
||||
"εκεινων": "",
|
||||
"εκεινουσ": "",
|
||||
"οπωσ": "",
|
||||
"ομωσ": "",
|
||||
"ισωσ": "",
|
||||
"οσο": "",
|
||||
"οτι": ""}
|
||||
+324
@@ -0,0 +1,324 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var english = map[string]string{
|
||||
"a": "",
|
||||
"about": "",
|
||||
"above": "",
|
||||
"across": "",
|
||||
"after": "",
|
||||
"afterwards": "",
|
||||
"again": "",
|
||||
"against": "",
|
||||
"all": "",
|
||||
"almost": "",
|
||||
"alone": "",
|
||||
"along": "",
|
||||
"already": "",
|
||||
"also": "",
|
||||
"although": "",
|
||||
"always": "",
|
||||
"am": "",
|
||||
"among": "",
|
||||
"amongst": "",
|
||||
"amoungst": "",
|
||||
"amount": "",
|
||||
"an": "",
|
||||
"and": "",
|
||||
"another": "",
|
||||
"any": "",
|
||||
"anyhow": "",
|
||||
"anyone": "",
|
||||
"anything": "",
|
||||
"anyway": "",
|
||||
"anywhere": "",
|
||||
"are": "",
|
||||
"around": "",
|
||||
"as": "",
|
||||
"at": "",
|
||||
"back": "",
|
||||
"be": "",
|
||||
"became": "",
|
||||
"because": "",
|
||||
"become": "",
|
||||
"becomes": "",
|
||||
"becoming": "",
|
||||
"been": "",
|
||||
"before": "",
|
||||
"beforehand": "",
|
||||
"behind": "",
|
||||
"being": "",
|
||||
"below": "",
|
||||
"beside": "",
|
||||
"besides": "",
|
||||
"between": "",
|
||||
"beyond": "",
|
||||
"bill": "",
|
||||
"both": "",
|
||||
"bottom": "",
|
||||
"but": "",
|
||||
"by": "",
|
||||
"call": "",
|
||||
"can": "",
|
||||
"cannot": "",
|
||||
"cant": "",
|
||||
"co": "",
|
||||
"con": "",
|
||||
"could": "",
|
||||
"couldnt": "",
|
||||
"cry": "",
|
||||
"de": "",
|
||||
"describe": "",
|
||||
"detail": "",
|
||||
"do": "",
|
||||
"done": "",
|
||||
"down": "",
|
||||
"due": "",
|
||||
"during": "",
|
||||
"each": "",
|
||||
"eg": "",
|
||||
"eight": "",
|
||||
"either": "",
|
||||
"eleven": "",
|
||||
"else": "",
|
||||
"elsewhere": "",
|
||||
"empty": "",
|
||||
"enough": "",
|
||||
"etc": "",
|
||||
"even": "",
|
||||
"ever": "",
|
||||
"every": "",
|
||||
"everyone": "",
|
||||
"everything": "",
|
||||
"everywhere": "",
|
||||
"except": "",
|
||||
"few": "",
|
||||
"fifteen": "",
|
||||
"fify": "",
|
||||
"fill": "",
|
||||
"find": "",
|
||||
"fire": "",
|
||||
"first": "",
|
||||
"five": "",
|
||||
"for": "",
|
||||
"former": "",
|
||||
"formerly": "",
|
||||
"forty": "",
|
||||
"found": "",
|
||||
"four": "",
|
||||
"from": "",
|
||||
"front": "",
|
||||
"full": "",
|
||||
"further": "",
|
||||
"get": "",
|
||||
"give": "",
|
||||
"go": "",
|
||||
"had": "",
|
||||
"has": "",
|
||||
"hasnt": "",
|
||||
"have": "",
|
||||
"he": "",
|
||||
"hence": "",
|
||||
"her": "",
|
||||
"here": "",
|
||||
"hereafter": "",
|
||||
"hereby": "",
|
||||
"herein": "",
|
||||
"hereupon": "",
|
||||
"hers": "",
|
||||
"herself": "",
|
||||
"him": "",
|
||||
"himself": "",
|
||||
"his": "",
|
||||
"how": "",
|
||||
"however": "",
|
||||
"hundred": "",
|
||||
"ie": "",
|
||||
"if": "",
|
||||
"in": "",
|
||||
"inc": "",
|
||||
"indeed": "",
|
||||
"interest": "",
|
||||
"into": "",
|
||||
"is": "",
|
||||
"it": "",
|
||||
"its": "",
|
||||
"itself": "",
|
||||
"keep": "",
|
||||
"last": "",
|
||||
"latter": "",
|
||||
"latterly": "",
|
||||
"least": "",
|
||||
"less": "",
|
||||
"ltd": "",
|
||||
"made": "",
|
||||
"many": "",
|
||||
"may": "",
|
||||
"me": "",
|
||||
"meanwhile": "",
|
||||
"might": "",
|
||||
"mill": "",
|
||||
"mine": "",
|
||||
"more": "",
|
||||
"moreover": "",
|
||||
"most": "",
|
||||
"mostly": "",
|
||||
"move": "",
|
||||
"much": "",
|
||||
"must": "",
|
||||
"my": "",
|
||||
"myself": "",
|
||||
"name": "",
|
||||
"namely": "",
|
||||
"neither": "",
|
||||
"never": "",
|
||||
"nevertheless": "",
|
||||
"next": "",
|
||||
"nine": "",
|
||||
"no": "",
|
||||
"nobody": "",
|
||||
"none": "",
|
||||
"noone": "",
|
||||
"nor": "",
|
||||
"not": "",
|
||||
"nothing": "",
|
||||
"now": "",
|
||||
"nowhere": "",
|
||||
"of": "",
|
||||
"off": "",
|
||||
"often": "",
|
||||
"on": "",
|
||||
"once": "",
|
||||
"one": "",
|
||||
"only": "",
|
||||
"onto": "",
|
||||
"or": "",
|
||||
"other": "",
|
||||
"others": "",
|
||||
"otherwise": "",
|
||||
"our": "",
|
||||
"ours": "",
|
||||
"ourselves": "",
|
||||
"out": "",
|
||||
"over": "",
|
||||
"own": "",
|
||||
"part": "",
|
||||
"per": "",
|
||||
"perhaps": "",
|
||||
"please": "",
|
||||
"put": "",
|
||||
"rather": "",
|
||||
"re": "",
|
||||
"same": "",
|
||||
"see": "",
|
||||
"seem": "",
|
||||
"seemed": "",
|
||||
"seeming": "",
|
||||
"seems": "",
|
||||
"serious": "",
|
||||
"several": "",
|
||||
"she": "",
|
||||
"should": "",
|
||||
"show": "",
|
||||
"side": "",
|
||||
"since": "",
|
||||
"sincere": "",
|
||||
"six": "",
|
||||
"sixty": "",
|
||||
"so": "",
|
||||
"some": "",
|
||||
"somehow": "",
|
||||
"someone": "",
|
||||
"something": "",
|
||||
"sometime": "",
|
||||
"sometimes": "",
|
||||
"somewhere": "",
|
||||
"still": "",
|
||||
"such": "",
|
||||
"system": "",
|
||||
"take": "",
|
||||
"ten": "",
|
||||
"than": "",
|
||||
"that": "",
|
||||
"the": "",
|
||||
"their": "",
|
||||
"them": "",
|
||||
"themselves": "",
|
||||
"then": "",
|
||||
"thence": "",
|
||||
"there": "",
|
||||
"thereafter": "",
|
||||
"thereby": "",
|
||||
"therefore": "",
|
||||
"therein": "",
|
||||
"thereupon": "",
|
||||
"these": "",
|
||||
"they": "",
|
||||
"thickv": "",
|
||||
"thin": "",
|
||||
"third": "",
|
||||
"this": "",
|
||||
"those": "",
|
||||
"though": "",
|
||||
"three": "",
|
||||
"through": "",
|
||||
"throughout": "",
|
||||
"thru": "",
|
||||
"thus": "",
|
||||
"to": "",
|
||||
"together": "",
|
||||
"too": "",
|
||||
"top": "",
|
||||
"toward": "",
|
||||
"towards": "",
|
||||
"twelve": "",
|
||||
"twenty": "",
|
||||
"two": "",
|
||||
"un": "",
|
||||
"under": "",
|
||||
"until": "",
|
||||
"up": "",
|
||||
"upon": "",
|
||||
"us": "",
|
||||
"very": "",
|
||||
"via": "",
|
||||
"was": "",
|
||||
"we": "",
|
||||
"well": "",
|
||||
"were": "",
|
||||
"what": "",
|
||||
"whatever": "",
|
||||
"when": "",
|
||||
"whence": "",
|
||||
"whenever": "",
|
||||
"where": "",
|
||||
"whereafter": "",
|
||||
"whereas": "",
|
||||
"whereby": "",
|
||||
"wherein": "",
|
||||
"whereupon": "",
|
||||
"wherever": "",
|
||||
"whether": "",
|
||||
"which": "",
|
||||
"while": "",
|
||||
"whither": "",
|
||||
"who": "",
|
||||
"whoever": "",
|
||||
"whole": "",
|
||||
"whom": "",
|
||||
"whose": "",
|
||||
"why": "",
|
||||
"will": "",
|
||||
"with": "",
|
||||
"within": "",
|
||||
"without": "",
|
||||
"would": "",
|
||||
"yet": "",
|
||||
"you": "",
|
||||
"your": "",
|
||||
"yours": "",
|
||||
"yourself": "",
|
||||
"yourselves": ""}
|
||||
+291
@@ -0,0 +1,291 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var spanish = map[string]string{
|
||||
"a": "",
|
||||
"acuerdo": "",
|
||||
"adelante": "",
|
||||
"ademas": "",
|
||||
"además": "",
|
||||
"adrede": "",
|
||||
"ahi": "",
|
||||
"ahí": "",
|
||||
"ahora": "",
|
||||
"al": "",
|
||||
"alli": "",
|
||||
"allí": "",
|
||||
"alrededor": "",
|
||||
"antano": "",
|
||||
"antaño": "",
|
||||
"ante": "",
|
||||
"antes": "",
|
||||
"apenas": "",
|
||||
"aproximadamente": "",
|
||||
"aquel": "",
|
||||
"aquél": "",
|
||||
"aquella": "",
|
||||
"aquélla": "",
|
||||
"aquellas": "",
|
||||
"aquéllas": "",
|
||||
"aquello": "",
|
||||
"aquellos": "",
|
||||
"aquéllos": "",
|
||||
"aqui": "",
|
||||
"aquí": "",
|
||||
"arribaabajo": "",
|
||||
"asi": "",
|
||||
"así": "",
|
||||
"aun": "",
|
||||
"aún": "",
|
||||
"aunque": "",
|
||||
"bajo": "",
|
||||
"bastante": "",
|
||||
"bien": "",
|
||||
"breve": "",
|
||||
"casi": "",
|
||||
"cerca": "",
|
||||
"claro": "",
|
||||
"como": "",
|
||||
"cómo": "",
|
||||
"con": "",
|
||||
"conmigo": "",
|
||||
"contigo": "",
|
||||
"contra": "",
|
||||
"cual": "",
|
||||
"cuál": "",
|
||||
"cuales": "",
|
||||
"cuáles": "",
|
||||
"cuando": "",
|
||||
"cuándo": "",
|
||||
"cuanta": "",
|
||||
"cuánta": "",
|
||||
"cuantas": "",
|
||||
"cuántas": "",
|
||||
"cuanto": "",
|
||||
"cuánto": "",
|
||||
"cuantos": "",
|
||||
"cuántos": "",
|
||||
"de": "",
|
||||
"debajo": "",
|
||||
"del": "",
|
||||
"delante": "",
|
||||
"demasiado": "",
|
||||
"dentro": "",
|
||||
"deprisa": "",
|
||||
"desde": "",
|
||||
"despacio": "",
|
||||
"despues": "",
|
||||
"después": "",
|
||||
"detras": "",
|
||||
"detrás": "",
|
||||
"dia": "",
|
||||
"día": "",
|
||||
"dias": "",
|
||||
"días": "",
|
||||
"donde": "",
|
||||
"dónde": "",
|
||||
"dos": "",
|
||||
"durante": "",
|
||||
"el": "",
|
||||
"él": "",
|
||||
"ella": "",
|
||||
"ellas": "",
|
||||
"ellos": "",
|
||||
"en": "",
|
||||
"encima": "",
|
||||
"enfrente": "",
|
||||
"enseguida": "",
|
||||
"entre": "",
|
||||
"es": "",
|
||||
"esa": "",
|
||||
"ésa": "",
|
||||
"esas": "",
|
||||
"ésas": "",
|
||||
"ese": "",
|
||||
"ése": "",
|
||||
"eso": "",
|
||||
"esos": "",
|
||||
"ésos": "",
|
||||
"esta": "",
|
||||
"está": "",
|
||||
"ésta": "",
|
||||
"estado": "",
|
||||
"estados": "",
|
||||
"estan": "",
|
||||
"están": "",
|
||||
"estar": "",
|
||||
"estas": "",
|
||||
"éstas": "",
|
||||
"este": "",
|
||||
"éste": "",
|
||||
"esto": "",
|
||||
"estos": "",
|
||||
"éstos": "",
|
||||
"ex": "",
|
||||
"excepto": "",
|
||||
"final": "",
|
||||
"fue": "",
|
||||
"fuera": "",
|
||||
"fueron": "",
|
||||
"g": "",
|
||||
"general": "",
|
||||
"gran": "",
|
||||
"ha": "",
|
||||
"habia": "",
|
||||
"había": "",
|
||||
"habla": "",
|
||||
"hablan": "",
|
||||
"hace": "",
|
||||
"hacia": "",
|
||||
"han": "",
|
||||
"hasta": "",
|
||||
"hay": "",
|
||||
"horas": "",
|
||||
"hoy": "",
|
||||
"i": "",
|
||||
"incluso": "",
|
||||
"informo": "",
|
||||
"informó": "",
|
||||
"junto": "",
|
||||
"la": "",
|
||||
"lado": "",
|
||||
"las": "",
|
||||
"le": "",
|
||||
"lejos": "",
|
||||
"lo": "",
|
||||
"los": "",
|
||||
"luego": "",
|
||||
"mal": "",
|
||||
"mas": "",
|
||||
"más": "",
|
||||
"mayor": "",
|
||||
"me": "",
|
||||
"medio": "",
|
||||
"mejor": "",
|
||||
"menos": "",
|
||||
"menudo": "",
|
||||
"mi": "",
|
||||
"mí": "",
|
||||
"mia": "",
|
||||
"mía": "",
|
||||
"mias": "",
|
||||
"mías": "",
|
||||
"mientras": "",
|
||||
"mio": "",
|
||||
"mío": "",
|
||||
"mios": "",
|
||||
"míos": "",
|
||||
"mis": "",
|
||||
"mismo": "",
|
||||
"mucho": "",
|
||||
"muy": "",
|
||||
"nada": "",
|
||||
"nadie": "",
|
||||
"ninguna": "",
|
||||
"no": "",
|
||||
"nos": "",
|
||||
"nosotras": "",
|
||||
"nosotros": "",
|
||||
"nuestra": "",
|
||||
"nuestras": "",
|
||||
"nuestro": "",
|
||||
"nuestros": "",
|
||||
"nueva": "",
|
||||
"nuevo": "",
|
||||
"nunca": "",
|
||||
"os": "",
|
||||
"otra": "",
|
||||
"otros": "",
|
||||
"pais": "",
|
||||
"paìs": "",
|
||||
"para": "",
|
||||
"parte": "",
|
||||
"pasado": "",
|
||||
"peor": "",
|
||||
"pero": "",
|
||||
"poco": "",
|
||||
"por": "",
|
||||
"porque": "",
|
||||
"pronto": "",
|
||||
"proximo": "",
|
||||
"próximo": "",
|
||||
"puede": "",
|
||||
"qeu": "",
|
||||
"que": "",
|
||||
"qué": "",
|
||||
"quien": "",
|
||||
"quién": "",
|
||||
"quienes": "",
|
||||
"quiénes": "",
|
||||
"quiza": "",
|
||||
"quizá": "",
|
||||
"quizas": "",
|
||||
"quizás": "",
|
||||
"raras": "",
|
||||
"repente": "",
|
||||
"salvo": "",
|
||||
"se": "",
|
||||
"sé": "",
|
||||
"segun": "",
|
||||
"según": "",
|
||||
"ser": "",
|
||||
"sera": "",
|
||||
"será": "",
|
||||
"si": "",
|
||||
"sí": "",
|
||||
"sido": "",
|
||||
"siempre": "",
|
||||
"sin": "",
|
||||
"sobre": "",
|
||||
"solamente": "",
|
||||
"solo": "",
|
||||
"sólo": "",
|
||||
"son": "",
|
||||
"soyos": "",
|
||||
"su": "",
|
||||
"supuesto": "",
|
||||
"sus": "",
|
||||
"suya": "",
|
||||
"suyas": "",
|
||||
"suyo": "",
|
||||
"tal": "",
|
||||
"tambien": "",
|
||||
"también": "",
|
||||
"tampoco": "",
|
||||
"tarde": "",
|
||||
"te": "",
|
||||
"temprano": "",
|
||||
"ti": "",
|
||||
"tiene": "",
|
||||
"todavia": "",
|
||||
"todavía": "",
|
||||
"todo": "",
|
||||
"todos": "",
|
||||
"tras": "",
|
||||
"tu": "",
|
||||
"tú": "",
|
||||
"tus": "",
|
||||
"tuya": "",
|
||||
"tuyas": "",
|
||||
"tuyo": "",
|
||||
"tuyos": "",
|
||||
"un": "",
|
||||
"una": "",
|
||||
"unas": "",
|
||||
"uno": "",
|
||||
"unos": "",
|
||||
"usted": "",
|
||||
"ustedes": "",
|
||||
"veces": "",
|
||||
"vez": "",
|
||||
"vosotras": "",
|
||||
"vosotros": "",
|
||||
"vuestra": "",
|
||||
"vuestras": "",
|
||||
"vuestro": "",
|
||||
"vuestros": "",
|
||||
"ya": "",
|
||||
"yo": ""}
|
||||
+339
@@ -0,0 +1,339 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var persian = map[string]string{
|
||||
"و": "",
|
||||
"در": "",
|
||||
"به": "",
|
||||
"از": "",
|
||||
"كه": "",
|
||||
"مي": "",
|
||||
"اين": "",
|
||||
"است": "",
|
||||
"را": "",
|
||||
"با": "",
|
||||
"هاي": "",
|
||||
"براي": "",
|
||||
"آن": "",
|
||||
"يك": "",
|
||||
"شود": "",
|
||||
"شده": "",
|
||||
"خود": "",
|
||||
"ها": "",
|
||||
"كرد": "",
|
||||
"شد": "",
|
||||
"اي": "",
|
||||
"تا": "",
|
||||
"كند": "",
|
||||
"بر": "",
|
||||
"بود": "",
|
||||
"گفت": "",
|
||||
"نيز": "",
|
||||
"وي": "",
|
||||
"هم": "",
|
||||
"كنند": "",
|
||||
"دارد": "",
|
||||
"ما": "",
|
||||
"كرده": "",
|
||||
"يا": "",
|
||||
"اما": "",
|
||||
"بايد": "",
|
||||
"دو": "",
|
||||
"اند": "",
|
||||
"هر": "",
|
||||
"خواهد": "",
|
||||
"او": "",
|
||||
"مورد": "",
|
||||
"آنها": "",
|
||||
"باشد": "",
|
||||
"ديگر": "",
|
||||
"مردم": "",
|
||||
"نمي": "",
|
||||
"بين": "",
|
||||
"پيش": "",
|
||||
"پس": "",
|
||||
"اگر": "",
|
||||
"همه": "",
|
||||
"صورت": "",
|
||||
"يكي": "",
|
||||
"هستند": "",
|
||||
"بي": "",
|
||||
"من": "",
|
||||
"دهد": "",
|
||||
"هزار": "",
|
||||
"نيست": "",
|
||||
"استفاده": "",
|
||||
"داد": "",
|
||||
"داشته": "",
|
||||
"راه": "",
|
||||
"داشت": "",
|
||||
"چه": "",
|
||||
"همچنين": "",
|
||||
"كردند": "",
|
||||
"داده": "",
|
||||
"بوده": "",
|
||||
"دارند": "",
|
||||
"همين": "",
|
||||
"ميليون": "",
|
||||
"سوي": "",
|
||||
"شوند": "",
|
||||
"بيشتر": "",
|
||||
"بسيار": "",
|
||||
"روي": "",
|
||||
"گرفته": "",
|
||||
"هايي": "",
|
||||
"تواند": "",
|
||||
"اول": "",
|
||||
"نام": "",
|
||||
"هيچ": "",
|
||||
"چند": "",
|
||||
"جديد": "",
|
||||
"بيش": "",
|
||||
"شدن": "",
|
||||
"كردن": "",
|
||||
"كنيم": "",
|
||||
"نشان": "",
|
||||
"حتي": "",
|
||||
"اينكه": "",
|
||||
"ولی": "",
|
||||
"توسط": "",
|
||||
"چنين": "",
|
||||
"برخي": "",
|
||||
"نه": "",
|
||||
"ديروز": "",
|
||||
"دوم": "",
|
||||
"درباره": "",
|
||||
"بعد": "",
|
||||
"مختلف": "",
|
||||
"گيرد": "",
|
||||
"شما": "",
|
||||
"گفته": "",
|
||||
"آنان": "",
|
||||
"بار": "",
|
||||
"طور": "",
|
||||
"گرفت": "",
|
||||
"دهند": "",
|
||||
"گذاري": "",
|
||||
"بسياري": "",
|
||||
"طي": "",
|
||||
"بودند": "",
|
||||
"ميليارد": "",
|
||||
"بدون": "",
|
||||
"تمام": "",
|
||||
"كل": "",
|
||||
"تر": "",
|
||||
"براساس": "",
|
||||
"شدند": "",
|
||||
"ترين": "",
|
||||
"امروز": "",
|
||||
"باشند": "",
|
||||
"ندارد": "",
|
||||
"چون": "",
|
||||
"قابل": "",
|
||||
"گويد": "",
|
||||
"ديگري": "",
|
||||
"همان": "",
|
||||
"خواهند": "",
|
||||
"قبل": "",
|
||||
"آمده": "",
|
||||
"اكنون": "",
|
||||
"تحت": "",
|
||||
"طريق": "",
|
||||
"گيري": "",
|
||||
"جاي": "",
|
||||
"هنوز": "",
|
||||
"چرا": "",
|
||||
"البته": "",
|
||||
"كنيد": "",
|
||||
"سازي": "",
|
||||
"سوم": "",
|
||||
"كنم": "",
|
||||
"بلكه": "",
|
||||
"زير": "",
|
||||
"توانند": "",
|
||||
"ضمن": "",
|
||||
"فقط": "",
|
||||
"بودن": "",
|
||||
"حق": "",
|
||||
"آيد": "",
|
||||
"وقتي": "",
|
||||
"اش": "",
|
||||
"يابد": "",
|
||||
"نخستين": "",
|
||||
"مقابل": "",
|
||||
"خدمات": "",
|
||||
"امسال": "",
|
||||
"تاكنون": "",
|
||||
"مانند": "",
|
||||
"تازه": "",
|
||||
"آورد": "",
|
||||
"فكر": "",
|
||||
"آنچه": "",
|
||||
"نخست": "",
|
||||
"نشده": "",
|
||||
"شايد": "",
|
||||
"چهار": "",
|
||||
"جريان": "",
|
||||
"پنج": "",
|
||||
"ساخته": "",
|
||||
"زيرا": "",
|
||||
"نزديك": "",
|
||||
"برداري": "",
|
||||
"كسي": "",
|
||||
"ريزي": "",
|
||||
"رفت": "",
|
||||
"گردد": "",
|
||||
"مثل": "",
|
||||
"آمد": "",
|
||||
"ام": "",
|
||||
"بهترين": "",
|
||||
"دانست": "",
|
||||
"كمتر": "",
|
||||
"دادن": "",
|
||||
"تمامي": "",
|
||||
"جلوگيري": "",
|
||||
"بيشتري": "",
|
||||
"ايم": "",
|
||||
"ناشي": "",
|
||||
"چيزي": "",
|
||||
"آنكه": "",
|
||||
"بالا": "",
|
||||
"بنابراين": "",
|
||||
"ايشان": "",
|
||||
"بعضي": "",
|
||||
"دادند": "",
|
||||
"داشتند": "",
|
||||
"برخوردار": "",
|
||||
"نخواهد": "",
|
||||
"هنگام": "",
|
||||
"نبايد": "",
|
||||
"غير": "",
|
||||
"نبود": "",
|
||||
"ديده": "",
|
||||
"وگو": "",
|
||||
"داريم": "",
|
||||
"چگونه": "",
|
||||
"بندي": "",
|
||||
"خواست": "",
|
||||
"فوق": "",
|
||||
"ده": "",
|
||||
"نوعي": "",
|
||||
"هستيم": "",
|
||||
"ديگران": "",
|
||||
"همچنان": "",
|
||||
"سراسر": "",
|
||||
"ندارند": "",
|
||||
"گروهي": "",
|
||||
"سعي": "",
|
||||
"روزهاي": "",
|
||||
"آنجا": "",
|
||||
"يكديگر": "",
|
||||
"كردم": "",
|
||||
"بيست": "",
|
||||
"بروز": "",
|
||||
"سپس": "",
|
||||
"رفته": "",
|
||||
"آورده": "",
|
||||
"نمايد": "",
|
||||
"باشيم": "",
|
||||
"گويند": "",
|
||||
"زياد": "",
|
||||
"خويش": "",
|
||||
"همواره": "",
|
||||
"گذاشته": "",
|
||||
"شش": "",
|
||||
"نداشته": "",
|
||||
"شناسي": "",
|
||||
"خواهيم": "",
|
||||
"آباد": "",
|
||||
"داشتن": "",
|
||||
"نظير": "",
|
||||
"همچون": "",
|
||||
"باره": "",
|
||||
"نكرده": "",
|
||||
"شان": "",
|
||||
"سابق": "",
|
||||
"هفت": "",
|
||||
"دانند": "",
|
||||
"جايي": "",
|
||||
"بی": "",
|
||||
"جز": "",
|
||||
"زیرِ": "",
|
||||
"رویِ": "",
|
||||
"سریِ": "",
|
||||
"تویِ": "",
|
||||
"جلویِ": "",
|
||||
"پیشِ": "",
|
||||
"عقبِ": "",
|
||||
"بالایِ": "",
|
||||
"خارجِ": "",
|
||||
"وسطِ": "",
|
||||
"بیرونِ": "",
|
||||
"سویِ": "",
|
||||
"کنارِ": "",
|
||||
"پاعینِ": "",
|
||||
"نزدِ": "",
|
||||
"نزدیکِ": "",
|
||||
"دنبالِ": "",
|
||||
"حدودِ": "",
|
||||
"برابرِ": "",
|
||||
"طبقِ": "",
|
||||
"مانندِ": "",
|
||||
"ضدِّ": "",
|
||||
"هنگامِ": "",
|
||||
"برایِ": "",
|
||||
"مثلِ": "",
|
||||
"بارة": "",
|
||||
"اثرِ": "",
|
||||
"تولِ": "",
|
||||
"علّتِ": "",
|
||||
"سمتِ": "",
|
||||
"عنوانِ": "",
|
||||
"قصدِ": "",
|
||||
"روب": "",
|
||||
"جدا": "",
|
||||
"کی": "",
|
||||
"که": "",
|
||||
"چیست": "",
|
||||
"هست": "",
|
||||
"کجا": "",
|
||||
"کجاست": "",
|
||||
"کَی": "",
|
||||
"چطور": "",
|
||||
"کدام": "",
|
||||
"آیا": "",
|
||||
"مگر": "",
|
||||
"چندین": "",
|
||||
"یک": "",
|
||||
"چیزی": "",
|
||||
"دیگر": "",
|
||||
"کسی": "",
|
||||
"بعری": "",
|
||||
"هیچ": "",
|
||||
"چیز": "",
|
||||
"جا": "",
|
||||
"کس": "",
|
||||
"هرگز": "",
|
||||
"یا": "",
|
||||
"تنها": "",
|
||||
"بلکه": "",
|
||||
"خیاه": "",
|
||||
"بله": "",
|
||||
"بلی": "",
|
||||
"آره": "",
|
||||
"آری": "",
|
||||
"مرسی": "",
|
||||
"البتّه": "",
|
||||
"لطفاً": "",
|
||||
"ّه": "",
|
||||
"انکه": "",
|
||||
"وقتیکه": "",
|
||||
"همین": "",
|
||||
"پیش": "",
|
||||
"مدّتی": "",
|
||||
"هنگامی": "",
|
||||
"مان": "",
|
||||
"تان": ""}
|
||||
+754
@@ -0,0 +1,754 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var finnish = map[string]string{
|
||||
"aiemmin": "",
|
||||
"aika": "",
|
||||
"aikaa": "",
|
||||
"aikaan": "",
|
||||
"aikaisemmin": "",
|
||||
"aikaisin": "",
|
||||
"aikajen": "",
|
||||
"aikana": "",
|
||||
"aikoina": "",
|
||||
"aikoo": "",
|
||||
"aikovat": "",
|
||||
"aina": "",
|
||||
"ainakaan": "",
|
||||
"ainakin": "",
|
||||
"ainoa": "",
|
||||
"ainoat": "",
|
||||
"aiomme": "",
|
||||
"aion": "",
|
||||
"aiotte": "",
|
||||
"aist": "",
|
||||
"aivan": "",
|
||||
"ajan": "",
|
||||
"älä": "",
|
||||
"alas": "",
|
||||
"alemmas": "",
|
||||
"älköön": "",
|
||||
"alkuisin": "",
|
||||
"alkuun": "",
|
||||
"alla": "",
|
||||
"alle": "",
|
||||
"aloitamme": "",
|
||||
"aloitan": "",
|
||||
"aloitat": "",
|
||||
"aloitatte": "",
|
||||
"aloitattivat": "",
|
||||
"aloitettava": "",
|
||||
"aloitettevaksi": "",
|
||||
"aloitettu": "",
|
||||
"aloitimme": "",
|
||||
"aloitin": "",
|
||||
"aloitit": "",
|
||||
"aloititte": "",
|
||||
"aloittaa": "",
|
||||
"aloittamatta": "",
|
||||
"aloitti": "",
|
||||
"aloittivat": "",
|
||||
"alta": "",
|
||||
"aluksi": "",
|
||||
"alussa": "",
|
||||
"alusta": "",
|
||||
"annettavaksi": "",
|
||||
"annetteva": "",
|
||||
"annettu": "",
|
||||
"antaa": "",
|
||||
"antamatta": "",
|
||||
"antoi": "",
|
||||
"aoua": "",
|
||||
"apu": "",
|
||||
"asia": "",
|
||||
"asiaa": "",
|
||||
"asian": "",
|
||||
"asiasta": "",
|
||||
"asiat": "",
|
||||
"asioiden": "",
|
||||
"asioihin": "",
|
||||
"asioita": "",
|
||||
"asti": "",
|
||||
"avuksi": "",
|
||||
"avulla": "",
|
||||
"avun": "",
|
||||
"avutta": "",
|
||||
"edellä": "",
|
||||
"edelle": "",
|
||||
"edelleen": "",
|
||||
"edeltä": "",
|
||||
"edemmäs": "",
|
||||
"edes": "",
|
||||
"edessä": "",
|
||||
"edestä": "",
|
||||
"ehkä": "",
|
||||
"ei": "",
|
||||
"eikä": "",
|
||||
"eilen": "",
|
||||
"eivät": "",
|
||||
"eli": "",
|
||||
"ellei": "",
|
||||
"elleivät": "",
|
||||
"ellemme": "",
|
||||
"ellen": "",
|
||||
"ellet": "",
|
||||
"ellette": "",
|
||||
"emme": "",
|
||||
"en": "",
|
||||
"enää": "",
|
||||
"enemmän": "",
|
||||
"eniten": "",
|
||||
"ennen": "",
|
||||
"ensi": "",
|
||||
"ensimmäinen": "",
|
||||
"ensimmäiseksi": "",
|
||||
"ensimmäisen": "",
|
||||
"ensimmäisenä": "",
|
||||
"ensimmäiset": "",
|
||||
"ensimmäisiä": "",
|
||||
"ensimmäisiksi": "",
|
||||
"ensimmäisinä": "",
|
||||
"ensimmäistä": "",
|
||||
"ensin": "",
|
||||
"entinen": "",
|
||||
"entisen": "",
|
||||
"entisiä": "",
|
||||
"entistä": "",
|
||||
"entisten": "",
|
||||
"eräät": "",
|
||||
"eräiden": "",
|
||||
"eräs": "",
|
||||
"eri": "",
|
||||
"erittäin": "",
|
||||
"erityisesti": "",
|
||||
"esi": "",
|
||||
"esiin": "",
|
||||
"esillä": "",
|
||||
"esimerkiksi": "",
|
||||
"et": "",
|
||||
"eteen": "",
|
||||
"etenkin": "",
|
||||
"että": "",
|
||||
"ette": "",
|
||||
"ettei": "",
|
||||
"halua": "",
|
||||
"haluaa": "",
|
||||
"haluamatta": "",
|
||||
"haluamme": "",
|
||||
"haluan": "",
|
||||
"haluat": "",
|
||||
"haluatte": "",
|
||||
"haluavat": "",
|
||||
"halunnut": "",
|
||||
"halusi": "",
|
||||
"halusimme": "",
|
||||
"halusin": "",
|
||||
"halusit": "",
|
||||
"halusitte": "",
|
||||
"halusivat": "",
|
||||
"halutessa": "",
|
||||
"haluton": "",
|
||||
"hän": "",
|
||||
"häneen": "",
|
||||
"hänellä": "",
|
||||
"hänelle": "",
|
||||
"häneltä": "",
|
||||
"hänen": "",
|
||||
"hänessä": "",
|
||||
"hänestä": "",
|
||||
"hänet": "",
|
||||
"he": "",
|
||||
"hei": "",
|
||||
"heidän": "",
|
||||
"heihin": "",
|
||||
"heille": "",
|
||||
"heiltä": "",
|
||||
"heissä": "",
|
||||
"heistä": "",
|
||||
"heitä": "",
|
||||
"helposti": "",
|
||||
"heti": "",
|
||||
"hetkellä": "",
|
||||
"hieman": "",
|
||||
"huolimatta": "",
|
||||
"huomenna": "",
|
||||
"hyvä": "",
|
||||
"hyvää": "",
|
||||
"hyvät": "",
|
||||
"hyviä": "",
|
||||
"hyvien": "",
|
||||
"hyviin": "",
|
||||
"hyviksi": "",
|
||||
"hyville": "",
|
||||
"hyviltä": "",
|
||||
"hyvin": "",
|
||||
"hyvinä": "",
|
||||
"hyvissä": "",
|
||||
"hyvistä": "",
|
||||
"ihan": "",
|
||||
"ilman": "",
|
||||
"ilmeisesti": "",
|
||||
"itse": "",
|
||||
"itseään": "",
|
||||
"itsensä": "",
|
||||
"ja": "",
|
||||
"jää": "",
|
||||
"jälkeen": "",
|
||||
"jälleen": "",
|
||||
"jo": "",
|
||||
"johon": "",
|
||||
"joiden": "",
|
||||
"joihin": "",
|
||||
"joiksi": "",
|
||||
"joilla": "",
|
||||
"joille": "",
|
||||
"joilta": "",
|
||||
"joissa": "",
|
||||
"joista": "",
|
||||
"joita": "",
|
||||
"joka": "",
|
||||
"jokainen": "",
|
||||
"jokin": "",
|
||||
"joko": "",
|
||||
"joku": "",
|
||||
"jolla": "",
|
||||
"jolle": "",
|
||||
"jolloin": "",
|
||||
"jolta": "",
|
||||
"jompikumpi": "",
|
||||
"jonka": "",
|
||||
"jonkin": "",
|
||||
"jonne": "",
|
||||
"joo": "",
|
||||
"jopa": "",
|
||||
"jos": "",
|
||||
"joskus": "",
|
||||
"jossa": "",
|
||||
"josta": "",
|
||||
"jota": "",
|
||||
"jotain": "",
|
||||
"joten": "",
|
||||
"jotenkin": "",
|
||||
"jotenkuten": "",
|
||||
"jotka": "",
|
||||
"jotta": "",
|
||||
"jouduimme": "",
|
||||
"jouduin": "",
|
||||
"jouduit": "",
|
||||
"jouduitte": "",
|
||||
"joudumme": "",
|
||||
"joudun": "",
|
||||
"joudutte": "",
|
||||
"joukkoon": "",
|
||||
"joukossa": "",
|
||||
"joukosta": "",
|
||||
"joutua": "",
|
||||
"joutui": "",
|
||||
"joutuivat": "",
|
||||
"joutumaan": "",
|
||||
"joutuu": "",
|
||||
"joutuvat": "",
|
||||
"juuri": "",
|
||||
"kahdeksan": "",
|
||||
"kahdeksannen": "",
|
||||
"kahdella": "",
|
||||
"kahdelle": "",
|
||||
"kahdelta": "",
|
||||
"kahden": "",
|
||||
"kahdessa": "",
|
||||
"kahdesta": "",
|
||||
"kahta": "",
|
||||
"kahteen": "",
|
||||
"kai": "",
|
||||
"kaiken": "",
|
||||
"kaikille": "",
|
||||
"kaikilta": "",
|
||||
"kaikkea": "",
|
||||
"kaikki": "",
|
||||
"kaikkia": "",
|
||||
"kaikkiaan": "",
|
||||
"kaikkialla": "",
|
||||
"kaikkialle": "",
|
||||
"kaikkialta": "",
|
||||
"kaikkien": "",
|
||||
"kaikkin": "",
|
||||
"kaksi": "",
|
||||
"kannalta": "",
|
||||
"kannattaa": "",
|
||||
"kanssa": "",
|
||||
"kanssaan": "",
|
||||
"kanssamme": "",
|
||||
"kanssani": "",
|
||||
"kanssanne": "",
|
||||
"kanssasi": "",
|
||||
"kauan": "",
|
||||
"kauemmas": "",
|
||||
"kautta": "",
|
||||
"kehen": "",
|
||||
"keiden": "",
|
||||
"keihin": "",
|
||||
"keiksi": "",
|
||||
"keillä": "",
|
||||
"keille": "",
|
||||
"keiltä": "",
|
||||
"keinä": "",
|
||||
"keissä": "",
|
||||
"keistä": "",
|
||||
"keitä": "",
|
||||
"keittä": "",
|
||||
"keitten": "",
|
||||
"keneen": "",
|
||||
"keneksi": "",
|
||||
"kenellä": "",
|
||||
"kenelle": "",
|
||||
"keneltä": "",
|
||||
"kenen": "",
|
||||
"kenenä": "",
|
||||
"kenessä": "",
|
||||
"kenestä": "",
|
||||
"kenet": "",
|
||||
"kenettä": "",
|
||||
"kennessästä": "",
|
||||
"kerran": "",
|
||||
"kerta": "",
|
||||
"kertaa": "",
|
||||
"kesken": "",
|
||||
"keskimäärin": "",
|
||||
"ketä": "",
|
||||
"ketkä": "",
|
||||
"kiitos": "",
|
||||
"kohti": "",
|
||||
"koko": "",
|
||||
"kokonaan": "",
|
||||
"kolmas": "",
|
||||
"kolme": "",
|
||||
"kolmen": "",
|
||||
"kolmesti": "",
|
||||
"koska": "",
|
||||
"koskaan": "",
|
||||
"kovin": "",
|
||||
"kuin": "",
|
||||
"kuinka": "",
|
||||
"kuitenkaan": "",
|
||||
"kuitenkin": "",
|
||||
"kuka": "",
|
||||
"kukaan": "",
|
||||
"kukin": "",
|
||||
"kumpainen": "",
|
||||
"kumpainenkaan": "",
|
||||
"kumpi": "",
|
||||
"kumpikaan": "",
|
||||
"kumpikin": "",
|
||||
"kun": "",
|
||||
"kuten": "",
|
||||
"kuuden": "",
|
||||
"kuusi": "",
|
||||
"kuutta": "",
|
||||
"kyllä": "",
|
||||
"kymmenen": "",
|
||||
"kyse": "",
|
||||
"lähekkäin": "",
|
||||
"lähellä": "",
|
||||
"lähelle": "",
|
||||
"läheltä": "",
|
||||
"lähemmäs": "",
|
||||
"lähes": "",
|
||||
"lähinnä": "",
|
||||
"lähtien": "",
|
||||
"läpi": "",
|
||||
"liian": "",
|
||||
"liki": "",
|
||||
"lisää": "",
|
||||
"lisäksi": "",
|
||||
"luo": "",
|
||||
"mahdollisimman": "",
|
||||
"mahdollista": "",
|
||||
"me": "",
|
||||
"meidän": "",
|
||||
"meillä": "",
|
||||
"meille": "",
|
||||
"melkein": "",
|
||||
"melko": "",
|
||||
"menee": "",
|
||||
"meneet": "",
|
||||
"menemme": "",
|
||||
"menen": "",
|
||||
"menet": "",
|
||||
"menette": "",
|
||||
"menevät": "",
|
||||
"meni": "",
|
||||
"menimme": "",
|
||||
"menin": "",
|
||||
"menit": "",
|
||||
"menivät": "",
|
||||
"mennessä": "",
|
||||
"mennyt": "",
|
||||
"menossa": "",
|
||||
"mihin": "",
|
||||
"mikä": "",
|
||||
"mikään": "",
|
||||
"mikäli": "",
|
||||
"mikin": "",
|
||||
"miksi": "",
|
||||
"milloin": "",
|
||||
"minä": "",
|
||||
"minne": "",
|
||||
"minun": "",
|
||||
"minut": "",
|
||||
"missä": "",
|
||||
"mistä": "",
|
||||
"mitä": "",
|
||||
"mitään": "",
|
||||
"miten": "",
|
||||
"moi": "",
|
||||
"molemmat": "",
|
||||
"mones": "",
|
||||
"monesti": "",
|
||||
"monet": "",
|
||||
"moni": "",
|
||||
"moniaalla": "",
|
||||
"moniaalle": "",
|
||||
"moniaalta": "",
|
||||
"monta": "",
|
||||
"muassa": "",
|
||||
"muiden": "",
|
||||
"muita": "",
|
||||
"muka": "",
|
||||
"mukaan": "",
|
||||
"mukaansa": "",
|
||||
"mukana": "",
|
||||
"mutta": "",
|
||||
"muu": "",
|
||||
"muualla": "",
|
||||
"muualle": "",
|
||||
"muualta": "",
|
||||
"muuanne": "",
|
||||
"muulloin": "",
|
||||
"muun": "",
|
||||
"muut": "",
|
||||
"muuta": "",
|
||||
"muutama": "",
|
||||
"muutaman": "",
|
||||
"muuten": "",
|
||||
"myöhemmin": "",
|
||||
"myös": "",
|
||||
"myöskään": "",
|
||||
"myöskin": "",
|
||||
"myötä": "",
|
||||
"näiden": "",
|
||||
"näin": "",
|
||||
"näissä": "",
|
||||
"näissähin": "",
|
||||
"näissälle": "",
|
||||
"näissältä": "",
|
||||
"näissästä": "",
|
||||
"näitä": "",
|
||||
"nämä": "",
|
||||
"ne": "",
|
||||
"neljä": "",
|
||||
"neljää": "",
|
||||
"neljän": "",
|
||||
"niiden": "",
|
||||
"niin": "",
|
||||
"niistä": "",
|
||||
"niitä": "",
|
||||
"noin": "",
|
||||
"nopeammin": "",
|
||||
"nopeasti": "",
|
||||
"nopeiten": "",
|
||||
"nro": "",
|
||||
"nuo": "",
|
||||
"nyt": "",
|
||||
"ohi": "",
|
||||
"oikein": "",
|
||||
"ole": "",
|
||||
"olemme": "",
|
||||
"olen": "",
|
||||
"olet": "",
|
||||
"olette": "",
|
||||
"oleva": "",
|
||||
"olevan": "",
|
||||
"olevat": "",
|
||||
"oli": "",
|
||||
"olimme": "",
|
||||
"olin": "",
|
||||
"olisi": "",
|
||||
"olisimme": "",
|
||||
"olisin": "",
|
||||
"olisit": "",
|
||||
"olisitte": "",
|
||||
"olisivat": "",
|
||||
"olit": "",
|
||||
"olitte": "",
|
||||
"olivat": "",
|
||||
"olla": "",
|
||||
"olleet": "",
|
||||
"olli": "",
|
||||
"ollut": "",
|
||||
"oma": "",
|
||||
"omaa": "",
|
||||
"omaan": "",
|
||||
"omaksi": "",
|
||||
"omalle": "",
|
||||
"omalta": "",
|
||||
"oman": "",
|
||||
"omassa": "",
|
||||
"omat": "",
|
||||
"omia": "",
|
||||
"omien": "",
|
||||
"omiin": "",
|
||||
"omiksi": "",
|
||||
"omille": "",
|
||||
"omilta": "",
|
||||
"omissa": "",
|
||||
"omista": "",
|
||||
"on": "",
|
||||
"onkin": "",
|
||||
"onko": "",
|
||||
"ovat": "",
|
||||
"päälle": "",
|
||||
"paikoittain": "",
|
||||
"paitsi": "",
|
||||
"pakosti": "",
|
||||
"paljon": "",
|
||||
"paremmin": "",
|
||||
"parempi": "",
|
||||
"parhaillaan": "",
|
||||
"parhaiten": "",
|
||||
"peräti": "",
|
||||
"perusteella": "",
|
||||
"pian": "",
|
||||
"pieneen": "",
|
||||
"pieneksi": "",
|
||||
"pienellä": "",
|
||||
"pienelle": "",
|
||||
"pieneltä": "",
|
||||
"pienempi": "",
|
||||
"pienestä": "",
|
||||
"pieni": "",
|
||||
"pienin": "",
|
||||
"puolesta": "",
|
||||
"puolestaan": "",
|
||||
"runsaasti": "",
|
||||
"saakka": "",
|
||||
"sadam": "",
|
||||
"sama": "",
|
||||
"samaa": "",
|
||||
"samaan": "",
|
||||
"samalla": "",
|
||||
"samallalta": "",
|
||||
"samallassa": "",
|
||||
"samallasta": "",
|
||||
"saman": "",
|
||||
"samat": "",
|
||||
"samoin": "",
|
||||
"sata": "",
|
||||
"sataa": "",
|
||||
"satojen": "",
|
||||
"se": "",
|
||||
"seitsemän": "",
|
||||
"sekä": "",
|
||||
"sen": "",
|
||||
"seuraavat": "",
|
||||
"siellä": "",
|
||||
"sieltä": "",
|
||||
"siihen": "",
|
||||
"siinä": "",
|
||||
"siis": "",
|
||||
"siitä": "",
|
||||
"sijaan": "",
|
||||
"siksi": "",
|
||||
"sillä": "",
|
||||
"silloin": "",
|
||||
"silti": "",
|
||||
"sinä": "",
|
||||
"sinne": "",
|
||||
"sinua": "",
|
||||
"sinulle": "",
|
||||
"sinulta": "",
|
||||
"sinun": "",
|
||||
"sinussa": "",
|
||||
"sinusta": "",
|
||||
"sinut": "",
|
||||
"sisäkkäin": "",
|
||||
"sisällä": "",
|
||||
"sitä": "",
|
||||
"siten": "",
|
||||
"sitten": "",
|
||||
"suoraan": "",
|
||||
"suuntaan": "",
|
||||
"suuren": "",
|
||||
"suuret": "",
|
||||
"suuri": "",
|
||||
"suuria": "",
|
||||
"suurin": "",
|
||||
"suurten": "",
|
||||
"taa": "",
|
||||
"täällä": "",
|
||||
"täältä": "",
|
||||
"taas": "",
|
||||
"taemmas": "",
|
||||
"tähän": "",
|
||||
"tahansa": "",
|
||||
"tai": "",
|
||||
"takaa": "",
|
||||
"takaisin": "",
|
||||
"takana": "",
|
||||
"takia": "",
|
||||
"tällä": "",
|
||||
"tällöin": "",
|
||||
"tämä": "",
|
||||
"tämän": "",
|
||||
"tänä": "",
|
||||
"tänään": "",
|
||||
"tänne": "",
|
||||
"tapauksessa": "",
|
||||
"tässä": "",
|
||||
"tästä": "",
|
||||
"tätä": "",
|
||||
"täten": "",
|
||||
"tavalla": "",
|
||||
"tavoitteena": "",
|
||||
"täysin": "",
|
||||
"täytyvät": "",
|
||||
"täytyy": "",
|
||||
"te": "",
|
||||
"tietysti": "",
|
||||
"todella": "",
|
||||
"toinen": "",
|
||||
"toisaalla": "",
|
||||
"toisaalle": "",
|
||||
"toisaalta": "",
|
||||
"toiseen": "",
|
||||
"toiseksi": "",
|
||||
"toisella": "",
|
||||
"toiselle": "",
|
||||
"toiselta": "",
|
||||
"toisemme": "",
|
||||
"toisen": "",
|
||||
"toisensa": "",
|
||||
"toisessa": "",
|
||||
"toisesta": "",
|
||||
"toista": "",
|
||||
"toistaiseksi": "",
|
||||
"toki": "",
|
||||
"tosin": "",
|
||||
"tuhannen": "",
|
||||
"tuhat": "",
|
||||
"tule": "",
|
||||
"tulee": "",
|
||||
"tulemme": "",
|
||||
"tulen": "",
|
||||
"tulet": "",
|
||||
"tulette": "",
|
||||
"tulevat": "",
|
||||
"tulimme": "",
|
||||
"tulin": "",
|
||||
"tulisi": "",
|
||||
"tulisimme": "",
|
||||
"tulisin": "",
|
||||
"tulisit": "",
|
||||
"tulisitte": "",
|
||||
"tulisivat": "",
|
||||
"tulit": "",
|
||||
"tulitte": "",
|
||||
"tulivat": "",
|
||||
"tulla": "",
|
||||
"tulleet": "",
|
||||
"tullut": "",
|
||||
"tuntuu": "",
|
||||
"tuo": "",
|
||||
"tuolla": "",
|
||||
"tuolloin": "",
|
||||
"tuolta": "",
|
||||
"tuonne": "",
|
||||
"tuskin": "",
|
||||
"tykö": "",
|
||||
"usea": "",
|
||||
"useasti": "",
|
||||
"useimmiten": "",
|
||||
"usein": "",
|
||||
"useita": "",
|
||||
"uudeksi": "",
|
||||
"uudelleen": "",
|
||||
"uuden": "",
|
||||
"uudet": "",
|
||||
"uusi": "",
|
||||
"uusia": "",
|
||||
"uusien": "",
|
||||
"uusinta": "",
|
||||
"uuteen": "",
|
||||
"uutta": "",
|
||||
"vaan": "",
|
||||
"vähän": "",
|
||||
"vähemmän": "",
|
||||
"vähintään": "",
|
||||
"vähiten": "",
|
||||
"vai": "",
|
||||
"vaiheessa": "",
|
||||
"vaikea": "",
|
||||
"vaikean": "",
|
||||
"vaikeat": "",
|
||||
"vaikeilla": "",
|
||||
"vaikeille": "",
|
||||
"vaikeilta": "",
|
||||
"vaikeissa": "",
|
||||
"vaikeista": "",
|
||||
"vaikka": "",
|
||||
"vain": "",
|
||||
"välillä": "",
|
||||
"varmasti": "",
|
||||
"varsin": "",
|
||||
"varsinkin": "",
|
||||
"varten": "",
|
||||
"vasta": "",
|
||||
"vastaan": "",
|
||||
"vastakkain": "",
|
||||
"verran": "",
|
||||
"vielä": "",
|
||||
"vierekkäin": "",
|
||||
"vieri": "",
|
||||
"viiden": "",
|
||||
"viime": "",
|
||||
"viimeinen": "",
|
||||
"viimeisen": "",
|
||||
"viimeksi": "",
|
||||
"viisi": "",
|
||||
"voi": "",
|
||||
"voidaan": "",
|
||||
"voimme": "",
|
||||
"voin": "",
|
||||
"voisi": "",
|
||||
"voit": "",
|
||||
"voitte": "",
|
||||
"voivat": "",
|
||||
"vuoden": "",
|
||||
"vuoksi": "",
|
||||
"vuosi": "",
|
||||
"vuosien": "",
|
||||
"vuosina": "",
|
||||
"vuotta": "",
|
||||
"yhä": "",
|
||||
"yhdeksän": "",
|
||||
"yhden": "",
|
||||
"yhdessä": "",
|
||||
"yhtä": "",
|
||||
"yhtäällä": "",
|
||||
"yhtäälle": "",
|
||||
"yhtäältä": "",
|
||||
"yhtään": "",
|
||||
"yhteen": "",
|
||||
"yhteensä": "",
|
||||
"yhteydessä": "",
|
||||
"yhteyteen": "",
|
||||
"yksi": "",
|
||||
"yksin": "",
|
||||
"yksittäin": "",
|
||||
"yleensä": "",
|
||||
"ylemmäs": "",
|
||||
"yli": "",
|
||||
"ylös": "",
|
||||
"ympäri": ""}
|
||||
+443
@@ -0,0 +1,443 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var french = map[string]string{
|
||||
"a": "",
|
||||
"à": "",
|
||||
"â": "",
|
||||
"abord": "",
|
||||
"afin": "",
|
||||
"ah": "",
|
||||
"ai": "",
|
||||
"aie": "",
|
||||
"ainsi": "",
|
||||
"allaient": "",
|
||||
"allo": "",
|
||||
"allô": "",
|
||||
"allons": "",
|
||||
"après": "",
|
||||
"assez": "",
|
||||
"attendu": "",
|
||||
"au": "",
|
||||
"aucun": "",
|
||||
"aucune": "",
|
||||
"aujourd": "",
|
||||
"aujourd'hui": "",
|
||||
"auquel": "",
|
||||
"aura": "",
|
||||
"auront": "",
|
||||
"aussi": "",
|
||||
"autre": "",
|
||||
"autres": "",
|
||||
"aux": "",
|
||||
"auxquelles": "",
|
||||
"auxquels": "",
|
||||
"avaient": "",
|
||||
"avais": "",
|
||||
"avait": "",
|
||||
"avant": "",
|
||||
"avec": "",
|
||||
"avoir": "",
|
||||
"ayant": "",
|
||||
"bah": "",
|
||||
"beaucoup": "",
|
||||
"bien": "",
|
||||
"bigre": "",
|
||||
"boum": "",
|
||||
"bravo": "",
|
||||
"brrr": "",
|
||||
"ça": "",
|
||||
"car": "",
|
||||
"ce": "",
|
||||
"ceci": "",
|
||||
"cela": "",
|
||||
"celle": "",
|
||||
"celle-ci": "",
|
||||
"celle-là": "",
|
||||
"celles": "",
|
||||
"celles-ci": "",
|
||||
"celles-là": "",
|
||||
"celui": "",
|
||||
"celui-ci": "",
|
||||
"celui-là": "",
|
||||
"cent": "",
|
||||
"cependant": "",
|
||||
"certain": "",
|
||||
"certaine": "",
|
||||
"certaines": "",
|
||||
"certains": "",
|
||||
"certes": "",
|
||||
"ces": "",
|
||||
"cet": "",
|
||||
"cette": "",
|
||||
"ceux": "",
|
||||
"ceux-ci": "",
|
||||
"ceux-là": "",
|
||||
"chacun": "",
|
||||
"chaque": "",
|
||||
"cher": "",
|
||||
"chère": "",
|
||||
"chères": "",
|
||||
"chers": "",
|
||||
"chez": "",
|
||||
"chiche": "",
|
||||
"chut": "",
|
||||
"ci": "",
|
||||
"cinq": "",
|
||||
"cinquantaine": "",
|
||||
"cinquante": "",
|
||||
"cinquantième": "",
|
||||
"cinquième": "",
|
||||
"clac": "",
|
||||
"clic": "",
|
||||
"combien": "",
|
||||
"comme": "",
|
||||
"comment": "",
|
||||
"compris": "",
|
||||
"concernant": "",
|
||||
"contre": "",
|
||||
"couic": "",
|
||||
"crac": "",
|
||||
"dans": "",
|
||||
"de": "",
|
||||
"debout": "",
|
||||
"dedans": "",
|
||||
"dehors": "",
|
||||
"delà": "",
|
||||
"depuis": "",
|
||||
"derrière": "",
|
||||
"des": "",
|
||||
"dès": "",
|
||||
"désormais": "",
|
||||
"desquelles": "",
|
||||
"desquels": "",
|
||||
"dessous": "",
|
||||
"dessus": "",
|
||||
"deux": "",
|
||||
"deuxième": "",
|
||||
"deuxièmement": "",
|
||||
"devant": "",
|
||||
"devers": "",
|
||||
"devra": "",
|
||||
"différent": "",
|
||||
"différente": "",
|
||||
"différentes": "",
|
||||
"différents": "",
|
||||
"dire": "",
|
||||
"divers": "",
|
||||
"diverse": "",
|
||||
"diverses": "",
|
||||
"dix": "",
|
||||
"dix-huit": "",
|
||||
"dixième": "",
|
||||
"dix-neuf": "",
|
||||
"dix-sept": "",
|
||||
"doit": "",
|
||||
"doivent": "",
|
||||
"donc": "",
|
||||
"dont": "",
|
||||
"douze": "",
|
||||
"douzième": "",
|
||||
"dring": "",
|
||||
"du": "",
|
||||
"duquel": "",
|
||||
"durant": "",
|
||||
"effet": "",
|
||||
"eh": "",
|
||||
"elle": "",
|
||||
"elle-même": "",
|
||||
"elles": "",
|
||||
"elles-mêmes": "",
|
||||
"en": "",
|
||||
"encore": "",
|
||||
"entre": "",
|
||||
"envers": "",
|
||||
"environ": "",
|
||||
"es": "",
|
||||
"ès": "",
|
||||
"est": "",
|
||||
"et": "",
|
||||
"etant": "",
|
||||
"étaient": "",
|
||||
"étais": "",
|
||||
"était": "",
|
||||
"étant": "",
|
||||
"etc": "",
|
||||
"été": "",
|
||||
"etre": "",
|
||||
"être": "",
|
||||
"eu": "",
|
||||
"euh": "",
|
||||
"eux": "",
|
||||
"eux-mêmes": "",
|
||||
"excepté": "",
|
||||
"façon": "",
|
||||
"fais": "",
|
||||
"faisaient": "",
|
||||
"faisant": "",
|
||||
"fait": "",
|
||||
"feront": "",
|
||||
"fi": "",
|
||||
"flac": "",
|
||||
"floc": "",
|
||||
"font": "",
|
||||
"gens": "",
|
||||
"ha": "",
|
||||
"hé": "",
|
||||
"hein": "",
|
||||
"hélas": "",
|
||||
"hem": "",
|
||||
"hep": "",
|
||||
"hi": "",
|
||||
"ho": "",
|
||||
"holà": "",
|
||||
"hop": "",
|
||||
"hormis": "",
|
||||
"hors": "",
|
||||
"hou": "",
|
||||
"houp": "",
|
||||
"hue": "",
|
||||
"hui": "",
|
||||
"huit": "",
|
||||
"huitième": "",
|
||||
"hum": "",
|
||||
"hurrah": "",
|
||||
"il": "",
|
||||
"ils": "",
|
||||
"importe": "",
|
||||
"je": "",
|
||||
"jusqu": "",
|
||||
"jusque": "",
|
||||
"la": "",
|
||||
"là": "",
|
||||
"laquelle": "",
|
||||
"las": "",
|
||||
"le": "",
|
||||
"lequel": "",
|
||||
"les": "",
|
||||
"lès": "",
|
||||
"lesquelles": "",
|
||||
"lesquels": "",
|
||||
"leur": "",
|
||||
"leurs": "",
|
||||
"longtemps": "",
|
||||
"lorsque": "",
|
||||
"lui": "",
|
||||
"lui-même": "",
|
||||
"ma": "",
|
||||
"maint": "",
|
||||
"mais": "",
|
||||
"malgré": "",
|
||||
"me": "",
|
||||
"même": "",
|
||||
"mêmes": "",
|
||||
"merci": "",
|
||||
"mes": "",
|
||||
"mien": "",
|
||||
"mienne": "",
|
||||
"miennes": "",
|
||||
"miens": "",
|
||||
"mille": "",
|
||||
"mince": "",
|
||||
"moi": "",
|
||||
"moi-même": "",
|
||||
"moins": "",
|
||||
"mon": "",
|
||||
"moyennant": "",
|
||||
"na": "",
|
||||
"ne": "",
|
||||
"néanmoins": "",
|
||||
"neuf": "",
|
||||
"neuvième": "",
|
||||
"ni": "",
|
||||
"nombreuses": "",
|
||||
"nombreux": "",
|
||||
"non": "",
|
||||
"nos": "",
|
||||
"notre": "",
|
||||
"nôtre": "",
|
||||
"nôtres": "",
|
||||
"nous": "",
|
||||
"nous-mêmes": "",
|
||||
"nul": "",
|
||||
"ô": "",
|
||||
"oh": "",
|
||||
"ohé": "",
|
||||
"olé": "",
|
||||
"ollé": "",
|
||||
"on": "",
|
||||
"ont": "",
|
||||
"onze": "",
|
||||
"onzième": "",
|
||||
"ore": "",
|
||||
"ou": "",
|
||||
"où": "",
|
||||
"ouf": "",
|
||||
"ouias": "",
|
||||
"oust": "",
|
||||
"ouste": "",
|
||||
"outre": "",
|
||||
"paf": "",
|
||||
"pan": "",
|
||||
"par": "",
|
||||
"parmi": "",
|
||||
"partant": "",
|
||||
"particulier": "",
|
||||
"particulière": "",
|
||||
"particulièrement": "",
|
||||
"pas": "",
|
||||
"passé": "",
|
||||
"pendant": "",
|
||||
"personne": "",
|
||||
"peu": "",
|
||||
"peut": "",
|
||||
"peuvent": "",
|
||||
"peux": "",
|
||||
"pff": "",
|
||||
"pfft": "",
|
||||
"pfut": "",
|
||||
"pif": "",
|
||||
"plein": "",
|
||||
"plouf": "",
|
||||
"plus": "",
|
||||
"plusieurs": "",
|
||||
"plutôt": "",
|
||||
"pouah": "",
|
||||
"pour": "",
|
||||
"pourquoi": "",
|
||||
"premier": "",
|
||||
"première": "",
|
||||
"premièrement": "",
|
||||
"près": "",
|
||||
"proche": "",
|
||||
"psitt": "",
|
||||
"puisque": "",
|
||||
"qu": "",
|
||||
"quand": "",
|
||||
"quant": "",
|
||||
"quanta": "",
|
||||
"quant-à-soi": "",
|
||||
"quarante": "",
|
||||
"quatorze": "",
|
||||
"quatre": "",
|
||||
"quatre-vingt": "",
|
||||
"quatrième": "",
|
||||
"quatrièmement": "",
|
||||
"que": "",
|
||||
"quel": "",
|
||||
"quelconque": "",
|
||||
"quelle": "",
|
||||
"quelles": "",
|
||||
"quelque": "",
|
||||
"quelques": "",
|
||||
"quelqu'un": "",
|
||||
"quels": "",
|
||||
"qui": "",
|
||||
"quiconque": "",
|
||||
"quinze": "",
|
||||
"quoi": "",
|
||||
"quoique": "",
|
||||
"revoici": "",
|
||||
"revoilà": "",
|
||||
"rien": "",
|
||||
"sa": "",
|
||||
"sacrebleu": "",
|
||||
"sans": "",
|
||||
"sapristi": "",
|
||||
"sauf": "",
|
||||
"se": "",
|
||||
"seize": "",
|
||||
"selon": "",
|
||||
"sept": "",
|
||||
"septième": "",
|
||||
"sera": "",
|
||||
"seront": "",
|
||||
"ses": "",
|
||||
"si": "",
|
||||
"sien": "",
|
||||
"sienne": "",
|
||||
"siennes": "",
|
||||
"siens": "",
|
||||
"sinon": "",
|
||||
"six": "",
|
||||
"sixième": "",
|
||||
"soi": "",
|
||||
"soi-même": "",
|
||||
"soit": "",
|
||||
"soixante": "",
|
||||
"son": "",
|
||||
"sont": "",
|
||||
"sous": "",
|
||||
"stop": "",
|
||||
"suis": "",
|
||||
"suivant": "",
|
||||
"sur": "",
|
||||
"surtout": "",
|
||||
"ta": "",
|
||||
"tac": "",
|
||||
"tant": "",
|
||||
"te": "",
|
||||
"té": "",
|
||||
"tel": "",
|
||||
"telle": "",
|
||||
"tellement": "",
|
||||
"telles": "",
|
||||
"tels": "",
|
||||
"tenant": "",
|
||||
"tes": "",
|
||||
"tic": "",
|
||||
"tien": "",
|
||||
"tienne": "",
|
||||
"tiennes": "",
|
||||
"tiens": "",
|
||||
"toc": "",
|
||||
"toi": "",
|
||||
"toi-même": "",
|
||||
"ton": "",
|
||||
"touchant": "",
|
||||
"toujours": "",
|
||||
"tous": "",
|
||||
"tout": "",
|
||||
"toute": "",
|
||||
"toutes": "",
|
||||
"treize": "",
|
||||
"trente": "",
|
||||
"très": "",
|
||||
"trois": "",
|
||||
"troisième": "",
|
||||
"troisièmement": "",
|
||||
"trop": "",
|
||||
"tsoin": "",
|
||||
"tsouin": "",
|
||||
"tu": "",
|
||||
"un": "",
|
||||
"une": "",
|
||||
"unes": "",
|
||||
"uns": "",
|
||||
"va": "",
|
||||
"vais": "",
|
||||
"vas": "",
|
||||
"vé": "",
|
||||
"vers": "",
|
||||
"via": "",
|
||||
"vif": "",
|
||||
"vifs": "",
|
||||
"vingt": "",
|
||||
"vivat": "",
|
||||
"vive": "",
|
||||
"vives": "",
|
||||
"vlan": "",
|
||||
"voici": "",
|
||||
"voilà": "",
|
||||
"vont": "",
|
||||
"vos": "",
|
||||
"votre": "",
|
||||
"vôtre": "",
|
||||
"vôtres": "",
|
||||
"vous": "",
|
||||
"vous-mêmes": "",
|
||||
"vu": "",
|
||||
"zut": ""}
|
||||
+744
@@ -0,0 +1,744 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var hungarian = map[string]string{
|
||||
"a": "",
|
||||
"abba": "",
|
||||
"abban": "",
|
||||
"abból": "",
|
||||
"addig": "",
|
||||
"ahhoz": "",
|
||||
"ahol": "",
|
||||
"akár": "",
|
||||
"aki": "",
|
||||
"akik": "",
|
||||
"akkor": "",
|
||||
"alá": "",
|
||||
"alád": "",
|
||||
"alájuk": "",
|
||||
"alám": "",
|
||||
"alánk": "",
|
||||
"alapján": "",
|
||||
"alátok": "",
|
||||
"alatt": "",
|
||||
"alatta": "",
|
||||
"alattad": "",
|
||||
"alattam": "",
|
||||
"alattatok": "",
|
||||
"alattuk": "",
|
||||
"alattunk": "",
|
||||
"alól": "",
|
||||
"alóla": "",
|
||||
"alólad": "",
|
||||
"alólam": "",
|
||||
"alólatok": "",
|
||||
"alóluk": "",
|
||||
"alólunk": "",
|
||||
"által": "",
|
||||
"általában": "",
|
||||
"ám": "",
|
||||
"amely": "",
|
||||
"amelybol": "",
|
||||
"amelyek": "",
|
||||
"amelyekben": "",
|
||||
"amelyeket": "",
|
||||
"amelyet": "",
|
||||
"amelyik": "",
|
||||
"amelynek": "",
|
||||
"ami": "",
|
||||
"amíg": "",
|
||||
"amikor": "",
|
||||
"amit": "",
|
||||
"amott": "",
|
||||
"annak": "",
|
||||
"annál": "",
|
||||
"arra": "",
|
||||
"arról": "",
|
||||
"át": "",
|
||||
"attól": "",
|
||||
"az": "",
|
||||
"azért": "",
|
||||
"aznap": "",
|
||||
"azok": "",
|
||||
"azokat": "",
|
||||
"azokba": "",
|
||||
"azokban": "",
|
||||
"azokból": "",
|
||||
"azokért": "",
|
||||
"azokhoz": "",
|
||||
"azokig": "",
|
||||
"azokká": "",
|
||||
"azokkal": "",
|
||||
"azoknak": "",
|
||||
"azoknál": "",
|
||||
"azokon": "",
|
||||
"azokra": "",
|
||||
"azokról": "",
|
||||
"azoktól": "",
|
||||
"azon": "",
|
||||
"azonban": "",
|
||||
"azonnal": "",
|
||||
"azt": "",
|
||||
"aztán": "",
|
||||
"azzá": "",
|
||||
"azzal": "",
|
||||
"bal": "",
|
||||
"balra": "",
|
||||
"ban": "",
|
||||
"bár": "",
|
||||
"bárcsak": "",
|
||||
"bármilyen": "",
|
||||
"be": "",
|
||||
"belé": "",
|
||||
"beléd": "",
|
||||
"beléjük": "",
|
||||
"belém": "",
|
||||
"belénk": "",
|
||||
"belétek": "",
|
||||
"belőle": "",
|
||||
"belőled": "",
|
||||
"belőlem": "",
|
||||
"belőletek": "",
|
||||
"belőlük": "",
|
||||
"belőlünk": "",
|
||||
"belül": "",
|
||||
"ben": "",
|
||||
"benne": "",
|
||||
"benned": "",
|
||||
"bennem": "",
|
||||
"bennetek": "",
|
||||
"bennük": "",
|
||||
"bennünk": "",
|
||||
"búcsú": "",
|
||||
"csak": "",
|
||||
"csakhogy": "",
|
||||
"csupán": "",
|
||||
"de": "",
|
||||
"dehogy": "",
|
||||
"ebbe": "",
|
||||
"ebben": "",
|
||||
"ebből": "",
|
||||
"eddig": "",
|
||||
"egész": "",
|
||||
"egészen": "",
|
||||
"egy": "",
|
||||
"egyéb": "",
|
||||
"egyebek": "",
|
||||
"egyebet": "",
|
||||
"egyedül": "",
|
||||
"egyelőre": "",
|
||||
"egyet": "",
|
||||
"egyik": "",
|
||||
"egymás": "",
|
||||
"egyre": "",
|
||||
"egyszerre": "",
|
||||
"együtt": "",
|
||||
"ehhez": "",
|
||||
"el": "",
|
||||
"elé": "",
|
||||
"eléd": "",
|
||||
"elég": "",
|
||||
"eleinte": "",
|
||||
"eléjük": "",
|
||||
"elém": "",
|
||||
"elénk": "",
|
||||
"elétek": "",
|
||||
"éljen": "",
|
||||
"ellen": "",
|
||||
"ellenére": "",
|
||||
"ellenes": "",
|
||||
"elleni": "",
|
||||
"elmondta": "",
|
||||
"előbb": "",
|
||||
"elől": "",
|
||||
"előle": "",
|
||||
"előled": "",
|
||||
"előlem": "",
|
||||
"előletek": "",
|
||||
"előlük": "",
|
||||
"előlünk": "",
|
||||
"először": "",
|
||||
"előtt": "",
|
||||
"előtte": "",
|
||||
"előtted": "",
|
||||
"előttem": "",
|
||||
"előttetek": "",
|
||||
"előttük": "",
|
||||
"előttünk": "",
|
||||
"előző": "",
|
||||
"első": "",
|
||||
"elsők": "",
|
||||
"elsősorban": "",
|
||||
"elsőt": "",
|
||||
"én": "",
|
||||
"engem": "",
|
||||
"ennek": "",
|
||||
"ennél": "",
|
||||
"ennyi": "",
|
||||
"enyém": "",
|
||||
"erre": "",
|
||||
"erről": "",
|
||||
"érte": "",
|
||||
"érted": "",
|
||||
"értem": "",
|
||||
"értetek": "",
|
||||
"értük": "",
|
||||
"értünk": "",
|
||||
"és": "",
|
||||
"esetben": "",
|
||||
"ettől": "",
|
||||
"év": "",
|
||||
"évben": "",
|
||||
"éve": "",
|
||||
"évek": "",
|
||||
"éves": "",
|
||||
"évi": "",
|
||||
"évvel": "",
|
||||
"ez": "",
|
||||
"ezek": "",
|
||||
"ezekbe": "",
|
||||
"ezekben": "",
|
||||
"ezekből": "",
|
||||
"ezeken": "",
|
||||
"ezekért": "",
|
||||
"ezeket": "",
|
||||
"ezekhez": "",
|
||||
"ezekig": "",
|
||||
"ezekké": "",
|
||||
"ezekkel": "",
|
||||
"ezeknek": "",
|
||||
"ezeknél": "",
|
||||
"ezekre": "",
|
||||
"ezekről": "",
|
||||
"ezektől": "",
|
||||
"ezen": "",
|
||||
"ezentúl": "",
|
||||
"ezer": "",
|
||||
"ezért": "",
|
||||
"ezret": "",
|
||||
"ezt": "",
|
||||
"ezután": "",
|
||||
"ezzé": "",
|
||||
"ezzel": "",
|
||||
"fel": "",
|
||||
"fél": "",
|
||||
"fele": "",
|
||||
"felé": "",
|
||||
"felek": "",
|
||||
"felet": "",
|
||||
"felett": "",
|
||||
"fent": "",
|
||||
"fenti": "",
|
||||
"fölé": "",
|
||||
"gyakran": "",
|
||||
"ha": "",
|
||||
"halló": "",
|
||||
"hamar": "",
|
||||
"hanem": "",
|
||||
"hány": "",
|
||||
"hányszor": "",
|
||||
"harmadik": "",
|
||||
"harmadikat": "",
|
||||
"hármat": "",
|
||||
"harminc": "",
|
||||
"három": "",
|
||||
"hat": "",
|
||||
"hát": "",
|
||||
"hátha": "",
|
||||
"hatodik": "",
|
||||
"hatodikat": "",
|
||||
"hatot": "",
|
||||
"hátulsó": "",
|
||||
"hatvan": "",
|
||||
"helyett": "",
|
||||
"hét": "",
|
||||
"hetedik": "",
|
||||
"hetediket": "",
|
||||
"hetet": "",
|
||||
"hetven": "",
|
||||
"hiába": "",
|
||||
"hirtelen": "",
|
||||
"hiszen": "",
|
||||
"hogy": "",
|
||||
"hol": "",
|
||||
"holnap": "",
|
||||
"holnapot": "",
|
||||
"honnan": "",
|
||||
"hova": "",
|
||||
"hozzá": "",
|
||||
"hozzád": "",
|
||||
"hozzájuk": "",
|
||||
"hozzám": "",
|
||||
"hozzánk": "",
|
||||
"hozzátok": "",
|
||||
"hurrá": "",
|
||||
"húsz": "",
|
||||
"huszadik": "",
|
||||
"idén": "",
|
||||
"ide-оda": "",
|
||||
"igazán": "",
|
||||
"igen": "",
|
||||
"így": "",
|
||||
"illetve": "",
|
||||
"ilyen": "",
|
||||
"immár": "",
|
||||
"inkább": "",
|
||||
"is": "",
|
||||
"ismét": "",
|
||||
"itt": "",
|
||||
"jelenleg": "",
|
||||
"jó": "",
|
||||
"jobban": "",
|
||||
"jobbra": "",
|
||||
"jól": "",
|
||||
"jólesik": "",
|
||||
"jóval": "",
|
||||
"jövőre": "",
|
||||
"kell": "",
|
||||
"kellene": "",
|
||||
"kellett": "",
|
||||
"kelljen": "",
|
||||
"képest": "",
|
||||
"kérem": "",
|
||||
"kérlek": "",
|
||||
"késő": "",
|
||||
"később": "",
|
||||
"későn": "",
|
||||
"kész": "",
|
||||
"két": "",
|
||||
"kétszer": "",
|
||||
"ketten": "",
|
||||
"kettő": "",
|
||||
"kettőt": "",
|
||||
"kevés": "",
|
||||
"ki": "",
|
||||
"kiben": "",
|
||||
"kiből": "",
|
||||
"kicsit": "",
|
||||
"kicsoda": "",
|
||||
"kié": "",
|
||||
"kiért": "",
|
||||
"kihez": "",
|
||||
"kik": "",
|
||||
"kikbe": "",
|
||||
"kikben": "",
|
||||
"kikből": "",
|
||||
"kiken": "",
|
||||
"kikért": "",
|
||||
"kiket": "",
|
||||
"kikhez": "",
|
||||
"kikké": "",
|
||||
"kikkel": "",
|
||||
"kiknek": "",
|
||||
"kiknél": "",
|
||||
"kikre": "",
|
||||
"kikről": "",
|
||||
"kiktől": "",
|
||||
"kilenc": "",
|
||||
"kilencedik": "",
|
||||
"kilencediket": "",
|
||||
"kilencet": "",
|
||||
"kilencven": "",
|
||||
"kin": "",
|
||||
"kinek": "",
|
||||
"kinél": "",
|
||||
"kire": "",
|
||||
"kiről": "",
|
||||
"kit": "",
|
||||
"kitől": "",
|
||||
"kivé": "",
|
||||
"kivel": "",
|
||||
"korábban": "",
|
||||
"körül": "",
|
||||
"köszönhetően": "",
|
||||
"köszönöm": "",
|
||||
"közben": "",
|
||||
"közé": "",
|
||||
"közel": "",
|
||||
"közepén": "",
|
||||
"közepesen": "",
|
||||
"között": "",
|
||||
"közül": "",
|
||||
"külön": "",
|
||||
"különben": "",
|
||||
"különböző": "",
|
||||
"különbözőbb": "",
|
||||
"különbözőek": "",
|
||||
"lassan": "",
|
||||
"le": "",
|
||||
"legalább": "",
|
||||
"legyen": "",
|
||||
"lehet": "",
|
||||
"lehetetlen": "",
|
||||
"lehetőleg": "",
|
||||
"lehetőség": "",
|
||||
"lenne": "",
|
||||
"lennék": "",
|
||||
"lennének": "",
|
||||
"lesz": "",
|
||||
"leszek": "",
|
||||
"lesznek": "",
|
||||
"leszünk": "",
|
||||
"lett": "",
|
||||
"lettek": "",
|
||||
"lettem": "",
|
||||
"lettünk": "",
|
||||
"lévő": "",
|
||||
"ma": "",
|
||||
"maga": "",
|
||||
"magad": "",
|
||||
"magam": "",
|
||||
"magát": "",
|
||||
"magatokat": "",
|
||||
"magukat": "",
|
||||
"magunkat": "",
|
||||
"mai": "",
|
||||
"majd": "",
|
||||
"majdnem": "",
|
||||
"manapság": "",
|
||||
"már": "",
|
||||
"más": "",
|
||||
"másik": "",
|
||||
"másikat": "",
|
||||
"másnap": "",
|
||||
"második": "",
|
||||
"másodszor": "",
|
||||
"mások": "",
|
||||
"másokat": "",
|
||||
"mást": "",
|
||||
"meg": "",
|
||||
"még": "",
|
||||
"megcsinál": "",
|
||||
"megcsinálnak": "",
|
||||
"megint": "",
|
||||
"mégis": "",
|
||||
"megvan": "",
|
||||
"mellé": "",
|
||||
"melléd": "",
|
||||
"melléjük": "",
|
||||
"mellém": "",
|
||||
"mellénk": "",
|
||||
"mellétek": "",
|
||||
"mellett": "",
|
||||
"mellette": "",
|
||||
"melletted": "",
|
||||
"mellettem": "",
|
||||
"mellettetek": "",
|
||||
"mellettük": "",
|
||||
"mellettünk": "",
|
||||
"mellől": "",
|
||||
"mellőle": "",
|
||||
"mellőled": "",
|
||||
"mellőlem": "",
|
||||
"mellőletek": "",
|
||||
"mellőlük": "",
|
||||
"mellőlünk": "",
|
||||
"melyik": "",
|
||||
"mennyi": "",
|
||||
"mert": "",
|
||||
"mi": "",
|
||||
"miatt": "",
|
||||
"miatta": "",
|
||||
"miattad": "",
|
||||
"miattam": "",
|
||||
"miattatok": "",
|
||||
"miattuk": "",
|
||||
"miattunk": "",
|
||||
"mibe": "",
|
||||
"miben": "",
|
||||
"miből": "",
|
||||
"miért": "",
|
||||
"míg": "",
|
||||
"mihez": "",
|
||||
"mik": "",
|
||||
"mikbe": "",
|
||||
"mikben": "",
|
||||
"mikből": "",
|
||||
"miken": "",
|
||||
"mikért": "",
|
||||
"miket": "",
|
||||
"mikhez": "",
|
||||
"mikké": "",
|
||||
"mikkel": "",
|
||||
"miknek": "",
|
||||
"miknél": "",
|
||||
"mikor": "",
|
||||
"mikre": "",
|
||||
"mikről": "",
|
||||
"miktől": "",
|
||||
"milyen": "",
|
||||
"min": "",
|
||||
"mind": "",
|
||||
"mindegyik": "",
|
||||
"mindegyiket": "",
|
||||
"minden": "",
|
||||
"mindenesetre": "",
|
||||
"mindenki": "",
|
||||
"mindent": "",
|
||||
"mindenütt": "",
|
||||
"mindig": "",
|
||||
"mindketten": "",
|
||||
"minek": "",
|
||||
"minél": "",
|
||||
"minket": "",
|
||||
"mint": "",
|
||||
"mire": "",
|
||||
"miről": "",
|
||||
"mit": "",
|
||||
"mitől": "",
|
||||
"mivé": "",
|
||||
"mivel": "",
|
||||
"mögé": "",
|
||||
"mögéd": "",
|
||||
"mögéjük": "",
|
||||
"mögém": "",
|
||||
"mögénk": "",
|
||||
"mögétek": "",
|
||||
"mögött": "",
|
||||
"mögötte": "",
|
||||
"mögötted": "",
|
||||
"mögöttem": "",
|
||||
"mögöttetek": "",
|
||||
"mögöttük": "",
|
||||
"mögöttünk": "",
|
||||
"mögül": "",
|
||||
"mögüle": "",
|
||||
"mögüled": "",
|
||||
"mögülem": "",
|
||||
"mögületek": "",
|
||||
"mögülük": "",
|
||||
"mögülünk": "",
|
||||
"mondta": "",
|
||||
"most": "",
|
||||
"mostanáig": "",
|
||||
"múltkor": "",
|
||||
"múlva": "",
|
||||
"na": "",
|
||||
"nagyon": "",
|
||||
"nála": "",
|
||||
"nálad": "",
|
||||
"nálam": "",
|
||||
"nálatok": "",
|
||||
"náluk": "",
|
||||
"nálunk": "",
|
||||
"naponta": "",
|
||||
"napot": "",
|
||||
"ne": "",
|
||||
"négy": "",
|
||||
"negyedik": "",
|
||||
"negyediket": "",
|
||||
"négyet": "",
|
||||
"negyven": "",
|
||||
"néha": "",
|
||||
"néhány": "",
|
||||
"neked": "",
|
||||
"nekem": "",
|
||||
"neki": "",
|
||||
"nekik": "",
|
||||
"nektek": "",
|
||||
"nekünk": "",
|
||||
"nélkül": "",
|
||||
"nem": "",
|
||||
"nemcsak": "",
|
||||
"nemrég": "",
|
||||
"nincs": "",
|
||||
"nyolc": "",
|
||||
"nyolcadik": "",
|
||||
"nyolcadikat": "",
|
||||
"nyolcat": "",
|
||||
"nyolcvan": "",
|
||||
"ő": "",
|
||||
"ők": "",
|
||||
"őket": "",
|
||||
"olyan": "",
|
||||
"ön": "",
|
||||
"önbe": "",
|
||||
"önben": "",
|
||||
"önből": "",
|
||||
"önért": "",
|
||||
"önhöz": "",
|
||||
"onnan": "",
|
||||
"önnek": "",
|
||||
"önnel": "",
|
||||
"önnél": "",
|
||||
"önök": "",
|
||||
"önökbe": "",
|
||||
"önökben": "",
|
||||
"önökből": "",
|
||||
"önökért": "",
|
||||
"önöket": "",
|
||||
"önökhöz": "",
|
||||
"önökkel": "",
|
||||
"önöknek": "",
|
||||
"önöknél": "",
|
||||
"önökön": "",
|
||||
"önökre": "",
|
||||
"önökről": "",
|
||||
"önöktől": "",
|
||||
"önön": "",
|
||||
"önre": "",
|
||||
"önről": "",
|
||||
"önt": "",
|
||||
"öntől": "",
|
||||
"öt": "",
|
||||
"őt": "",
|
||||
"óta": "",
|
||||
"ötödik": "",
|
||||
"ötödiket": "",
|
||||
"ötöt": "",
|
||||
"ott": "",
|
||||
"ötven": "",
|
||||
"pár": "",
|
||||
"pedig": "",
|
||||
"például": "",
|
||||
"persze": "",
|
||||
"rá": "",
|
||||
"rád": "",
|
||||
"rajta": "",
|
||||
"rajtad": "",
|
||||
"rajtam": "",
|
||||
"rajtatok": "",
|
||||
"rajtuk": "",
|
||||
"rajtunk": "",
|
||||
"rájuk": "",
|
||||
"rám": "",
|
||||
"ránk": "",
|
||||
"rátok": "",
|
||||
"régen": "",
|
||||
"régóta": "",
|
||||
"rendben": "",
|
||||
"részére": "",
|
||||
"rögtön": "",
|
||||
"róla": "",
|
||||
"rólad": "",
|
||||
"rólam": "",
|
||||
"rólatok": "",
|
||||
"róluk": "",
|
||||
"rólunk": "",
|
||||
"rosszul": "",
|
||||
"se": "",
|
||||
"sem": "",
|
||||
"semmi": "",
|
||||
"semmilyen": "",
|
||||
"semmiség": "",
|
||||
"senki": "",
|
||||
"soha": "",
|
||||
"sok": "",
|
||||
"sokáig": "",
|
||||
"sokan": "",
|
||||
"sokszor": "",
|
||||
"során": "",
|
||||
"sőt": "",
|
||||
"stb.": "",
|
||||
"számára": "",
|
||||
"száz": "",
|
||||
"századik": "",
|
||||
"százat": "",
|
||||
"szemben": "",
|
||||
"szépen": "",
|
||||
"szerbusz": "",
|
||||
"szerint": "",
|
||||
"szerinte": "",
|
||||
"szerinted": "",
|
||||
"szerintem": "",
|
||||
"szerintetek": "",
|
||||
"szerintük": "",
|
||||
"szerintünk": "",
|
||||
"szervusz": "",
|
||||
"szinte": "",
|
||||
"szíves": "",
|
||||
"szívesen": "",
|
||||
"szíveskedjék": "",
|
||||
"talán": "",
|
||||
"tavaly": "",
|
||||
"távol": "",
|
||||
"te": "",
|
||||
"téged": "",
|
||||
"tegnap": "",
|
||||
"tegnapelőtt": "",
|
||||
"tehát": "",
|
||||
"tele": "",
|
||||
"tényleg": "",
|
||||
"tessék": "",
|
||||
"ti": "",
|
||||
"tied": "",
|
||||
"titeket": "",
|
||||
"tíz": "",
|
||||
"tizedik": "",
|
||||
"tizediket": "",
|
||||
"tizenegy": "",
|
||||
"tizenegyedik": "",
|
||||
"tizenhárom": "",
|
||||
"tizenhat": "",
|
||||
"tizenhét": "",
|
||||
"tizenkét": "",
|
||||
"tizenkettedik": "",
|
||||
"tizenkettő": "",
|
||||
"tizenkilenc": "",
|
||||
"tizennégy": "",
|
||||
"tizennyolc": "",
|
||||
"tizenöt": "",
|
||||
"tizet": "",
|
||||
"több": "",
|
||||
"többi": "",
|
||||
"többször": "",
|
||||
"tőle": "",
|
||||
"tőled": "",
|
||||
"tőlem": "",
|
||||
"tőletek": "",
|
||||
"tőlük": "",
|
||||
"tőlünk": "",
|
||||
"tovább": "",
|
||||
"további": "",
|
||||
"túl": "",
|
||||
"úgy": "",
|
||||
"ugyanakkor": "",
|
||||
"ugyanez": "",
|
||||
"ugyanis": "",
|
||||
"ugye": "",
|
||||
"úgyis": "",
|
||||
"úgynevezett": "",
|
||||
"újra": "",
|
||||
"úr": "",
|
||||
"urak": "",
|
||||
"uram": "",
|
||||
"urat": "",
|
||||
"után": "",
|
||||
"utoljára": "",
|
||||
"utolsó": "",
|
||||
"vagy": "",
|
||||
"vagyis": "",
|
||||
"vagyok": "",
|
||||
"vagytok": "",
|
||||
"vagyunk": "",
|
||||
"vajon": "",
|
||||
"valahol": "",
|
||||
"valaki": "",
|
||||
"valakit": "",
|
||||
"valamelyik": "",
|
||||
"valami": "",
|
||||
"valamint": "",
|
||||
"van": "",
|
||||
"vannak": "",
|
||||
"végén": "",
|
||||
"végre": "",
|
||||
"végül": "",
|
||||
"vele": "",
|
||||
"veled": "",
|
||||
"velem": "",
|
||||
"veletek": "",
|
||||
"velük": "",
|
||||
"velünk": "",
|
||||
"viszlát": "",
|
||||
"viszont": "",
|
||||
"viszontlátásra": "",
|
||||
"volna": "",
|
||||
"volnának": "",
|
||||
"volnék": "",
|
||||
"volt": "",
|
||||
"voltak": "",
|
||||
"voltam": "",
|
||||
"voltunk": ""}
|
||||
+359
@@ -0,0 +1,359 @@
|
||||
package stopwords
|
||||
|
||||
var indonesian = map[string]string{
|
||||
"ada": "",
|
||||
"adanya": "",
|
||||
"adalah": "",
|
||||
"adapun": "",
|
||||
"agak": "",
|
||||
"agaknya": "",
|
||||
"agar": "",
|
||||
"akan": "",
|
||||
"akankah": "",
|
||||
"akhirnya": "",
|
||||
"aku": "",
|
||||
"akulah": "",
|
||||
"amat": "",
|
||||
"amatlah": "",
|
||||
"anda": "",
|
||||
"andalah": "",
|
||||
"antar": "",
|
||||
"diantaranya": "",
|
||||
"antara": "",
|
||||
"antaranya": "",
|
||||
"diantara": "",
|
||||
"apa": "",
|
||||
"apaan": "",
|
||||
"mengapa": "",
|
||||
"apabila": "",
|
||||
"apakah": "",
|
||||
"apalagi": "",
|
||||
"apatah": "",
|
||||
"atau": "",
|
||||
"ataukah": "",
|
||||
"ataupun": "",
|
||||
"bagai": "",
|
||||
"bagaikan": "",
|
||||
"sebagai": "",
|
||||
"sebagainya": "",
|
||||
"bagaimana": "",
|
||||
"bagaimanapun": "",
|
||||
"sebagaimana": "",
|
||||
"bagaimanakah": "",
|
||||
"bagi": "",
|
||||
"bahkan": "",
|
||||
"bahwa": "",
|
||||
"bahwasanya": "",
|
||||
"sebaliknya": "",
|
||||
"banyak": "",
|
||||
"sebanyak": "",
|
||||
"beberapa": "",
|
||||
"seberapa": "",
|
||||
"begini": "",
|
||||
"beginian": "",
|
||||
"beginikah": "",
|
||||
"beginilah": "",
|
||||
"sebegini": "",
|
||||
"begitu": "",
|
||||
"begitukah": "",
|
||||
"begitulah": "",
|
||||
"begitupun": "",
|
||||
"sebegitu": "",
|
||||
"belum": "",
|
||||
"belumlah": "",
|
||||
"sebelum": "",
|
||||
"sebelumnya": "",
|
||||
"sebenarnya": "",
|
||||
"berapa": "",
|
||||
"berapakah": "",
|
||||
"berapalah": "",
|
||||
"berapapun": "",
|
||||
"betulkah": "",
|
||||
"sebetulnya": "",
|
||||
"biasa": "",
|
||||
"biasanya": "",
|
||||
"bila": "",
|
||||
"bilakah": "",
|
||||
"bisa": "",
|
||||
"bisakah": "",
|
||||
"sebisanya": "",
|
||||
"boleh": "",
|
||||
"bolehkah": "",
|
||||
"bolehlah": "",
|
||||
"buat": "",
|
||||
"bukan": "",
|
||||
"bukankah": "",
|
||||
"bukanlah": "",
|
||||
"bukannya": "",
|
||||
"cuma": "",
|
||||
"percuma": "",
|
||||
"dahulu": "",
|
||||
"dalam": "",
|
||||
"dan": "",
|
||||
"dapat": "",
|
||||
"dari": "",
|
||||
"daripada": "",
|
||||
"dekat": "",
|
||||
"demi": "",
|
||||
"demikian": "",
|
||||
"demikianlah": "",
|
||||
"sedemikian": "",
|
||||
"dengan": "",
|
||||
"depan": "",
|
||||
"di": "",
|
||||
"dia": "",
|
||||
"dialah": "",
|
||||
"dini": "",
|
||||
"diri": "",
|
||||
"dirinya": "",
|
||||
"terdiri": "",
|
||||
"dong": "",
|
||||
"dulu": "",
|
||||
"enggak": "",
|
||||
"enggaknya": "",
|
||||
"entah": "",
|
||||
"entahlah": "",
|
||||
"terhadap": "",
|
||||
"terhadapnya": "",
|
||||
"hal": "",
|
||||
"hampir": "",
|
||||
"hanya": "",
|
||||
"hanyalah": "",
|
||||
"harus": "",
|
||||
"haruslah": "",
|
||||
"harusnya": "",
|
||||
"seharusnya": "",
|
||||
"hendak": "",
|
||||
"hendaklah": "",
|
||||
"hendaknya": "",
|
||||
"hingga": "",
|
||||
"sehingga": "",
|
||||
"ia": "",
|
||||
"ialah": "",
|
||||
"ibarat": "",
|
||||
"ingin": "",
|
||||
"inginkah": "",
|
||||
"inginkan": "",
|
||||
"ini": "",
|
||||
"inikah": "",
|
||||
"inilah": "",
|
||||
"itu": "",
|
||||
"itukah": "",
|
||||
"itulah": "",
|
||||
"jangan": "",
|
||||
"jangankan": "",
|
||||
"janganlah": "",
|
||||
"jika": "",
|
||||
"jikalau": "",
|
||||
"juga": "",
|
||||
"justru": "",
|
||||
"kala": "",
|
||||
"kalau": "",
|
||||
"kalaulah": "",
|
||||
"kalaupun": "",
|
||||
"kalian": "",
|
||||
"kami": "",
|
||||
"kamilah": "",
|
||||
"kamu": "",
|
||||
"kamulah": "",
|
||||
"kan": "",
|
||||
"kapan": "",
|
||||
"kapankah": "",
|
||||
"kapanpun": "",
|
||||
"dikarenakan": "",
|
||||
"karena": "",
|
||||
"karenanya": "",
|
||||
"ke": "",
|
||||
"kecil": "",
|
||||
"kemudian": "",
|
||||
"kenapa": "",
|
||||
"kepada": "",
|
||||
"kepadanya": "",
|
||||
"ketika": "",
|
||||
"seketika": "",
|
||||
"khususnya": "",
|
||||
"kini": "",
|
||||
"kinilah": "",
|
||||
"kiranya": "",
|
||||
"sekiranya": "",
|
||||
"kita": "",
|
||||
"kitalah": "",
|
||||
"kok": "",
|
||||
"lagi": "",
|
||||
"lagian": "",
|
||||
"selagi": "",
|
||||
"lah": "",
|
||||
"lain": "",
|
||||
"lainnya": "",
|
||||
"melainkan": "",
|
||||
"selaku": "",
|
||||
"lalu": "",
|
||||
"melalui": "",
|
||||
"terlalu": "",
|
||||
"lama": "",
|
||||
"lamanya": "",
|
||||
"selama": "",
|
||||
"selamanya": "",
|
||||
"lebih": "",
|
||||
"terlebih": "",
|
||||
"bermacam": "",
|
||||
"macam": "",
|
||||
"semacam": "",
|
||||
"maka": "",
|
||||
"makanya": "",
|
||||
"makin": "",
|
||||
"malah": "",
|
||||
"malahan": "",
|
||||
"mampu": "",
|
||||
"mampukah": "",
|
||||
"mana": "",
|
||||
"manakala": "",
|
||||
"manalagi": "",
|
||||
"masih": "",
|
||||
"masihkah": "",
|
||||
"semasih": "",
|
||||
"masing": "",
|
||||
"mau": "",
|
||||
"maupun": "",
|
||||
"semaunya": "",
|
||||
"memang": "",
|
||||
"mereka": "",
|
||||
"merekalah": "",
|
||||
"meski": "",
|
||||
"meskipun": "",
|
||||
"semula": "",
|
||||
"mungkin": "",
|
||||
"mungkinkah": "",
|
||||
"nah": "",
|
||||
"namun": "",
|
||||
"nanti": "",
|
||||
"nantinya": "",
|
||||
"nyaris": "",
|
||||
"oleh": "",
|
||||
"olehnya": "",
|
||||
"seorang": "",
|
||||
"seseorang": "",
|
||||
"pada": "",
|
||||
"padanya": "",
|
||||
"padahal": "",
|
||||
"paling": "",
|
||||
"sepanjang": "",
|
||||
"pantas": "",
|
||||
"sepantasnya": "",
|
||||
"sepantasnyalah": "",
|
||||
"para": "",
|
||||
"pasti": "",
|
||||
"pastilah": "",
|
||||
"per": "",
|
||||
"pernah": "",
|
||||
"pula": "",
|
||||
"pun": "",
|
||||
"merupakan": "",
|
||||
"rupanya": "",
|
||||
"serupa": "",
|
||||
"saat": "",
|
||||
"saatnya": "",
|
||||
"sesaat": "",
|
||||
"saja": "",
|
||||
"sajalah": "",
|
||||
"saling": "",
|
||||
"bersama": "",
|
||||
"sama": "",
|
||||
"sesama": "",
|
||||
"sambil": "",
|
||||
"sampai": "",
|
||||
"sana": "",
|
||||
"sangat": "",
|
||||
"sangatlah": "",
|
||||
"saya": "",
|
||||
"sayalah": "",
|
||||
"se": "",
|
||||
"sebab": "",
|
||||
"sebabnya": "",
|
||||
"sebuah": "",
|
||||
"tersebut": "",
|
||||
"tersebutlah": "",
|
||||
"sedang": "",
|
||||
"sedangkan": "",
|
||||
"sedikit": "",
|
||||
"sedikitnya": "",
|
||||
"segala": "",
|
||||
"segalanya": "",
|
||||
"segera": "",
|
||||
"sesegera": "",
|
||||
"sejak": "",
|
||||
"sejenak": "",
|
||||
"sekali": "",
|
||||
"sekalian": "",
|
||||
"sekalipun": "",
|
||||
"sesekali": "",
|
||||
"sekaligus": "",
|
||||
"sekarang": "",
|
||||
"sekitar": "",
|
||||
"sekitarnya": "",
|
||||
"sela": "",
|
||||
"selain": "",
|
||||
"selalu": "",
|
||||
"seluruh": "",
|
||||
"seluruhnya": "",
|
||||
"semakin": "",
|
||||
"sementara": "",
|
||||
"sempat": "",
|
||||
"semua": "",
|
||||
"semuanya": "",
|
||||
"sendiri": "",
|
||||
"sendirinya": "",
|
||||
"seolah": "",
|
||||
"seperti": "",
|
||||
"sepertinya": "",
|
||||
"sering": "",
|
||||
"seringnya": "",
|
||||
"serta": "",
|
||||
"siapa": "",
|
||||
"siapakah": "",
|
||||
"siapapun": "",
|
||||
"disini": "",
|
||||
"disinilah": "",
|
||||
"sini": "",
|
||||
"sinilah": "",
|
||||
"sesuatu": "",
|
||||
"sesuatunya": "",
|
||||
"suatu": "",
|
||||
"sesudah": "",
|
||||
"sesudahnya": "",
|
||||
"sudah": "",
|
||||
"sudahkah": "",
|
||||
"sudahlah": "",
|
||||
"supaya": "",
|
||||
"tadi": "",
|
||||
"tadinya": "",
|
||||
"tak": "",
|
||||
"tanpa": "",
|
||||
"setelah": "",
|
||||
"telah": "",
|
||||
"tentang": "",
|
||||
"tentu": "",
|
||||
"tentulah": "",
|
||||
"tentunya": "",
|
||||
"tertentu": "",
|
||||
"seterusnya": "",
|
||||
"tapi": "",
|
||||
"tetapi": "",
|
||||
"setiap": "",
|
||||
"tiap": "",
|
||||
"setidaknya": "",
|
||||
"tidak": "",
|
||||
"tidakkah": "",
|
||||
"tidaklah": "",
|
||||
"toh": "",
|
||||
"waduh": "",
|
||||
"wah": "",
|
||||
"wahai": "",
|
||||
"sewaktu": "",
|
||||
"walau": "",
|
||||
"walaupun": "",
|
||||
"wong": "",
|
||||
"yaitu": "",
|
||||
"yakni": "",
|
||||
"yang": "",
|
||||
}
|
||||
+404
@@ -0,0 +1,404 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var italian = map[string]string{
|
||||
"a": "",
|
||||
"abbastanza": "",
|
||||
"accidenti": "",
|
||||
"ad": "",
|
||||
"adesso": "",
|
||||
"affinche": "",
|
||||
"agli": "",
|
||||
"ahime": "",
|
||||
"ahimè": "",
|
||||
"ai": "",
|
||||
"al": "",
|
||||
"alcuna": "",
|
||||
"alcuni": "",
|
||||
"alcuno": "",
|
||||
"all": "",
|
||||
"alla": "",
|
||||
"alle": "",
|
||||
"allo": "",
|
||||
"altri": "",
|
||||
"altrimenti": "",
|
||||
"altro": "",
|
||||
"altrui": "",
|
||||
"anche": "",
|
||||
"ancora": "",
|
||||
"anni": "",
|
||||
"anno": "",
|
||||
"ansa": "",
|
||||
"assai": "",
|
||||
"attesa": "",
|
||||
"avanti": "",
|
||||
"avendo": "",
|
||||
"avente": "",
|
||||
"aver": "",
|
||||
"avere": "",
|
||||
"avete": "",
|
||||
"aveva": "",
|
||||
"avuta": "",
|
||||
"avute": "",
|
||||
"avuti": "",
|
||||
"avuto": "",
|
||||
"basta": "",
|
||||
"bene": "",
|
||||
"benissimo": "",
|
||||
"berlusconi": "",
|
||||
"brava": "",
|
||||
"bravo": "",
|
||||
"casa": "",
|
||||
"caso": "",
|
||||
"cento": "",
|
||||
"certa": "",
|
||||
"certe": "",
|
||||
"certi": "",
|
||||
"certo": "",
|
||||
"che": "",
|
||||
"chi": "",
|
||||
"chicchessia": "",
|
||||
"chiunque": "",
|
||||
"ci": "",
|
||||
"ciascuna": "",
|
||||
"ciascuno": "",
|
||||
"cima": "",
|
||||
"cio": "",
|
||||
"ciò": "",
|
||||
"cioe": "",
|
||||
"cioè": "",
|
||||
"circa": "",
|
||||
"citta": "",
|
||||
"città": "",
|
||||
"codesta": "",
|
||||
"codesti": "",
|
||||
"codesto": "",
|
||||
"cogli": "",
|
||||
"coi": "",
|
||||
"col": "",
|
||||
"colei": "",
|
||||
"coll": "",
|
||||
"coloro": "",
|
||||
"colui": "",
|
||||
"come": "",
|
||||
"con": "",
|
||||
"concernente": "",
|
||||
"consiglio": "",
|
||||
"contro": "",
|
||||
"cortesia": "",
|
||||
"cos": "",
|
||||
"cosa": "",
|
||||
"cosi": "",
|
||||
"così": "",
|
||||
"cui": "",
|
||||
"da": "",
|
||||
"dagli": "",
|
||||
"dai": "",
|
||||
"dal": "",
|
||||
"dall": "",
|
||||
"dalla": "",
|
||||
"dalle": "",
|
||||
"dallo": "",
|
||||
"davanti": "",
|
||||
"degli": "",
|
||||
"dei": "",
|
||||
"del": "",
|
||||
"dell": "",
|
||||
"della": "",
|
||||
"delle": "",
|
||||
"dello": "",
|
||||
"dentro": "",
|
||||
"detto": "",
|
||||
"deve": "",
|
||||
"di": "",
|
||||
"dice": "",
|
||||
"dietro": "",
|
||||
"dire": "",
|
||||
"dirimpetto": "",
|
||||
"dopo": "",
|
||||
"dove": "",
|
||||
"dovra": "",
|
||||
"dovrà": "",
|
||||
"due": "",
|
||||
"dunque": "",
|
||||
"durante": "",
|
||||
"e": "",
|
||||
"è": "",
|
||||
"ecco": "",
|
||||
"ed": "",
|
||||
"egli": "",
|
||||
"ella": "",
|
||||
"eppure": "",
|
||||
"era": "",
|
||||
"erano": "",
|
||||
"esse": "",
|
||||
"essendo": "",
|
||||
"esser": "",
|
||||
"essere": "",
|
||||
"essi": "",
|
||||
"ex": "",
|
||||
"fa": "",
|
||||
"fare": "",
|
||||
"fatto": "",
|
||||
"favore": "",
|
||||
"fin": "",
|
||||
"finalmente": "",
|
||||
"finche": "",
|
||||
"fine": "",
|
||||
"fino": "",
|
||||
"forse": "",
|
||||
"fra": "",
|
||||
"fuori": "",
|
||||
"gia": "",
|
||||
"già": "",
|
||||
"giacche": "",
|
||||
"giorni": "",
|
||||
"giorno": "",
|
||||
"gli": "",
|
||||
"gliela": "",
|
||||
"gliele": "",
|
||||
"glieli": "",
|
||||
"glielo": "",
|
||||
"gliene": "",
|
||||
"governo": "",
|
||||
"grande": "",
|
||||
"grazie": "",
|
||||
"gruppo": "",
|
||||
"ha": "",
|
||||
"hai": "",
|
||||
"hanno": "",
|
||||
"ho": "",
|
||||
"i": "",
|
||||
"ieri": "",
|
||||
"il": "",
|
||||
"improvviso": "",
|
||||
"in": "",
|
||||
"infatti": "",
|
||||
"insieme": "",
|
||||
"intanto": "",
|
||||
"intorno": "",
|
||||
"invece": "",
|
||||
"io": "",
|
||||
"l": "",
|
||||
"la": "",
|
||||
"là": "",
|
||||
"lavoro": "",
|
||||
"le": "",
|
||||
"lei": "",
|
||||
"li": "",
|
||||
"lo": "",
|
||||
"lontano": "",
|
||||
"loro": "",
|
||||
"lui": "",
|
||||
"lungo": "",
|
||||
"ma": "",
|
||||
"macche": "",
|
||||
"magari": "",
|
||||
"mai": "",
|
||||
"male": "",
|
||||
"malgrado": "",
|
||||
"malissimo": "",
|
||||
"me": "",
|
||||
"medesimo": "",
|
||||
"mediante": "",
|
||||
"meglio": "",
|
||||
"meno": "",
|
||||
"mentre": "",
|
||||
"mesi": "",
|
||||
"mezzo": "",
|
||||
"mi": "",
|
||||
"mia": "",
|
||||
"mie": "",
|
||||
"miei": "",
|
||||
"mila": "",
|
||||
"miliardi": "",
|
||||
"milioni": "",
|
||||
"ministro": "",
|
||||
"mio": "",
|
||||
"moltissimo": "",
|
||||
"molto": "",
|
||||
"mondo": "",
|
||||
"nazionale": "",
|
||||
"ne": "",
|
||||
"negli": "",
|
||||
"nei": "",
|
||||
"nel": "",
|
||||
"nell": "",
|
||||
"nella": "",
|
||||
"nelle": "",
|
||||
"nello": "",
|
||||
"nemmeno": "",
|
||||
"neppure": "",
|
||||
"nessuna": "",
|
||||
"nessuno": "",
|
||||
"niente": "",
|
||||
"no": "",
|
||||
"noi": "",
|
||||
"non": "",
|
||||
"nondimeno": "",
|
||||
"nostra": "",
|
||||
"nostre": "",
|
||||
"nostri": "",
|
||||
"nostro": "",
|
||||
"nulla": "",
|
||||
"nuovo": "",
|
||||
"o": "",
|
||||
"od": "",
|
||||
"oggi": "",
|
||||
"ogni": "",
|
||||
"ognuna": "",
|
||||
"ognuno": "",
|
||||
"oltre": "",
|
||||
"oppure": "",
|
||||
"ora": "",
|
||||
"ore": "",
|
||||
"osi": "",
|
||||
"ossia": "",
|
||||
"paese": "",
|
||||
"parecchi": "",
|
||||
"parecchie": "",
|
||||
"parecchio": "",
|
||||
"parte": "",
|
||||
"partendo": "",
|
||||
"peccato": "",
|
||||
"peggio": "",
|
||||
"per": "",
|
||||
"perche": "",
|
||||
"perchè": "",
|
||||
"percio": "",
|
||||
"perciò": "",
|
||||
"perfino": "",
|
||||
"pero": "",
|
||||
"però": "",
|
||||
"persone": "",
|
||||
"piedi": "",
|
||||
"pieno": "",
|
||||
"piglia": "",
|
||||
"piu": "",
|
||||
"più": "",
|
||||
"po": "",
|
||||
"pochissimo": "",
|
||||
"poco": "",
|
||||
"poi": "",
|
||||
"poiche": "",
|
||||
"press": "",
|
||||
"prima": "",
|
||||
"primo": "",
|
||||
"proprio": "",
|
||||
"puo": "",
|
||||
"può": "",
|
||||
"pure": "",
|
||||
"purtroppo": "",
|
||||
"qualche": "",
|
||||
"qualcuna": "",
|
||||
"qualcuno": "",
|
||||
"quale": "",
|
||||
"quali": "",
|
||||
"qualunque": "",
|
||||
"quando": "",
|
||||
"quanta": "",
|
||||
"quante": "",
|
||||
"quanti": "",
|
||||
"quanto": "",
|
||||
"quantunque": "",
|
||||
"quasi": "",
|
||||
"quattro": "",
|
||||
"quel": "",
|
||||
"quella": "",
|
||||
"quelli": "",
|
||||
"quello": "",
|
||||
"quest": "",
|
||||
"questa": "",
|
||||
"queste": "",
|
||||
"questi": "",
|
||||
"questo": "",
|
||||
"qui": "",
|
||||
"quindi": "",
|
||||
"riecco": "",
|
||||
"salvo": "",
|
||||
"sara": "",
|
||||
"sarà": "",
|
||||
"sarebbe": "",
|
||||
"scopo": "",
|
||||
"scorso": "",
|
||||
"se": "",
|
||||
"secondo": "",
|
||||
"seguente": "",
|
||||
"sei": "",
|
||||
"sempre": "",
|
||||
"senza": "",
|
||||
"si": "",
|
||||
"sia": "",
|
||||
"siamo": "",
|
||||
"siete": "",
|
||||
"solito": "",
|
||||
"solo": "",
|
||||
"sono": "",
|
||||
"sopra": "",
|
||||
"sotto": "",
|
||||
"sta": "",
|
||||
"staranno": "",
|
||||
"stata": "",
|
||||
"state": "",
|
||||
"stati": "",
|
||||
"stato": "",
|
||||
"stesso": "",
|
||||
"su": "",
|
||||
"sua": "",
|
||||
"successivo": "",
|
||||
"sue": "",
|
||||
"sugli": "",
|
||||
"sui": "",
|
||||
"sul": "",
|
||||
"sull": "",
|
||||
"sulla": "",
|
||||
"sulle": "",
|
||||
"sullo": "",
|
||||
"suo": "",
|
||||
"suoi": "",
|
||||
"tale": "",
|
||||
"talvolta": "",
|
||||
"tanto": "",
|
||||
"te": "",
|
||||
"tempo": "",
|
||||
"ti": "",
|
||||
"torino": "",
|
||||
"tra": "",
|
||||
"tranne": "",
|
||||
"tre": "",
|
||||
"troppo": "",
|
||||
"tu": "",
|
||||
"tua": "",
|
||||
"tue": "",
|
||||
"tuo": "",
|
||||
"tuoi": "",
|
||||
"tutta": "",
|
||||
"tuttavia": "",
|
||||
"tutte": "",
|
||||
"tutti": "",
|
||||
"tutto": "",
|
||||
"uguali": "",
|
||||
"un": "",
|
||||
"una": "",
|
||||
"uno": "",
|
||||
"uomo": "",
|
||||
"va": "",
|
||||
"vale": "",
|
||||
"varia": "",
|
||||
"varie": "",
|
||||
"vario": "",
|
||||
"verso": "",
|
||||
"vi": "",
|
||||
"via": "",
|
||||
"vicino": "",
|
||||
"visto": "",
|
||||
"vita": "",
|
||||
"voi": "",
|
||||
"volta": "",
|
||||
"vostra": "",
|
||||
"vostre": "",
|
||||
"vostri": "",
|
||||
"vostro": ""}
|
||||
+117
@@ -0,0 +1,117 @@
|
||||
// Copyright 2016 Benjamin BALET. All rights reserved.
|
||||
// This list was built from Apache Lucene project (Apache license)
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var japanese = map[string]string{
|
||||
"の": "",
|
||||
"に": "",
|
||||
"は": "",
|
||||
"を": "",
|
||||
"た": "",
|
||||
"が": "",
|
||||
"で": "",
|
||||
"て": "",
|
||||
"と": "",
|
||||
"し": "",
|
||||
"れ": "",
|
||||
"さ": "",
|
||||
"ある": "",
|
||||
"いる": "",
|
||||
"も": "",
|
||||
"する": "",
|
||||
"から": "",
|
||||
"な": "",
|
||||
"こと": "",
|
||||
"として": "",
|
||||
"い": "",
|
||||
"や": "",
|
||||
"れる": "",
|
||||
"など": "",
|
||||
"なっ": "",
|
||||
"ない": "",
|
||||
"この": "",
|
||||
"ため": "",
|
||||
"その": "",
|
||||
"あっ": "",
|
||||
"よう": "",
|
||||
"また": "",
|
||||
"もの": "",
|
||||
"という": "",
|
||||
"あり": "",
|
||||
"まで": "",
|
||||
"られ": "",
|
||||
"なる": "",
|
||||
"へ": "",
|
||||
"か": "",
|
||||
"だ": "",
|
||||
"これ": "",
|
||||
"によって": "",
|
||||
"により": "",
|
||||
"おり": "",
|
||||
"より": "",
|
||||
"による": "",
|
||||
"ず": "",
|
||||
"なり": "",
|
||||
"られる": "",
|
||||
"において": "",
|
||||
"ば": "",
|
||||
"なかっ": "",
|
||||
"なく": "",
|
||||
"しかし": "",
|
||||
"について": "",
|
||||
"せ": "",
|
||||
"だっ": "",
|
||||
"その後": "",
|
||||
"できる": "",
|
||||
"それ": "",
|
||||
"う": "",
|
||||
"ので": "",
|
||||
"なお": "",
|
||||
"のみ": "",
|
||||
"でき": "",
|
||||
"き": "",
|
||||
"つ": "",
|
||||
"における": "",
|
||||
"および": "",
|
||||
"いう": "",
|
||||
"さらに": "",
|
||||
"でも": "",
|
||||
"ら": "",
|
||||
"たり": "",
|
||||
"その他": "",
|
||||
"に関する": "",
|
||||
"たち": "",
|
||||
"ます": "",
|
||||
"ん": "",
|
||||
"なら": "",
|
||||
"に対して": "",
|
||||
"特に": "",
|
||||
"せる": "",
|
||||
"及び": "",
|
||||
"これら": "",
|
||||
"とき": "",
|
||||
"では": "",
|
||||
"にて": "",
|
||||
"ほか": "",
|
||||
"ながら": "",
|
||||
"うち": "",
|
||||
"そして": "",
|
||||
"とともに": "",
|
||||
"ただし": "",
|
||||
"かつて": "",
|
||||
"それぞれ": "",
|
||||
"または": "",
|
||||
"お": "",
|
||||
"ほど": "",
|
||||
"ものの": "",
|
||||
"に対する": "",
|
||||
"ほとんど": "",
|
||||
"と共に": "",
|
||||
"といった": "",
|
||||
"です": "",
|
||||
"とも": "",
|
||||
"ところ": "",
|
||||
"ここ": ""}
|
||||
+255
@@ -0,0 +1,255 @@
|
||||
// Copyright 2016 Benjamin BALET. All rights reserved.
|
||||
// This list was inspired from a khmer online dictionnary and some grammar rules
|
||||
// http://www.kheng.info/about/
|
||||
//
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var khmer = map[string]string{
|
||||
//Special signs (end of phrase, repeat, etc.)
|
||||
"ៗ": "",
|
||||
"។ល។": "",
|
||||
"៚": "",
|
||||
"។": "",
|
||||
"៕": "",
|
||||
"៖": "",
|
||||
"៙": "",
|
||||
//Numbers and currency (riel symbol)
|
||||
"០": "",
|
||||
"១": "",
|
||||
"២": "",
|
||||
"៣": "",
|
||||
"៤": "",
|
||||
"៥": "",
|
||||
"៦": "",
|
||||
"៧": "",
|
||||
"៨": "",
|
||||
"៩": "",
|
||||
"៛": "",
|
||||
|
||||
//Demonstratives
|
||||
"នេះ": "",
|
||||
"នោះ": "",
|
||||
|
||||
//Pronoums (object)
|
||||
"ខ្ញុំ": "", //(I - servant)
|
||||
"អ្នក": "", //You
|
||||
"គាត់": "", //He / Him / Her
|
||||
"នាង": "", //She
|
||||
"ពួក": "", //We 1/2
|
||||
"យើង": "", //We 2/2
|
||||
"ពួកគេ": "", //They
|
||||
"លោក": "", //kind of Mr
|
||||
|
||||
//Questions
|
||||
"អ្វី": "", //What
|
||||
|
||||
//200 other common khmer words found in modern corpus (online news, etc.)
|
||||
"បាន": "",
|
||||
"ការ": "",
|
||||
"នៅ": "",
|
||||
"និង": "",
|
||||
"ដែល": "",
|
||||
"មាន": "",
|
||||
"ជា": "",
|
||||
"ថា": "",
|
||||
"ក្នុង": "",
|
||||
"របស់": "",
|
||||
"ពី": "",
|
||||
"មួយ": "",
|
||||
"នឹង": "",
|
||||
"ឲ្យ": "",
|
||||
"មិន": "",
|
||||
"ទៅ": "",
|
||||
"តែ": "",
|
||||
"ត្រូវ": "",
|
||||
"ដោយ": "",
|
||||
"ហើយ": "",
|
||||
"ឆ្នាំ": "",
|
||||
"ពេល": "",
|
||||
"គេ": "",
|
||||
"ប្រទេស": "",
|
||||
"អាច": "",
|
||||
"គឺ": "",
|
||||
"ក្រុម": "",
|
||||
"ធ្វើ": "",
|
||||
"ក៏": "",
|
||||
"លើ": "",
|
||||
"នៃ": "",
|
||||
"ដើម្បី": "",
|
||||
"មក": "",
|
||||
"ទី": "",
|
||||
"តាម": "",
|
||||
"ទេ": "",
|
||||
"ដល់": "",
|
||||
"វា": "",
|
||||
"ដែរ": "",
|
||||
"ខ្លួន": "",
|
||||
"សម្រាប់": "",
|
||||
"ក្រុមហ៊ុន": "",
|
||||
"ថ្ងៃ": "",
|
||||
"ចំនួន": "",
|
||||
"កម្ពុជា": "",
|
||||
"ឡើង": "",
|
||||
"ទៀត": "",
|
||||
"ទាំង": "",
|
||||
"បើ": "",
|
||||
"និយាយ": "",
|
||||
"ទទួល": "",
|
||||
"ដ៏": "",
|
||||
"ច្រើន": "",
|
||||
"ផង": "",
|
||||
"ដឹង": "",
|
||||
"ជាមួយ": "",
|
||||
"គ្នា": "",
|
||||
"ខែ": "",
|
||||
"នាក់": "",
|
||||
"កំពុង": "",
|
||||
"យ៉ាង": "",
|
||||
"តម្លៃ": "",
|
||||
"ប្រកួត": "",
|
||||
"ក្រុង": "",
|
||||
"តំបន់": "",
|
||||
"ភាព": "",
|
||||
"យក": "",
|
||||
"ជាង": "",
|
||||
"ចូល": "",
|
||||
"នូវ": "",
|
||||
"កាលពី": "",
|
||||
"ណា": "",
|
||||
"បន្ត": "",
|
||||
"ជាតិ": "",
|
||||
"រូប": "",
|
||||
"មនុស្ស": "",
|
||||
"កាល": "",
|
||||
"ចំពោះ": "",
|
||||
"ដូច": "",
|
||||
"ខណៈ": "",
|
||||
"វិញ": "",
|
||||
"មុន": "",
|
||||
"ភ្នំពេញ": "",
|
||||
"លើក": "",
|
||||
"ល្អ": "",
|
||||
"ខាង": "",
|
||||
"ដុល្លារ": "",
|
||||
"ឃើញ": "",
|
||||
"បញ្ហា": "",
|
||||
"ប្រើ": "",
|
||||
"ចាប់": "",
|
||||
"ទឹក": "",
|
||||
"តើ": "",
|
||||
"ប្រាក់": "",
|
||||
"ធំ": "",
|
||||
"ខ្មែរ": "",
|
||||
"ចេញ": "",
|
||||
"ខេត្ត": "",
|
||||
"ផ្នែក": "",
|
||||
"ថ្មី": "",
|
||||
"បង្ហាញ": "",
|
||||
"ស៊ី": "",
|
||||
"អាមេរិក": "",
|
||||
"គឺជា": "",
|
||||
"លក់": "",
|
||||
"ចង់": "",
|
||||
"ដាក់": "",
|
||||
"ម្នាក់": "",
|
||||
"រួម": "",
|
||||
"រថយន្ត": "",
|
||||
"ផ្លូវ": "",
|
||||
"ភាគរយ": "",
|
||||
"កើន": "",
|
||||
"ជួយ": "",
|
||||
"ពីរ": "",
|
||||
"លាន": "",
|
||||
"ផ្តល់": "",
|
||||
"រដ្ឋ": "",
|
||||
"ខ្លាំង": "",
|
||||
"ជាច្រើន": "",
|
||||
"ទីក្រុង": "",
|
||||
"ជន": "",
|
||||
"កីឡា": "",
|
||||
"ក្រោយ": "",
|
||||
"ប្រាប់": "",
|
||||
"រដ្ឋាភិបាល": "",
|
||||
"កាន់": "",
|
||||
"ការងារ": "",
|
||||
"រក": "",
|
||||
"ព្រោះ": "",
|
||||
"រឿង": "",
|
||||
"ប៉ុន្តែ": "",
|
||||
"ឡើយ": "",
|
||||
"មុខ": "",
|
||||
"ថ្លែង": "",
|
||||
"ធ្វើឲ្យ": "",
|
||||
"បី": "",
|
||||
"នាំ": "",
|
||||
"ច្បាប់": "",
|
||||
"ដី": "",
|
||||
"ដូចជា": "",
|
||||
"កម": "",
|
||||
"ផ្ទះ": "",
|
||||
"បញ្ជាក់": "",
|
||||
"ចុះ": "",
|
||||
"បំផុត": "",
|
||||
"ចិត្ត": "",
|
||||
"បែប": "",
|
||||
"ចិន": "",
|
||||
"កីឡាករ": "",
|
||||
"កញ្ញា": "",
|
||||
"គម្រោង": "",
|
||||
"បង្កើត": "",
|
||||
"នា": "",
|
||||
"សារ": "",
|
||||
"សេដ្ឋកិច្ច": "",
|
||||
"ធនាគារ": "",
|
||||
"អស់": "",
|
||||
"ភាគ": "",
|
||||
"កូន": "",
|
||||
"ប្រធាន": "",
|
||||
"ផ្សារ": "",
|
||||
"ខ្ពស់": "",
|
||||
"គ្មាន": "",
|
||||
"ណាស់": "",
|
||||
"សម្រេច": "",
|
||||
"គួរ": "",
|
||||
"គ្រប់": "",
|
||||
"ប្រជាជន": "",
|
||||
"បន្ថែម": "",
|
||||
"រយៈ": "",
|
||||
"ខ្លះ": "",
|
||||
"បទ": "",
|
||||
"ទិញ": "",
|
||||
"ទើប": "",
|
||||
"វិនិយោគ": "",
|
||||
"មានការ": "",
|
||||
"លេខ": "",
|
||||
"ថៃ": "",
|
||||
"មើល": "",
|
||||
"បុរស": "",
|
||||
"យុវជន": "",
|
||||
"ស្រី": "",
|
||||
"នយោបាយ": "",
|
||||
"កន្លែង": "",
|
||||
"គិត": "",
|
||||
"បើក": "",
|
||||
"ដូច្នេះ": "",
|
||||
"រូបថត": "",
|
||||
"វាយ": "",
|
||||
"ប្រភេទ": "",
|
||||
"សំខាន់": "",
|
||||
"បន្ទាប់ពី": "",
|
||||
"កម្មវិធី": "",
|
||||
"រយៈពេល": "",
|
||||
"ផលិត": "",
|
||||
"ឈ្នះ": "",
|
||||
"ពិភពលោក": "",
|
||||
"ភ្ញៀវ": "",
|
||||
"ដោយសារ": "",
|
||||
"ស្រុក": "",
|
||||
"អាយុ": "",
|
||||
"ចំណាយ": "",
|
||||
"អំពី": "",
|
||||
"ហ៊ុន": "",
|
||||
"សិក្សា": ""}
|
||||
+168
@@ -0,0 +1,168 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var latvian = map[string]string{
|
||||
"aiz": "",
|
||||
"ap": "",
|
||||
"apakš": "",
|
||||
"apakšpus": "",
|
||||
"ar": "",
|
||||
"arī": "",
|
||||
"ārpus": "",
|
||||
"augšpus": "",
|
||||
"bet": "",
|
||||
"bez": "",
|
||||
"bija": "",
|
||||
"bijām": "",
|
||||
"bijāt": "",
|
||||
"biji": "",
|
||||
"biju ": "",
|
||||
"būs": "",
|
||||
"būsi": "",
|
||||
"būsiet": "",
|
||||
"būsim": "",
|
||||
"būšu ": "",
|
||||
"būt ": "",
|
||||
"caur": "",
|
||||
"dēļ": "",
|
||||
"diemžēl": "",
|
||||
"diezin": "",
|
||||
"droši": "",
|
||||
"esam": "",
|
||||
"esat ": "",
|
||||
"esi": "",
|
||||
"esmu": "",
|
||||
"gan": "",
|
||||
"gar": "",
|
||||
"iekam": "",
|
||||
"iekām": "",
|
||||
"iekams": "",
|
||||
"iekāms": "",
|
||||
"iekš": "",
|
||||
"iekšpus": "",
|
||||
"ik": "",
|
||||
"ir": "",
|
||||
"it": "",
|
||||
"itin": "",
|
||||
"iz": "",
|
||||
"ja": "",
|
||||
"jā": "",
|
||||
"jau": "",
|
||||
"jeb": "",
|
||||
"jebšu": "",
|
||||
"jel": "",
|
||||
"jo": "",
|
||||
"ka": "",
|
||||
"kā": "",
|
||||
"kamēr": "",
|
||||
"kaut": "",
|
||||
"kļūs": "",
|
||||
"kļūsi": "",
|
||||
"kļūsiet": "",
|
||||
"kļūsim": "",
|
||||
"kļūst": "",
|
||||
"kļūstam": "",
|
||||
"kļūstat": "",
|
||||
"kļūsti": "",
|
||||
"kļūstu": "",
|
||||
"kļūšu": "",
|
||||
"kļūt": "",
|
||||
"kļuva": "",
|
||||
"kļuvām": "",
|
||||
"kļuvāt": "",
|
||||
"kļuvi": "",
|
||||
"kļuvu": "",
|
||||
"kolīdz": "",
|
||||
"kopš": "",
|
||||
"labad": "",
|
||||
"lai": "",
|
||||
"lejpus": "",
|
||||
"līdz": "",
|
||||
"līdzko": "",
|
||||
"ne": "",
|
||||
"nē": "",
|
||||
"nebūt": "",
|
||||
"nedz": "",
|
||||
"nekā": "",
|
||||
"nevis": "",
|
||||
"nezin": "",
|
||||
"no": "",
|
||||
"nu": "",
|
||||
"otrpus": "",
|
||||
"pa": "",
|
||||
"par": "",
|
||||
"pār": "",
|
||||
"pat": "",
|
||||
"pēc": "",
|
||||
"pie": "",
|
||||
"pirms": "",
|
||||
"pret": "",
|
||||
"priekš": "",
|
||||
"šaipus": "",
|
||||
"starp": "",
|
||||
"tā": "",
|
||||
"taču": "",
|
||||
"tad": "",
|
||||
"tādēļ": "",
|
||||
"tak": "",
|
||||
"tālab": "",
|
||||
"tapāt": "",
|
||||
"tāpēc": "",
|
||||
"tapi": "",
|
||||
"taps": "",
|
||||
"tapsi": "",
|
||||
"tapsiet": "",
|
||||
"tapsim": "",
|
||||
"tapšu": "",
|
||||
"tapt": "",
|
||||
"te": "",
|
||||
"tiec": "",
|
||||
"tiek": "",
|
||||
"tiekam": "",
|
||||
"tiekat": "",
|
||||
"tieku": "",
|
||||
"tik": "",
|
||||
"tika": "",
|
||||
"tikai": "",
|
||||
"tikām": "",
|
||||
"tikāt": "",
|
||||
"tiki": "",
|
||||
"tikko": "",
|
||||
"tiklab": "",
|
||||
"tiklīdz": "",
|
||||
"tiks": "",
|
||||
"tiksiet": "",
|
||||
"tiksim": "",
|
||||
"tikšu": "",
|
||||
"tikt": "",
|
||||
"tiku": "",
|
||||
"tikvien": "",
|
||||
"tomēr": "",
|
||||
"topat": "",
|
||||
"turpretī": "",
|
||||
"turpretim": "",
|
||||
"un": "",
|
||||
"uz": "",
|
||||
"vai": "",
|
||||
"var": "",
|
||||
"varat": "",
|
||||
"varēja": "",
|
||||
"varējām": "",
|
||||
"varējāt": "",
|
||||
"varēji": "",
|
||||
"varēju": "",
|
||||
"varēs": "",
|
||||
"varēsi": "",
|
||||
"varēsiet": "",
|
||||
"varēsim": "",
|
||||
"varēšu": "",
|
||||
"varēt": "",
|
||||
"vien": "",
|
||||
"viņpus": "",
|
||||
"virs": "",
|
||||
"virspus": "",
|
||||
"vis": "",
|
||||
"zem": ""}
|
||||
+266
@@ -0,0 +1,266 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var dutch = map[string]string{
|
||||
"aan": "",
|
||||
"aangaande": "",
|
||||
"aangezien": "",
|
||||
"achter": "",
|
||||
"achterna": "",
|
||||
"afgelopen": "",
|
||||
"al": "",
|
||||
"aldaar": "",
|
||||
"aldus": "",
|
||||
"alhoewel": "",
|
||||
"alias": "",
|
||||
"alle": "",
|
||||
"allebei": "",
|
||||
"alleen": "",
|
||||
"alsnog": "",
|
||||
"altijd": "",
|
||||
"altoos": "",
|
||||
"ander": "",
|
||||
"andere": "",
|
||||
"anders": "",
|
||||
"anderszins": "",
|
||||
"behalve": "",
|
||||
"behoudens": "",
|
||||
"beide": "",
|
||||
"beiden": "",
|
||||
"ben": "",
|
||||
"beneden": "",
|
||||
"bent": "",
|
||||
"bepaald": "",
|
||||
"betreffende": "",
|
||||
"bij": "",
|
||||
"binnen": "",
|
||||
"binnenin": "",
|
||||
"boven": "",
|
||||
"bovenal": "",
|
||||
"bovendien": "",
|
||||
"bovengenoemd": "",
|
||||
"bovenstaand": "",
|
||||
"bovenvermeld": "",
|
||||
"buiten": "",
|
||||
"daar": "",
|
||||
"daarheen": "",
|
||||
"daarin": "",
|
||||
"daarna": "",
|
||||
"daarnet": "",
|
||||
"daarom": "",
|
||||
"daarop": "",
|
||||
"daarvanlangs": "",
|
||||
"dan": "",
|
||||
"dat": "",
|
||||
"de": "",
|
||||
"die": "",
|
||||
"dikwijls": "",
|
||||
"dit": "",
|
||||
"door": "",
|
||||
"doorgaand": "",
|
||||
"dus": "",
|
||||
"echter": "",
|
||||
"eer": "",
|
||||
"eerdat": "",
|
||||
"eerder": "",
|
||||
"eerlang": "",
|
||||
"eerst": "",
|
||||
"elk": "",
|
||||
"elke": "",
|
||||
"en": "",
|
||||
"enig": "",
|
||||
"enigszins": "",
|
||||
"enkel": "",
|
||||
"er": "",
|
||||
"erdoor": "",
|
||||
"even": "",
|
||||
"eveneens": "",
|
||||
"evenwel": "",
|
||||
"gauw": "",
|
||||
"gedurende": "",
|
||||
"geen": "",
|
||||
"gehad": "",
|
||||
"gekund": "",
|
||||
"geleden": "",
|
||||
"gelijk": "",
|
||||
"gemoeten": "",
|
||||
"gemogen": "",
|
||||
"geweest": "",
|
||||
"gewoon": "",
|
||||
"gewoonweg": "",
|
||||
"haar": "",
|
||||
"had": "",
|
||||
"hadden": "",
|
||||
"hare": "",
|
||||
"heb": "",
|
||||
"hebben": "",
|
||||
"hebt": "",
|
||||
"heeft": "",
|
||||
"hem": "",
|
||||
"hen": "",
|
||||
"het": "",
|
||||
"hierbeneden": "",
|
||||
"hierboven": "",
|
||||
"hij": "",
|
||||
"hoe": "",
|
||||
"hoewel": "",
|
||||
"hun": "",
|
||||
"hunne": "",
|
||||
"ik": "",
|
||||
"ikzelf": "",
|
||||
"in": "",
|
||||
"inmiddels": "",
|
||||
"inzake": "",
|
||||
"is": "",
|
||||
"jezelf": "",
|
||||
"jij": "",
|
||||
"jijzelf": "",
|
||||
"jou": "",
|
||||
"jouw": "",
|
||||
"jouwe": "",
|
||||
"juist": "",
|
||||
"jullie": "",
|
||||
"kan": "",
|
||||
"klaar": "",
|
||||
"kon": "",
|
||||
"konden": "",
|
||||
"krachtens": "",
|
||||
"kunnen": "",
|
||||
"kunt": "",
|
||||
"later": "",
|
||||
"liever": "",
|
||||
"maar": "",
|
||||
"mag": "",
|
||||
"meer": "",
|
||||
"met": "",
|
||||
"mezelf": "",
|
||||
"mij": "",
|
||||
"mijn": "",
|
||||
"mijnent": "",
|
||||
"mijner": "",
|
||||
"mijzelf": "",
|
||||
"misschien": "",
|
||||
"mocht": "",
|
||||
"mochten": "",
|
||||
"moest": "",
|
||||
"moesten": "",
|
||||
"moet": "",
|
||||
"moeten": "",
|
||||
"mogen": "",
|
||||
"na": "",
|
||||
"naar": "",
|
||||
"nadat": "",
|
||||
"net": "",
|
||||
"niet": "",
|
||||
"noch": "",
|
||||
"nog": "",
|
||||
"nogal": "",
|
||||
"nu": "",
|
||||
"of": "",
|
||||
"ofschoon": "",
|
||||
"om": "",
|
||||
"omdat": "",
|
||||
"omhoog": "",
|
||||
"omlaag": "",
|
||||
"omstreeks": "",
|
||||
"omtrent": "",
|
||||
"omver": "",
|
||||
"onder": "",
|
||||
"ondertussen": "",
|
||||
"ongeveer": "",
|
||||
"ons": "",
|
||||
"onszelf": "",
|
||||
"onze": "",
|
||||
"ook": "",
|
||||
"op": "",
|
||||
"opnieuw": "",
|
||||
"opzij": "",
|
||||
"over": "",
|
||||
"overeind": "",
|
||||
"overigens": "",
|
||||
"pas": "",
|
||||
"precies": "",
|
||||
"reeds": "",
|
||||
"rond": "",
|
||||
"rondom": "",
|
||||
"sedert": "",
|
||||
"sinds": "",
|
||||
"sindsdien": "",
|
||||
"slechts": "",
|
||||
"sommige": "",
|
||||
"spoedig": "",
|
||||
"steeds": "",
|
||||
"tamelijk": "",
|
||||
"tenzij": "",
|
||||
"terwijl": "",
|
||||
"thans": "",
|
||||
"tijdens": "",
|
||||
"toch": "",
|
||||
"toen": "",
|
||||
"toenmaals": "",
|
||||
"toenmalig": "",
|
||||
"tot": "",
|
||||
"totdat": "",
|
||||
"tussen": "",
|
||||
"uit": "",
|
||||
"uitgezonderd": "",
|
||||
"vaakwat": "",
|
||||
"van": "",
|
||||
"vandaan": "",
|
||||
"vanuit": "",
|
||||
"vanwege": "",
|
||||
"veeleer": "",
|
||||
"verder": "",
|
||||
"vervolgens": "",
|
||||
"vol": "",
|
||||
"volgens": "",
|
||||
"voor": "",
|
||||
"vooraf": "",
|
||||
"vooral": "",
|
||||
"vooralsnog": "",
|
||||
"voorbij": "",
|
||||
"voordat": "",
|
||||
"voordezen": "",
|
||||
"voordien": "",
|
||||
"voorheen": "",
|
||||
"voorop": "",
|
||||
"vooruit": "",
|
||||
"vrij": "",
|
||||
"vroeg": "",
|
||||
"waar": "",
|
||||
"waarom": "",
|
||||
"wanneer": "",
|
||||
"want": "",
|
||||
"waren": "",
|
||||
"was": "",
|
||||
"weer": "",
|
||||
"weg": "",
|
||||
"wegens": "",
|
||||
"wel": "",
|
||||
"weldra": "",
|
||||
"welk": "",
|
||||
"welke": "",
|
||||
"wie": "",
|
||||
"wiens": "",
|
||||
"wier": "",
|
||||
"wij": "",
|
||||
"wijzelf": "",
|
||||
"zal": "",
|
||||
"ze": "",
|
||||
"zelfs": "",
|
||||
"zichzelf": "",
|
||||
"zij": "",
|
||||
"zijn": "",
|
||||
"zijne": "",
|
||||
"zo": "",
|
||||
"zodra": "",
|
||||
"zonder": "",
|
||||
"zou": "",
|
||||
"zouden": "",
|
||||
"zowat": "",
|
||||
"zulke": "",
|
||||
"zullen": "",
|
||||
"zult": ""}
|
||||
+126
@@ -0,0 +1,126 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var norwegian = map[string]string{
|
||||
"å": "",
|
||||
"alle": "",
|
||||
"andre": "",
|
||||
"arbeid": "",
|
||||
"av": "",
|
||||
"begge": "",
|
||||
"bort": "",
|
||||
"bra": "",
|
||||
"bruke": "",
|
||||
"da": "",
|
||||
"denne": "",
|
||||
"der": "",
|
||||
"deres": "",
|
||||
"det": "",
|
||||
"din": "",
|
||||
"disse": "",
|
||||
"du": "",
|
||||
"eller": "",
|
||||
"en": "",
|
||||
"ene": "",
|
||||
"eneste": "",
|
||||
"enhver": "",
|
||||
"enn": "",
|
||||
"er": "",
|
||||
"et": "",
|
||||
"få": "",
|
||||
"folk": "",
|
||||
"for": "",
|
||||
"fordi": "",
|
||||
"forsûke": "",
|
||||
"fra": "",
|
||||
"fûr": "",
|
||||
"fûrst": "",
|
||||
"gå": "",
|
||||
"gjorde": "",
|
||||
"gjûre": "",
|
||||
"god": "",
|
||||
"ha": "",
|
||||
"hadde": "",
|
||||
"han": "",
|
||||
"hans": "",
|
||||
"hennes": "",
|
||||
"her": "",
|
||||
"hva": "",
|
||||
"hvem": "",
|
||||
"hver": "",
|
||||
"hvilken": "",
|
||||
"hvis": "",
|
||||
"hvor": "",
|
||||
"hvordan": "",
|
||||
"hvorfor": "",
|
||||
"i": "",
|
||||
"ikke": "",
|
||||
"inn": "",
|
||||
"innen": "",
|
||||
"kan": "",
|
||||
"kunne": "",
|
||||
"lage": "",
|
||||
"lang": "",
|
||||
"lik": "",
|
||||
"like": "",
|
||||
"må": "",
|
||||
"makt": "",
|
||||
"mange": "",
|
||||
"måte": "",
|
||||
"med": "",
|
||||
"meg": "",
|
||||
"meget": "",
|
||||
"men": "",
|
||||
"mens": "",
|
||||
"mer": "",
|
||||
"mest": "",
|
||||
"min": "",
|
||||
"mye": "",
|
||||
"nå": "",
|
||||
"når": "",
|
||||
"navn": "",
|
||||
"nei": "",
|
||||
"ny": "",
|
||||
"og": "",
|
||||
"også": "",
|
||||
"om": "",
|
||||
"opp": "",
|
||||
"oss": "",
|
||||
"over": "",
|
||||
"på": "",
|
||||
"part": "",
|
||||
"punkt": "",
|
||||
"rett": "",
|
||||
"riktig": "",
|
||||
"så": "",
|
||||
"samme": "",
|
||||
"sant": "",
|
||||
"si": "",
|
||||
"siden": "",
|
||||
"sist": "",
|
||||
"skulle": "",
|
||||
"slik": "",
|
||||
"slutt": "",
|
||||
"som": "",
|
||||
"start": "",
|
||||
"stille": "",
|
||||
"tid": "",
|
||||
"til": "",
|
||||
"tilbake": "",
|
||||
"tilstand": "",
|
||||
"under": "",
|
||||
"ut": "",
|
||||
"uten": "",
|
||||
"var": "",
|
||||
"vår": "",
|
||||
"ved": "",
|
||||
"verdi": "",
|
||||
"vi": "",
|
||||
"vil": "",
|
||||
"ville": "",
|
||||
"vite": "",
|
||||
"vöre": "",
|
||||
"vört": ""}
|
||||
+145
@@ -0,0 +1,145 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var polish = map[string]string{
|
||||
"ach": "",
|
||||
"aj": "",
|
||||
"albo": "",
|
||||
"bardzo": "",
|
||||
"bez": "",
|
||||
"bo": "",
|
||||
"być": "",
|
||||
"ci": "",
|
||||
"cię": "",
|
||||
"ciebie": "",
|
||||
"co": "",
|
||||
"czy": "",
|
||||
"daleko": "",
|
||||
"dla": "",
|
||||
"dlaczego": "",
|
||||
"dlatego": "",
|
||||
"do": "",
|
||||
"dobrze": "",
|
||||
"dokąd": "",
|
||||
"dość": "",
|
||||
"dużo": "",
|
||||
"dwa": "",
|
||||
"dwaj": "",
|
||||
"dwie": "",
|
||||
"dwoje": "",
|
||||
"dziś": "",
|
||||
"dzisiaj": "",
|
||||
"gdyby": "",
|
||||
"gdzie": "",
|
||||
"go": "",
|
||||
"ich": "",
|
||||
"ile": "",
|
||||
"im": "",
|
||||
"inny": "",
|
||||
"ja": "",
|
||||
"ją": "",
|
||||
"jak": "",
|
||||
"jakby": "",
|
||||
"jaki": "",
|
||||
"je": "",
|
||||
"jeden": "",
|
||||
"jedna": "",
|
||||
"jedno": "",
|
||||
"jego": "",
|
||||
"jej": "",
|
||||
"jemu": "",
|
||||
"jeśli": "",
|
||||
"jest": "",
|
||||
"jestem": "",
|
||||
"jeżeli": "",
|
||||
"już": "",
|
||||
"każdy": "",
|
||||
"kiedy": "",
|
||||
"kierunku": "",
|
||||
"kto": "",
|
||||
"ku": "",
|
||||
"lub": "",
|
||||
"ma": "",
|
||||
"mają": "",
|
||||
"mam": "",
|
||||
"mi": "",
|
||||
"mną": "",
|
||||
"mnie": "",
|
||||
"moi": "",
|
||||
"mój": "",
|
||||
"moja": "",
|
||||
"moje": "",
|
||||
"może": "",
|
||||
"mu": "",
|
||||
"my": "",
|
||||
"na": "",
|
||||
"nam": "",
|
||||
"nami": "",
|
||||
"nas": "",
|
||||
"nasi": "",
|
||||
"nasz": "",
|
||||
"nasza": "",
|
||||
"nasze": "",
|
||||
"natychmiast": "",
|
||||
"nią": "",
|
||||
"nic": "",
|
||||
"nich": "",
|
||||
"nie": "",
|
||||
"niego": "",
|
||||
"niej": "",
|
||||
"niemu": "",
|
||||
"nigdy": "",
|
||||
"nim": "",
|
||||
"nimi": "",
|
||||
"niż": "",
|
||||
"obok": "",
|
||||
"od": "",
|
||||
"około": "",
|
||||
"on": "",
|
||||
"ona": "",
|
||||
"one": "",
|
||||
"oni": "",
|
||||
"ono": "",
|
||||
"owszem": "",
|
||||
"po": "",
|
||||
"pod": "",
|
||||
"ponieważ": "",
|
||||
"przed": "",
|
||||
"przedtem": "",
|
||||
"są": "",
|
||||
"sam": "",
|
||||
"sama": "",
|
||||
"się": "",
|
||||
"skąd": "",
|
||||
"tak": "",
|
||||
"taki": "",
|
||||
"tam": "",
|
||||
"ten": "",
|
||||
"to": "",
|
||||
"tobą": "",
|
||||
"tobie": "",
|
||||
"tu": "",
|
||||
"tutaj": "",
|
||||
"twoi": "",
|
||||
"twój": "",
|
||||
"twoja": "",
|
||||
"twoje": "",
|
||||
"ty": "",
|
||||
"wam": "",
|
||||
"wami": "",
|
||||
"was": "",
|
||||
"wasi": "",
|
||||
"wasz": "",
|
||||
"wasza": "",
|
||||
"wasze": "",
|
||||
"we": "",
|
||||
"więc": "",
|
||||
"wszystko": "",
|
||||
"wtedy": "",
|
||||
"wy": "",
|
||||
"żaden": "",
|
||||
"zawsze": "",
|
||||
"że": ""}
|
||||
+363
@@ -0,0 +1,363 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var portuguese = map[string]string{
|
||||
"a": "",
|
||||
"à": "",
|
||||
"adeus": "",
|
||||
"agora": "",
|
||||
"aí": "",
|
||||
"ainda": "",
|
||||
"além": "",
|
||||
"algo": "",
|
||||
"algumas": "",
|
||||
"alguns": "",
|
||||
"ali": "",
|
||||
"ano": "",
|
||||
"anos": "",
|
||||
"antes": "",
|
||||
"ao": "",
|
||||
"aos": "",
|
||||
"apenas": "",
|
||||
"apoio": "",
|
||||
"após": "",
|
||||
"aquela": "",
|
||||
"aquelas": "",
|
||||
"aquele": "",
|
||||
"aqueles": "",
|
||||
"aqui": "",
|
||||
"aquilo": "",
|
||||
"área": "",
|
||||
"as": "",
|
||||
"às": "",
|
||||
"assim": "",
|
||||
"até": "",
|
||||
"atrás": "",
|
||||
"através": "",
|
||||
"baixo": "",
|
||||
"bastante": "",
|
||||
"bem": "",
|
||||
"bom": "",
|
||||
"breve": "",
|
||||
"cá": "",
|
||||
"cada": "",
|
||||
"catorze": "",
|
||||
"cedo": "",
|
||||
"cento": "",
|
||||
"certamente": "",
|
||||
"certeza": "",
|
||||
"cima": "",
|
||||
"cinco": "",
|
||||
"coisa": "",
|
||||
"com": "",
|
||||
"como": "",
|
||||
"conselho": "",
|
||||
"contra": "",
|
||||
"custa": "",
|
||||
"da": "",
|
||||
"dá": "",
|
||||
"dão": "",
|
||||
"daquela": "",
|
||||
"daquele": "",
|
||||
"dar": "",
|
||||
"das": "",
|
||||
"de": "",
|
||||
"debaixo": "",
|
||||
"demais": "",
|
||||
"dentro": "",
|
||||
"depois": "",
|
||||
"desde": "",
|
||||
"dessa": "",
|
||||
"desse": "",
|
||||
"desta": "",
|
||||
"deste": "",
|
||||
"deve": "",
|
||||
"deverá": "",
|
||||
"dez": "",
|
||||
"dezanove": "",
|
||||
"dezasseis": "",
|
||||
"dezassete": "",
|
||||
"dezoito": "",
|
||||
"dia": "",
|
||||
"diante": "",
|
||||
"diz": "",
|
||||
"dizem": "",
|
||||
"dizer": "",
|
||||
"do": "",
|
||||
"dois": "",
|
||||
"dos": "",
|
||||
"doze": "",
|
||||
"duas": "",
|
||||
"dúvida": "",
|
||||
"e": "",
|
||||
"é": "",
|
||||
"ela": "",
|
||||
"elas": "",
|
||||
"ele": "",
|
||||
"eles": "",
|
||||
"em": "",
|
||||
"embora": "",
|
||||
"entre": "",
|
||||
"era": "",
|
||||
"és": "",
|
||||
"essa": "",
|
||||
"essas": "",
|
||||
"esse": "",
|
||||
"esses": "",
|
||||
"esta": "",
|
||||
"está": "",
|
||||
"estar": "",
|
||||
"estas": "",
|
||||
"estás": "",
|
||||
"estava": "",
|
||||
"este": "",
|
||||
"estes": "",
|
||||
"esteve": "",
|
||||
"estive": "",
|
||||
"estivemos": "",
|
||||
"estiveram": "",
|
||||
"estiveste": "",
|
||||
"estivestes": "",
|
||||
"estou": "",
|
||||
"eu": "",
|
||||
"exemplo": "",
|
||||
"faço": "",
|
||||
"falta": "",
|
||||
"favor": "",
|
||||
"faz": "",
|
||||
"fazeis": "",
|
||||
"fazem": "",
|
||||
"fazemos": "",
|
||||
"fazer": "",
|
||||
"fazes": "",
|
||||
"fez": "",
|
||||
"fim": "",
|
||||
"final": "",
|
||||
"foi": "",
|
||||
"fomos": "",
|
||||
"for": "",
|
||||
"foram": "",
|
||||
"forma": "",
|
||||
"foste": "",
|
||||
"fostes": "",
|
||||
"fui": "",
|
||||
"geral": "",
|
||||
"grande": "",
|
||||
"grandes": "",
|
||||
"grupo": "",
|
||||
"há": "",
|
||||
"hoje": "",
|
||||
"horas": "",
|
||||
"isso": "",
|
||||
"isto": "",
|
||||
"já": "",
|
||||
"lá": "",
|
||||
"lado": "",
|
||||
"local": "",
|
||||
"logo": "",
|
||||
"longe": "",
|
||||
"lugar": "",
|
||||
"maior": "",
|
||||
"maioria": "",
|
||||
"mais": "",
|
||||
"mal": "",
|
||||
"mas": "",
|
||||
"máximo": "",
|
||||
"me": "",
|
||||
"meio": "",
|
||||
"menor": "",
|
||||
"menos": "",
|
||||
"mês": "",
|
||||
"meses": "",
|
||||
"meu": "",
|
||||
"meus": "",
|
||||
"mil": "",
|
||||
"minha": "",
|
||||
"minhas": "",
|
||||
"momento": "",
|
||||
"muito": "",
|
||||
"muitos": "",
|
||||
"na": "",
|
||||
"nada": "",
|
||||
"não": "",
|
||||
"naquela": "",
|
||||
"naquele": "",
|
||||
"nas": "",
|
||||
"nem": "",
|
||||
"nenhuma": "",
|
||||
"nessa": "",
|
||||
"nesse": "",
|
||||
"nesta": "",
|
||||
"neste": "",
|
||||
"nível": "",
|
||||
"no": "",
|
||||
"noite": "",
|
||||
"nome": "",
|
||||
"nos": "",
|
||||
"nós": "",
|
||||
"nossa": "",
|
||||
"nossas": "",
|
||||
"nosso": "",
|
||||
"nossos": "",
|
||||
"nova": "",
|
||||
"nove": "",
|
||||
"novo": "",
|
||||
"novos": "",
|
||||
"num": "",
|
||||
"numa": "",
|
||||
"número": "",
|
||||
"nunca": "",
|
||||
"o": "",
|
||||
"obra": "",
|
||||
"obrigada": "",
|
||||
"obrigado": "",
|
||||
"oitava": "",
|
||||
"oitavo": "",
|
||||
"oito": "",
|
||||
"onde": "",
|
||||
"ontem": "",
|
||||
"onze": "",
|
||||
"os": "",
|
||||
"ou": "",
|
||||
"outra": "",
|
||||
"outras": "",
|
||||
"outro": "",
|
||||
"outros": "",
|
||||
"para": "",
|
||||
"parece": "",
|
||||
"parte": "",
|
||||
"partir": "",
|
||||
"pela": "",
|
||||
"pelas": "",
|
||||
"pelo": "",
|
||||
"pelos": "",
|
||||
"perto": "",
|
||||
"pode": "",
|
||||
"pôde": "",
|
||||
"podem": "",
|
||||
"poder": "",
|
||||
"põe": "",
|
||||
"põem": "",
|
||||
"ponto": "",
|
||||
"pontos": "",
|
||||
"por": "",
|
||||
"porque": "",
|
||||
"porquê": "",
|
||||
"posição": "",
|
||||
"possível": "",
|
||||
"possivelmente": "",
|
||||
"posso": "",
|
||||
"pouca": "",
|
||||
"pouco": "",
|
||||
"primeira": "",
|
||||
"primeiro": "",
|
||||
"próprio": "",
|
||||
"próximo": "",
|
||||
"puderam": "",
|
||||
"qual": "",
|
||||
"quando": "",
|
||||
"quanto": "",
|
||||
"quarta": "",
|
||||
"quarto": "",
|
||||
"quatro": "",
|
||||
"que": "",
|
||||
"quê": "",
|
||||
"quem": "",
|
||||
"quer": "",
|
||||
"quero": "",
|
||||
"questão": "",
|
||||
"quinta": "",
|
||||
"quinto": "",
|
||||
"quinze": "",
|
||||
"relação": "",
|
||||
"sabe": "",
|
||||
"são": "",
|
||||
"se": "",
|
||||
"segunda": "",
|
||||
"segundo": "",
|
||||
"sei": "",
|
||||
"seis": "",
|
||||
"sem": "",
|
||||
"sempre": "",
|
||||
"ser": "",
|
||||
"seria": "",
|
||||
"sete": "",
|
||||
"sétima": "",
|
||||
"sétimo": "",
|
||||
"seu": "",
|
||||
"seus": "",
|
||||
"sexta": "",
|
||||
"sexto": "",
|
||||
"sim": "",
|
||||
"sistema": "",
|
||||
"sob": "",
|
||||
"sobre": "",
|
||||
"sois": "",
|
||||
"somos": "",
|
||||
"sou": "",
|
||||
"sua": "",
|
||||
"suas": "",
|
||||
"tal": "",
|
||||
"talvez": "",
|
||||
"também": "",
|
||||
"tanto": "",
|
||||
"tão": "",
|
||||
"tarde": "",
|
||||
"te": "",
|
||||
"tem": "",
|
||||
"têm": "",
|
||||
"temos": "",
|
||||
"tendes": "",
|
||||
"tenho": "",
|
||||
"tens": "",
|
||||
"ter": "",
|
||||
"terceira": "",
|
||||
"terceiro": "",
|
||||
"teu": "",
|
||||
"teus": "",
|
||||
"teve": "",
|
||||
"tive": "",
|
||||
"tivemos": "",
|
||||
"tiveram": "",
|
||||
"tiveste": "",
|
||||
"tivestes": "",
|
||||
"toda": "",
|
||||
"todas": "",
|
||||
"todo": "",
|
||||
"todos": "",
|
||||
"trabalho": "",
|
||||
"três": "",
|
||||
"treze": "",
|
||||
"tu": "",
|
||||
"tua": "",
|
||||
"tuas": "",
|
||||
"tudo": "",
|
||||
"um": "",
|
||||
"uma": "",
|
||||
"umas": "",
|
||||
"uns": "",
|
||||
"vai": "",
|
||||
"vais": "",
|
||||
"vão": "",
|
||||
"vários": "",
|
||||
"vem": "",
|
||||
"vêm": "",
|
||||
"vens": "",
|
||||
"ver": "",
|
||||
"vez": "",
|
||||
"vezes": "",
|
||||
"viagem": "",
|
||||
"vindo": "",
|
||||
"vinte": "",
|
||||
"você": "",
|
||||
"vocês": "",
|
||||
"vos": "",
|
||||
"vós": "",
|
||||
"vossa": "",
|
||||
"vossas": "",
|
||||
"vosso": "",
|
||||
"vossos": "",
|
||||
"zero": ""}
|
||||
+289
@@ -0,0 +1,289 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var romanian = map[string]string{
|
||||
"acea": "",
|
||||
"aceasta": "",
|
||||
"această": "",
|
||||
"aceea": "",
|
||||
"acei": "",
|
||||
"aceia": "",
|
||||
"acel": "",
|
||||
"acela": "",
|
||||
"acele": "",
|
||||
"acelea": "",
|
||||
"acest": "",
|
||||
"acesta": "",
|
||||
"aceste": "",
|
||||
"acestea": "",
|
||||
"aceşti": "",
|
||||
"aceştia": "",
|
||||
"acolo": "",
|
||||
"acord": "",
|
||||
"acum": "",
|
||||
"ai": "",
|
||||
"aia": "",
|
||||
"aibă": "",
|
||||
"aici": "",
|
||||
"al": "",
|
||||
"ăla": "",
|
||||
"ale": "",
|
||||
"alea": "",
|
||||
"ălea": "",
|
||||
"altceva": "",
|
||||
"altcineva": "",
|
||||
"am": "",
|
||||
"ar": "",
|
||||
"are": "",
|
||||
"aş": "",
|
||||
"aşadar": "",
|
||||
"asemenea": "",
|
||||
"asta": "",
|
||||
"ăsta": "",
|
||||
"astăzi": "",
|
||||
"astea": "",
|
||||
"ăstea": "",
|
||||
"ăştia": "",
|
||||
"asupra": "",
|
||||
"aţi": "",
|
||||
"au": "",
|
||||
"avea": "",
|
||||
"avem": "",
|
||||
"aveţi": "",
|
||||
"azi": "",
|
||||
"bine": "",
|
||||
"bucur": "",
|
||||
"bună": "",
|
||||
"ca": "",
|
||||
"că": "",
|
||||
"căci": "",
|
||||
"când": "",
|
||||
"care": "",
|
||||
"cărei": "",
|
||||
"căror": "",
|
||||
"cărui": "",
|
||||
"cât": "",
|
||||
"câte": "",
|
||||
"câţi": "",
|
||||
"către": "",
|
||||
"câtva": "",
|
||||
"caut": "",
|
||||
"ce": "",
|
||||
"cel": "",
|
||||
"ceva": "",
|
||||
"chiar": "",
|
||||
"cinci": "",
|
||||
"cînd": "",
|
||||
"cine": "",
|
||||
"cineva": "",
|
||||
"cît": "",
|
||||
"cîte": "",
|
||||
"cîţi": "",
|
||||
"cîtva": "",
|
||||
"contra": "",
|
||||
"cu": "",
|
||||
"cum": "",
|
||||
"cumva": "",
|
||||
"curând": "",
|
||||
"curînd": "",
|
||||
"da": "",
|
||||
"dă": "",
|
||||
"dacă": "",
|
||||
"dar": "",
|
||||
"dată": "",
|
||||
"datorită": "",
|
||||
"dau": "",
|
||||
"de": "",
|
||||
"deci": "",
|
||||
"deja": "",
|
||||
"deoarece": "",
|
||||
"departe": "",
|
||||
"deşi": "",
|
||||
"din": "",
|
||||
"dinaintea": "",
|
||||
"dintr-": "",
|
||||
"dintre": "",
|
||||
"doi": "",
|
||||
"doilea": "",
|
||||
"două": "",
|
||||
"drept": "",
|
||||
"după": "",
|
||||
"ea": "",
|
||||
"ei": "",
|
||||
"el": "",
|
||||
"ele": "",
|
||||
"eram": "",
|
||||
"este": "",
|
||||
"eşti": "",
|
||||
"eu": "",
|
||||
"face": "",
|
||||
"fără": "",
|
||||
"fata": "",
|
||||
"fi": "",
|
||||
"fie": "",
|
||||
"fiecare": "",
|
||||
"fii": "",
|
||||
"fim": "",
|
||||
"fiţi": "",
|
||||
"fiu": "",
|
||||
"frumos": "",
|
||||
"graţie": "",
|
||||
"halbă": "",
|
||||
"iar": "",
|
||||
"ieri": "",
|
||||
"îi": "",
|
||||
"îl": "",
|
||||
"îmi": "",
|
||||
"împotriva": "",
|
||||
"în ": "",
|
||||
"înainte": "",
|
||||
"înaintea": "",
|
||||
"încât": "",
|
||||
"încît": "",
|
||||
"încotro": "",
|
||||
"între": "",
|
||||
"întrucât": "",
|
||||
"întrucît": "",
|
||||
"îţi": "",
|
||||
"la": "",
|
||||
"lângă": "",
|
||||
"le": "",
|
||||
"li": "",
|
||||
"lîngă": "",
|
||||
"lor": "",
|
||||
"lui": "",
|
||||
"mă": "",
|
||||
"mai": "",
|
||||
"mâine": "",
|
||||
"mea": "",
|
||||
"mei": "",
|
||||
"mele": "",
|
||||
"mereu": "",
|
||||
"meu": "",
|
||||
"mi": "",
|
||||
"mie": "",
|
||||
"mîine": "",
|
||||
"mine": "",
|
||||
"mult": "",
|
||||
"multă": "",
|
||||
"mulţi": "",
|
||||
"mulţumesc": "",
|
||||
"ne": "",
|
||||
"nevoie": "",
|
||||
"nicăieri": "",
|
||||
"nici": "",
|
||||
"nimeni": "",
|
||||
"nimeri": "",
|
||||
"nimic": "",
|
||||
"nişte": "",
|
||||
"noastră": "",
|
||||
"noastre": "",
|
||||
"noi": "",
|
||||
"noroc": "",
|
||||
"noştri": "",
|
||||
"nostru": "",
|
||||
"nouă": "",
|
||||
"nu": "",
|
||||
"opt": "",
|
||||
"ori": "",
|
||||
"oricând": "",
|
||||
"oricare": "",
|
||||
"oricât": "",
|
||||
"orice": "",
|
||||
"oricînd": "",
|
||||
"oricine": "",
|
||||
"oricît": "",
|
||||
"oricum": "",
|
||||
"oriunde": "",
|
||||
"până": "",
|
||||
"patra": "",
|
||||
"patru": "",
|
||||
"patrulea": "",
|
||||
"pe": "",
|
||||
"pentru": "",
|
||||
"peste": "",
|
||||
"pic": "",
|
||||
"pînă": "",
|
||||
"poate": "",
|
||||
"pot": "",
|
||||
"prea": "",
|
||||
"prima": "",
|
||||
"primul": "",
|
||||
"prin": "",
|
||||
"printr-": "",
|
||||
"puţin": "",
|
||||
"puţina": "",
|
||||
"puţină": "",
|
||||
"rog": "",
|
||||
"sa": "",
|
||||
"să": "",
|
||||
"săi": "",
|
||||
"sale": "",
|
||||
"şapte": "",
|
||||
"şase": "",
|
||||
"sau": "",
|
||||
"său": "",
|
||||
"se": "",
|
||||
"şi": "",
|
||||
"sînt": "",
|
||||
"sîntem": "",
|
||||
"sînteţi": "",
|
||||
"spate": "",
|
||||
"spre": "",
|
||||
"ştiu": "",
|
||||
"sub": "",
|
||||
"sunt": "",
|
||||
"suntem": "",
|
||||
"sunteţi": "",
|
||||
"sută": "",
|
||||
"ta": "",
|
||||
"tăi": "",
|
||||
"tale": "",
|
||||
"tău": "",
|
||||
"te": "",
|
||||
"ţi": "",
|
||||
"ţie": "",
|
||||
"timp": "",
|
||||
"tine": "",
|
||||
"toată": "",
|
||||
"toate": "",
|
||||
"tot": "",
|
||||
"toţi": "",
|
||||
"totuşi": "",
|
||||
"trei": "",
|
||||
"treia": "",
|
||||
"treilea": "",
|
||||
"tu": "",
|
||||
"un": "",
|
||||
"una": "",
|
||||
"unde": "",
|
||||
"undeva": "",
|
||||
"unei": "",
|
||||
"uneia": "",
|
||||
"unele": "",
|
||||
"uneori": "",
|
||||
"unii": "",
|
||||
"unor": "",
|
||||
"unora": "",
|
||||
"unu": "",
|
||||
"unui": "",
|
||||
"unuia": "",
|
||||
"unul": "",
|
||||
"vă": "",
|
||||
"vi": "",
|
||||
"voastră": "",
|
||||
"voastre": "",
|
||||
"voi": "",
|
||||
"voştri": "",
|
||||
"vostru": "",
|
||||
"vouă": "",
|
||||
"vreme": "",
|
||||
"vreo": "",
|
||||
"vreun": "",
|
||||
"zece": "",
|
||||
"zero": "",
|
||||
"zi": "",
|
||||
"zice": ""}
|
||||
+428
@@ -0,0 +1,428 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var russian = map[string]string{
|
||||
"а": "",
|
||||
"е": "",
|
||||
"и": "",
|
||||
"ж": "",
|
||||
"м": "",
|
||||
"о": "",
|
||||
"на": "",
|
||||
"не": "",
|
||||
"ни": "",
|
||||
"об": "",
|
||||
"но": "",
|
||||
"он": "",
|
||||
"мне": "",
|
||||
"мои": "",
|
||||
"мож": "",
|
||||
"она": "",
|
||||
"они": "",
|
||||
"оно": "",
|
||||
"мной": "",
|
||||
"много": "",
|
||||
"многочисленное": "",
|
||||
"многочисленная": "",
|
||||
"многочисленные": "",
|
||||
"многочисленный": "",
|
||||
"мною": "",
|
||||
"мой": "",
|
||||
"мог": "",
|
||||
"могут": "",
|
||||
"можно": "",
|
||||
"может": "",
|
||||
"можхо": "",
|
||||
"мор": "",
|
||||
"моя": "",
|
||||
"моё": "",
|
||||
"мочь": "",
|
||||
"над": "",
|
||||
"нее": "",
|
||||
"оба": "",
|
||||
"нам": "",
|
||||
"нем": "",
|
||||
"нами": "",
|
||||
"ними": "",
|
||||
"мимо": "",
|
||||
"немного": "",
|
||||
"одной": "",
|
||||
"одного": "",
|
||||
"менее": "",
|
||||
"однажды": "",
|
||||
"однако": "",
|
||||
"меня": "",
|
||||
"нему": "",
|
||||
"меньше": "",
|
||||
"ней": "",
|
||||
"наверху": "",
|
||||
"него": "",
|
||||
"ниже": "",
|
||||
"мало": "",
|
||||
"надо": "",
|
||||
"один": "",
|
||||
"одиннадцать": "",
|
||||
"одиннадцатый": "",
|
||||
"назад": "",
|
||||
"наиболее": "",
|
||||
"недавно": "",
|
||||
"миллионов": "",
|
||||
"недалеко": "",
|
||||
"между": "",
|
||||
"низко": "",
|
||||
"меля": "",
|
||||
"нельзя": "",
|
||||
"нибудь": "",
|
||||
"непрерывно": "",
|
||||
"наконец": "",
|
||||
"никогда": "",
|
||||
"никуда": "",
|
||||
"нас": "",
|
||||
"наш": "",
|
||||
"нет": "",
|
||||
"нею": "",
|
||||
"неё": "",
|
||||
"них": "",
|
||||
"мира": "",
|
||||
"наша": "",
|
||||
"наше": "",
|
||||
"наши": "",
|
||||
"ничего": "",
|
||||
"начала": "",
|
||||
"нередко": "",
|
||||
"несколько": "",
|
||||
"обычно": "",
|
||||
"опять": "",
|
||||
"около": "",
|
||||
"мы": "",
|
||||
"ну": "",
|
||||
"нх": "",
|
||||
"от": "",
|
||||
"отовсюду": "",
|
||||
"особенно": "",
|
||||
"нужно": "",
|
||||
"очень": "",
|
||||
"отсюда": "",
|
||||
"в": "",
|
||||
"во": "",
|
||||
"вон": "",
|
||||
"вниз": "",
|
||||
"внизу": "",
|
||||
"вокруг": "",
|
||||
"вот": "",
|
||||
"восемнадцать": "",
|
||||
"восемнадцатый": "",
|
||||
"восемь": "",
|
||||
"восьмой": "",
|
||||
"вверх": "",
|
||||
"вам": "",
|
||||
"вами": "",
|
||||
"важное": "",
|
||||
"важная": "",
|
||||
"важные": "",
|
||||
"важный": "",
|
||||
"вдали": "",
|
||||
"везде": "",
|
||||
"ведь": "",
|
||||
"вас": "",
|
||||
"ваш": "",
|
||||
"ваша": "",
|
||||
"ваше": "",
|
||||
"ваши": "",
|
||||
"впрочем": "",
|
||||
"весь": "",
|
||||
"вдруг": "",
|
||||
"вы": "",
|
||||
"все": "",
|
||||
"второй": "",
|
||||
"всем": "",
|
||||
"всеми": "",
|
||||
"времени": "",
|
||||
"время": "",
|
||||
"всему": "",
|
||||
"всего": "",
|
||||
"всегда": "",
|
||||
"всех": "",
|
||||
"всею": "",
|
||||
"всю": "",
|
||||
"вся": "",
|
||||
"всё": "",
|
||||
"всюду": "",
|
||||
"г": "",
|
||||
"год": "",
|
||||
"говорил": "",
|
||||
"говорит": "",
|
||||
"года": "",
|
||||
"году": "",
|
||||
"где": "",
|
||||
"да": "",
|
||||
"ее": "",
|
||||
"за": "",
|
||||
"из": "",
|
||||
"ли": "",
|
||||
"же": "",
|
||||
"им": "",
|
||||
"до": "",
|
||||
"по": "",
|
||||
"ими": "",
|
||||
"под": "",
|
||||
"иногда": "",
|
||||
"довольно": "",
|
||||
"именно": "",
|
||||
"долго": "",
|
||||
"позже": "",
|
||||
"более": "",
|
||||
"должно": "",
|
||||
"пожалуйста": "",
|
||||
"значит": "",
|
||||
"иметь": "",
|
||||
"больше": "",
|
||||
"пока": "",
|
||||
"ему": "",
|
||||
"имя": "",
|
||||
"пор": "",
|
||||
"пора": "",
|
||||
"потом": "",
|
||||
"потому": "",
|
||||
"после": "",
|
||||
"почему": "",
|
||||
"почти": "",
|
||||
"посреди": "",
|
||||
"ей": "",
|
||||
"два": "",
|
||||
"две": "",
|
||||
"двенадцать": "",
|
||||
"двенадцатый": "",
|
||||
"двадцать": "",
|
||||
"двадцатый": "",
|
||||
"двух": "",
|
||||
"его": "",
|
||||
"дел": "",
|
||||
"или": "",
|
||||
"без": "",
|
||||
"день": "",
|
||||
"занят": "",
|
||||
"занята": "",
|
||||
"занято": "",
|
||||
"заняты": "",
|
||||
"действительно": "",
|
||||
"давно": "",
|
||||
"девятнадцать": "",
|
||||
"девятнадцатый": "",
|
||||
"девять": "",
|
||||
"девятый": "",
|
||||
"даже": "",
|
||||
"алло": "",
|
||||
"жизнь": "",
|
||||
"далеко": "",
|
||||
"близко": "",
|
||||
"здесь": "",
|
||||
"дальше": "",
|
||||
"для": "",
|
||||
"лет": "",
|
||||
"зато": "",
|
||||
"даром": "",
|
||||
"первый": "",
|
||||
"перед": "",
|
||||
"затем": "",
|
||||
"зачем": "",
|
||||
"лишь": "",
|
||||
"десять": "",
|
||||
"десятый": "",
|
||||
"ею": "",
|
||||
"её": "",
|
||||
"их": "",
|
||||
"бы": "",
|
||||
"еще": "",
|
||||
"при": "",
|
||||
"был": "",
|
||||
"про": "",
|
||||
"процентов": "",
|
||||
"против": "",
|
||||
"просто": "",
|
||||
"бывает": "",
|
||||
"бывь": "",
|
||||
"если": "",
|
||||
"люди": "",
|
||||
"была": "",
|
||||
"были": "",
|
||||
"было": "",
|
||||
"будем": "",
|
||||
"будет": "",
|
||||
"будете": "",
|
||||
"будешь": "",
|
||||
"прекрасно": "",
|
||||
"буду": "",
|
||||
"будь": "",
|
||||
"будто": "",
|
||||
"будут": "",
|
||||
"ещё": "",
|
||||
"пятнадцать": "",
|
||||
"пятнадцатый": "",
|
||||
"друго": "",
|
||||
"другое": "",
|
||||
"другой": "",
|
||||
"другие": "",
|
||||
"другая": "",
|
||||
"других": "",
|
||||
"есть": "",
|
||||
"пять": "",
|
||||
"быть": "",
|
||||
"лучше": "",
|
||||
"пятый": "",
|
||||
"к": "",
|
||||
"ком": "",
|
||||
"конечно": "",
|
||||
"кому": "",
|
||||
"кого": "",
|
||||
"когда": "",
|
||||
"которой": "",
|
||||
"которого": "",
|
||||
"которая": "",
|
||||
"которые": "",
|
||||
"который": "",
|
||||
"которых": "",
|
||||
"кем": "",
|
||||
"каждое": "",
|
||||
"каждая": "",
|
||||
"каждые": "",
|
||||
"каждый": "",
|
||||
"кажется": "",
|
||||
"как": "",
|
||||
"какой": "",
|
||||
"какая": "",
|
||||
"кто": "",
|
||||
"кроме": "",
|
||||
"куда": "",
|
||||
"кругом": "",
|
||||
"с": "",
|
||||
"т": "",
|
||||
"у": "",
|
||||
"я": "",
|
||||
"та": "",
|
||||
"те": "",
|
||||
"уж": "",
|
||||
"со": "",
|
||||
"то": "",
|
||||
"том": "",
|
||||
"снова": "",
|
||||
"тому": "",
|
||||
"совсем": "",
|
||||
"того": "",
|
||||
"тогда": "",
|
||||
"тоже": "",
|
||||
"собой": "",
|
||||
"тобой": "",
|
||||
"собою": "",
|
||||
"тобою": "",
|
||||
"сначала": "",
|
||||
"только": "",
|
||||
"уметь": "",
|
||||
"тот": "",
|
||||
"тою": "",
|
||||
"хорошо": "",
|
||||
"хотеть": "",
|
||||
"хочешь": "",
|
||||
"хоть": "",
|
||||
"хотя": "",
|
||||
"свое": "",
|
||||
"свои": "",
|
||||
"твой": "",
|
||||
"своей": "",
|
||||
"своего": "",
|
||||
"своих": "",
|
||||
"свою": "",
|
||||
"твоя": "",
|
||||
"твоё": "",
|
||||
"раз": "",
|
||||
"уже": "",
|
||||
"сам": "",
|
||||
"там": "",
|
||||
"тем": "",
|
||||
"чем": "",
|
||||
"сама": "",
|
||||
"сами": "",
|
||||
"теми": "",
|
||||
"само": "",
|
||||
"рано": "",
|
||||
"самом": "",
|
||||
"самому": "",
|
||||
"самой": "",
|
||||
"самого": "",
|
||||
"семнадцать": "",
|
||||
"семнадцатый": "",
|
||||
"самим": "",
|
||||
"самими": "",
|
||||
"самих": "",
|
||||
"саму": "",
|
||||
"семь": "",
|
||||
"чему": "",
|
||||
"раньше": "",
|
||||
"сейчас": "",
|
||||
"чего": "",
|
||||
"сегодня": "",
|
||||
"себе": "",
|
||||
"тебе": "",
|
||||
"сеаой": "",
|
||||
"человек": "",
|
||||
"разве": "",
|
||||
"теперь": "",
|
||||
"себя": "",
|
||||
"тебя": "",
|
||||
"седьмой": "",
|
||||
"спасибо": "",
|
||||
"слишком": "",
|
||||
"так": "",
|
||||
"такое": "",
|
||||
"такой": "",
|
||||
"такие": "",
|
||||
"также": "",
|
||||
"такая": "",
|
||||
"сих": "",
|
||||
"тех": "",
|
||||
"чаще": "",
|
||||
"четвертый": "",
|
||||
"через": "",
|
||||
"часто": "",
|
||||
"шестой": "",
|
||||
"шестнадцать": "",
|
||||
"шестнадцатый": "",
|
||||
"шесть": "",
|
||||
"четыре": "",
|
||||
"четырнадцать": "",
|
||||
"четырнадцатый": "",
|
||||
"сколько": "",
|
||||
"сказал": "",
|
||||
"сказала": "",
|
||||
"сказать": "",
|
||||
"ту": "",
|
||||
"ты": "",
|
||||
"три": "",
|
||||
"эта": "",
|
||||
"эти": "",
|
||||
"что": "",
|
||||
"это": "",
|
||||
"чтоб": "",
|
||||
"этом": "",
|
||||
"этому": "",
|
||||
"этой": "",
|
||||
"этого": "",
|
||||
"чтобы": "",
|
||||
"этот": "",
|
||||
"стал": "",
|
||||
"туда": "",
|
||||
"этим": "",
|
||||
"этими": "",
|
||||
"рядом": "",
|
||||
"тринадцать": "",
|
||||
"тринадцатый": "",
|
||||
"этих": "",
|
||||
"третий": "",
|
||||
"тут": "",
|
||||
"эту": "",
|
||||
"суть": "",
|
||||
"чуть": "",
|
||||
"тысяч": ""}
|
||||
+175
@@ -0,0 +1,175 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var slovak = map[string]string{
|
||||
"a": "",
|
||||
"aby": "",
|
||||
"aj": "",
|
||||
"ak": "",
|
||||
"ako": "",
|
||||
"ale": "",
|
||||
"alebo": "",
|
||||
"and": "",
|
||||
"ani": "",
|
||||
"áno": "",
|
||||
"asi": "",
|
||||
"až": "",
|
||||
"bez": "",
|
||||
"bude": "",
|
||||
"budem": "",
|
||||
"budeš": "",
|
||||
"budeme": "",
|
||||
"budete": "",
|
||||
"budú": "",
|
||||
"by": "",
|
||||
"bol": "",
|
||||
"bola": "",
|
||||
"boli": "",
|
||||
"bolo": "",
|
||||
"byť": "",
|
||||
"cez": "",
|
||||
"čo": "",
|
||||
"či": "",
|
||||
"ďalší": "",
|
||||
"ďalšia": "",
|
||||
"ďalšie": "",
|
||||
"dnes": "",
|
||||
"do": "",
|
||||
"ho": "",
|
||||
"ešte": "",
|
||||
"for": "",
|
||||
"i": "",
|
||||
"ja": "",
|
||||
"je": "",
|
||||
"jeho": "",
|
||||
"jej": "",
|
||||
"ich": "",
|
||||
"iba": "",
|
||||
"iné": "",
|
||||
"iný": "",
|
||||
"k": "",
|
||||
"kam": "",
|
||||
"každý": "",
|
||||
"každá": "",
|
||||
"každé": "",
|
||||
"každí": "",
|
||||
"kde": "",
|
||||
"keď": "",
|
||||
"kto": "",
|
||||
"ktorá": "",
|
||||
"ktoré": "",
|
||||
"ktorou": "",
|
||||
"ktorý": "",
|
||||
"ktorí": "",
|
||||
"ku": "",
|
||||
"lebo": "",
|
||||
"len": "",
|
||||
"ma": "",
|
||||
"mať": "",
|
||||
"má": "",
|
||||
"máte": "",
|
||||
"medzi": "",
|
||||
"mi": "",
|
||||
"mna": "",
|
||||
"mne": "",
|
||||
"mnou": "",
|
||||
"musieť": "",
|
||||
"môcť": "",
|
||||
"môj": "",
|
||||
"môže": "",
|
||||
"my": "",
|
||||
"na": "",
|
||||
"nad": "",
|
||||
"nám": "",
|
||||
"náš": "",
|
||||
"naši": "",
|
||||
"nie": "",
|
||||
"nech": "",
|
||||
"než": "",
|
||||
"nič": "",
|
||||
"niektorý": "",
|
||||
"nový": "",
|
||||
"nová": "",
|
||||
"nové": "",
|
||||
"noví": "",
|
||||
"o": "",
|
||||
"od": "",
|
||||
"odo": "",
|
||||
"of": "",
|
||||
"on": "",
|
||||
"ona": "",
|
||||
"ono": "",
|
||||
"oni": "",
|
||||
"ony": "",
|
||||
"po": "",
|
||||
"pod": "",
|
||||
"podľa": "",
|
||||
"pokiaľ": "",
|
||||
"potom": "",
|
||||
"práve": "",
|
||||
"pre": "",
|
||||
"prečo": "",
|
||||
"preto": "",
|
||||
"pretože": "",
|
||||
"prvý": "",
|
||||
"prvá": "",
|
||||
"prvé": "",
|
||||
"prví": "",
|
||||
"pred": "",
|
||||
"predo": "",
|
||||
"pri": "",
|
||||
"pýta": "",
|
||||
"s": "",
|
||||
"sa": "",
|
||||
"so": "",
|
||||
"si": "",
|
||||
"som": "",
|
||||
"sme": "",
|
||||
"sú": "",
|
||||
"svoje": "",
|
||||
"svoj": "",
|
||||
"svojich": "",
|
||||
"svojím": "",
|
||||
"svojími": "",
|
||||
"ta": "",
|
||||
"tak": "",
|
||||
"takže": "",
|
||||
"táto": "",
|
||||
"teda": "",
|
||||
"te": "",
|
||||
"tě": "",
|
||||
"ten": "",
|
||||
"tento": "",
|
||||
"the": "",
|
||||
"tieto": "",
|
||||
"tým": "",
|
||||
"týmto": "",
|
||||
"tiež": "",
|
||||
"to": "",
|
||||
"toho": "",
|
||||
"tohoto": "",
|
||||
"tom": "",
|
||||
"tomto": "",
|
||||
"tomuto": "",
|
||||
"toto": "",
|
||||
"tu": "",
|
||||
"tú": "",
|
||||
"túto": "",
|
||||
"tvoj": "",
|
||||
"ty": "",
|
||||
"tvojími": "",
|
||||
"už": "",
|
||||
"vám": "",
|
||||
"váš": "",
|
||||
"vaše": "",
|
||||
"vo": "",
|
||||
"viac": "",
|
||||
"však": "",
|
||||
"všetok": "",
|
||||
"vy": "",
|
||||
"za": "",
|
||||
"zo": "",
|
||||
"že": ""}
|
||||
+393
@@ -0,0 +1,393 @@
|
||||
// Copyright (c) 2005, Jacques Savoy.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var swedish = map[string]string{
|
||||
"aderton": "",
|
||||
"adertonde": "",
|
||||
"adjö": "",
|
||||
"aldrig": "",
|
||||
"alla": "",
|
||||
"allas": "",
|
||||
"allt": "",
|
||||
"alltid": "",
|
||||
"alltså": "",
|
||||
"än": "",
|
||||
"andra": "",
|
||||
"andras": "",
|
||||
"annan": "",
|
||||
"annat": "",
|
||||
"ännu": "",
|
||||
"artonde": "",
|
||||
"artonn": "",
|
||||
"åtminstone": "",
|
||||
"att": "",
|
||||
"åtta": "",
|
||||
"åttio": "",
|
||||
"åttionde": "",
|
||||
"åttonde": "",
|
||||
"av": "",
|
||||
"även": "",
|
||||
"båda": "",
|
||||
"bådas": "",
|
||||
"bakom": "",
|
||||
"bara": "",
|
||||
"bäst": "",
|
||||
"bättre": "",
|
||||
"behöva": "",
|
||||
"behövas": "",
|
||||
"behövde": "",
|
||||
"behövt": "",
|
||||
"beslut": "",
|
||||
"beslutat": "",
|
||||
"beslutit": "",
|
||||
"bland": "",
|
||||
"blev": "",
|
||||
"bli": "",
|
||||
"blir": "",
|
||||
"blivit": "",
|
||||
"bort": "",
|
||||
"borta": "",
|
||||
"bra": "",
|
||||
"då": "",
|
||||
"dag": "",
|
||||
"dagar": "",
|
||||
"dagarna": "",
|
||||
"dagen": "",
|
||||
"där": "",
|
||||
"därför": "",
|
||||
"de": "",
|
||||
"del": "",
|
||||
"delen": "",
|
||||
"dem": "",
|
||||
"den": "",
|
||||
"deras": "",
|
||||
"dess": "",
|
||||
"det": "",
|
||||
"detta": "",
|
||||
"dig": "",
|
||||
"din": "",
|
||||
"dina": "",
|
||||
"dit": "",
|
||||
"ditt": "",
|
||||
"dock": "",
|
||||
"du": "",
|
||||
"efter": "",
|
||||
"eftersom": "",
|
||||
"elfte": "",
|
||||
"eller": "",
|
||||
"elva": "",
|
||||
"en": "",
|
||||
"enkel": "",
|
||||
"enkelt": "",
|
||||
"enkla": "",
|
||||
"enligt": "",
|
||||
"er": "",
|
||||
"era": "",
|
||||
"ert": "",
|
||||
"ett": "",
|
||||
"ettusen": "",
|
||||
"få ": "",
|
||||
"fanns": "",
|
||||
"får": "",
|
||||
"fått ": "",
|
||||
"fem": "",
|
||||
"femte": "",
|
||||
"femtio": "",
|
||||
"femtionde": "",
|
||||
"femton": "",
|
||||
"femtonde": "",
|
||||
"fick": "",
|
||||
"fin": "",
|
||||
"finnas": "",
|
||||
"finns": "",
|
||||
"fjärde": "",
|
||||
"fjorton": "",
|
||||
"fjortonde": "",
|
||||
"fler": "",
|
||||
"flera": "",
|
||||
"flesta": "",
|
||||
"följande": "",
|
||||
"för": "",
|
||||
"före": "",
|
||||
"förlåt": "",
|
||||
"förra": "",
|
||||
"första": "",
|
||||
"fram": "",
|
||||
"framför": "",
|
||||
"från": "",
|
||||
"fyra": "",
|
||||
"fyrtio": "",
|
||||
"fyrtionde": "",
|
||||
"gå": "",
|
||||
"gälla": "",
|
||||
"gäller": "",
|
||||
"gällt": "",
|
||||
"går": "",
|
||||
"gärna": "",
|
||||
"gått": "",
|
||||
"genast": "",
|
||||
"genom": "",
|
||||
"gick": "",
|
||||
"gjorde": "",
|
||||
"gjort": "",
|
||||
"god": "",
|
||||
"goda": "",
|
||||
"godare": "",
|
||||
"godast": "",
|
||||
"gör": "",
|
||||
"göra": "",
|
||||
"gott": "",
|
||||
"ha": "",
|
||||
"hade": "",
|
||||
"haft": "",
|
||||
"han": "",
|
||||
"hans": "",
|
||||
"har": "",
|
||||
"här": "",
|
||||
"heller": "",
|
||||
"hellre": "",
|
||||
"helst": "",
|
||||
"helt": "",
|
||||
"henne": "",
|
||||
"hennes": "",
|
||||
"hit": "",
|
||||
"hög": "",
|
||||
"höger": "",
|
||||
"högre": "",
|
||||
"högst": "",
|
||||
"hon": "",
|
||||
"honom": "",
|
||||
"hundra": "",
|
||||
"hundraen": "",
|
||||
"hundraett": "",
|
||||
"hur": "",
|
||||
"i": "",
|
||||
"ibland": "",
|
||||
"idag": "",
|
||||
"igår": "",
|
||||
"igen": "",
|
||||
"imorgon": "",
|
||||
"in": "",
|
||||
"inför": "",
|
||||
"inga": "",
|
||||
"ingen": "",
|
||||
"ingenting": "",
|
||||
"inget": "",
|
||||
"innan": "",
|
||||
"inne": "",
|
||||
"inom": "",
|
||||
"inte": "",
|
||||
"inuti": "",
|
||||
"ja": "",
|
||||
"jag": "",
|
||||
"jämfört": "",
|
||||
"kan": "",
|
||||
"kanske": "",
|
||||
"knappast": "",
|
||||
"kom": "",
|
||||
"komma": "",
|
||||
"kommer": "",
|
||||
"kommit": "",
|
||||
"kr": "",
|
||||
"kunde": "",
|
||||
"kunna": "",
|
||||
"kunnat": "",
|
||||
"kvar": "",
|
||||
"länge": "",
|
||||
"längre": "",
|
||||
"långsam": "",
|
||||
"långsammare": "",
|
||||
"långsammast": "",
|
||||
"långsamt": "",
|
||||
"längst": "",
|
||||
"långt": "",
|
||||
"lätt": "",
|
||||
"lättare": "",
|
||||
"lättast": "",
|
||||
"legat": "",
|
||||
"ligga": "",
|
||||
"ligger": "",
|
||||
"lika": "",
|
||||
"likställd": "",
|
||||
"likställda": "",
|
||||
"lilla": "",
|
||||
"lite": "",
|
||||
"liten": "",
|
||||
"litet": "",
|
||||
"man": "",
|
||||
"många": "",
|
||||
"måste": "",
|
||||
"med": "",
|
||||
"mellan": "",
|
||||
"men": "",
|
||||
"mer": "",
|
||||
"mera": "",
|
||||
"mest": "",
|
||||
"mig": "",
|
||||
"min": "",
|
||||
"mina": "",
|
||||
"mindre": "",
|
||||
"minst": "",
|
||||
"mitt": "",
|
||||
"mittemot": "",
|
||||
"möjlig": "",
|
||||
"möjligen": "",
|
||||
"möjligt": "",
|
||||
"möjligtvis": "",
|
||||
"mot": "",
|
||||
"mycket": "",
|
||||
"någon": "",
|
||||
"någonting": "",
|
||||
"något": "",
|
||||
"några": "",
|
||||
"när": "",
|
||||
"nästa": "",
|
||||
"ned": "",
|
||||
"nederst": "",
|
||||
"nedersta": "",
|
||||
"nedre": "",
|
||||
"nej": "",
|
||||
"ner": "",
|
||||
"ni": "",
|
||||
"nio": "",
|
||||
"nionde": "",
|
||||
"nittio": "",
|
||||
"nittionde": "",
|
||||
"nitton": "",
|
||||
"nittonde": "",
|
||||
"nödvändig": "",
|
||||
"nödvändiga": "",
|
||||
"nödvändigt": "",
|
||||
"nödvändigtvis": "",
|
||||
"nog": "",
|
||||
"noll": "",
|
||||
"nr": "",
|
||||
"nu": "",
|
||||
"nummer": "",
|
||||
"och": "",
|
||||
"också": "",
|
||||
"ofta": "",
|
||||
"oftast": "",
|
||||
"olika": "",
|
||||
"olikt": "",
|
||||
"om": "",
|
||||
"oss": "",
|
||||
"över": "",
|
||||
"övermorgon": "",
|
||||
"överst": "",
|
||||
"övre": "",
|
||||
"på": "",
|
||||
"rakt": "",
|
||||
"rätt": "",
|
||||
"redan": "",
|
||||
"så": "",
|
||||
"sade": "",
|
||||
"säga": "",
|
||||
"säger": "",
|
||||
"sagt": "",
|
||||
"samma": "",
|
||||
"sämre": "",
|
||||
"sämst": "",
|
||||
"sedan": "",
|
||||
"senare": "",
|
||||
"senast": "",
|
||||
"sent": "",
|
||||
"sex": "",
|
||||
"sextio": "",
|
||||
"sextionde": "",
|
||||
"sexton": "",
|
||||
"sextonde": "",
|
||||
"sig": "",
|
||||
"sin": "",
|
||||
"sina": "",
|
||||
"sist": "",
|
||||
"sista": "",
|
||||
"siste": "",
|
||||
"sitt": "",
|
||||
"sjätte": "",
|
||||
"sju": "",
|
||||
"sjunde": "",
|
||||
"sjuttio": "",
|
||||
"sjuttionde": "",
|
||||
"sjutton": "",
|
||||
"sjuttonde": "",
|
||||
"ska": "",
|
||||
"skall": "",
|
||||
"skulle": "",
|
||||
"slutligen": "",
|
||||
"små": "",
|
||||
"smått": "",
|
||||
"snart": "",
|
||||
"som": "",
|
||||
"stor": "",
|
||||
"stora": "",
|
||||
"större": "",
|
||||
"störst": "",
|
||||
"stort": "",
|
||||
"tack": "",
|
||||
"tidig": "",
|
||||
"tidigare": "",
|
||||
"tidigast": "",
|
||||
"tidigt": "",
|
||||
"till": "",
|
||||
"tills": "",
|
||||
"tillsammans": "",
|
||||
"tio": "",
|
||||
"tionde": "",
|
||||
"tjugo": "",
|
||||
"tjugoen": "",
|
||||
"tjugoett": "",
|
||||
"tjugonde": "",
|
||||
"tjugotre": "",
|
||||
"tjugotvå": "",
|
||||
"tjungo": "",
|
||||
"tolfte": "",
|
||||
"tolv": "",
|
||||
"tre": "",
|
||||
"tredje": "",
|
||||
"trettio": "",
|
||||
"trettionde": "",
|
||||
"tretton": "",
|
||||
"trettonde": "",
|
||||
"två": "",
|
||||
"tvåhundra": "",
|
||||
"under": "",
|
||||
"upp": "",
|
||||
"ur": "",
|
||||
"ursäkt": "",
|
||||
"ut": "",
|
||||
"utan": "",
|
||||
"utanför": "",
|
||||
"ute": "",
|
||||
"vad": "",
|
||||
"vänster": "",
|
||||
"vänstra": "",
|
||||
"var": "",
|
||||
"vår": "",
|
||||
"vara": "",
|
||||
"våra": "",
|
||||
"varför": "",
|
||||
"varifrån": "",
|
||||
"varit": "",
|
||||
"varken": "",
|
||||
"värre": "",
|
||||
"varsågod": "",
|
||||
"vart": "",
|
||||
"vårt": "",
|
||||
"vem": "",
|
||||
"vems": "",
|
||||
"verkligen": "",
|
||||
"vi": "",
|
||||
"vid": "",
|
||||
"vidare": "",
|
||||
"viktig": "",
|
||||
"viktigare": "",
|
||||
"viktigast": "",
|
||||
"viktigt": "",
|
||||
"vilka": "",
|
||||
"vilken": "",
|
||||
"vilket": "",
|
||||
"vill": ""}
|
||||
+127
@@ -0,0 +1,127 @@
|
||||
// Copyright 2016 Benjamin BALET. All rights reserved.
|
||||
// This list was built from:
|
||||
// "Opinion Detection in Thai Political News Columns
|
||||
// Based on Subjectivity Analysis"
|
||||
// Khampol Sukhum, Supot Nitsuwat, and Choochart Haruechaiyasak
|
||||
//
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var thai = map[string]string{
|
||||
"ไว้":"",
|
||||
"ไม่":"",
|
||||
"ไป":"",
|
||||
"ได้":"",
|
||||
"ให้":"",
|
||||
"ใน":"",
|
||||
"โดย":"",
|
||||
"แห่ง":"",
|
||||
"แล้ว":"",
|
||||
"และ":"",
|
||||
"แรก":"",
|
||||
"แบบ":"",
|
||||
"แต่":"",
|
||||
"เอง":"",
|
||||
"เห็น":"",
|
||||
"เลย":"",
|
||||
"เริ่ม":"",
|
||||
"เรา":"",
|
||||
"เมื่อ":"",
|
||||
"เพื่อ":"",
|
||||
"เพราะ":"",
|
||||
"เป็นการ":"",
|
||||
"เป็น":"",
|
||||
"เปิดเผย":"",
|
||||
"เปิด":"",
|
||||
"เนื่องจาก":"",
|
||||
"เดียวกัน":"",
|
||||
"เดียว":"",
|
||||
"เช่น":"",
|
||||
"เฉพาะ":"",
|
||||
"เคย":"",
|
||||
"เข้า":"",
|
||||
"เขา":"",
|
||||
"อีก":"",
|
||||
"อาจ":"",
|
||||
"อะไร":"",
|
||||
"ออก":"",
|
||||
"อย่าง":"",
|
||||
"อยู่":"",
|
||||
"อยาก":"",
|
||||
"หาก":"",
|
||||
"หลาย":"",
|
||||
"หลังจาก":"",
|
||||
"หลัง":"",
|
||||
"หรือ":"",
|
||||
"หนึ่ง":"",
|
||||
"ส่วน":"",
|
||||
"ส่ง":"",
|
||||
"สุด":"",
|
||||
"สําหรับ":"",
|
||||
"ว่า":"",
|
||||
"วัน":"",
|
||||
"ลง":"",
|
||||
"ร่วม":"",
|
||||
"ราย":"",
|
||||
"รับ":"",
|
||||
"ระหว่าง":"",
|
||||
"รวม":"",
|
||||
"ยัง":"",
|
||||
"มี":"",
|
||||
"มาก":"",
|
||||
"มา":"",
|
||||
"พร้อม":"",
|
||||
"พบ":"",
|
||||
"ผ่าน":"",
|
||||
"ผล":"",
|
||||
"บาง":"",
|
||||
"น่า":"",
|
||||
"นี้":"",
|
||||
"นํา":"",
|
||||
"นั้น":"",
|
||||
"นัก":"",
|
||||
"นอกจาก":"",
|
||||
"ทุก":"",
|
||||
"ที่สุด":"",
|
||||
"ที่":"",
|
||||
"ทําให้":"",
|
||||
"ทํา":"",
|
||||
"ทาง":"",
|
||||
"ทั้งนี้":"",
|
||||
"ทั้ง":"",
|
||||
"ถ้า":"",
|
||||
"ถูก":"",
|
||||
"ถึง":"",
|
||||
"ต้อง":"",
|
||||
"ต่างๆ":"",
|
||||
"ต่าง":"",
|
||||
"ต่อ":"",
|
||||
"ตาม":"",
|
||||
"ตั้งแต่":"",
|
||||
"ตั้ง":"",
|
||||
"ด้าน":"",
|
||||
"ด้วย":"",
|
||||
"ดัง":"",
|
||||
"ซึ่ง":"",
|
||||
"ช่วง":"",
|
||||
"จึง":"",
|
||||
"จาก":"",
|
||||
"จัด":"",
|
||||
"จะ":"",
|
||||
"คือ":"",
|
||||
"ความ":"",
|
||||
"ครั้ง":"",
|
||||
"คง":"",
|
||||
"ขึ้น":"",
|
||||
"ของ":"",
|
||||
"ขอ":"",
|
||||
"ขณะ":"",
|
||||
"ก่อน":"",
|
||||
"ก็":"",
|
||||
"การ":"",
|
||||
"กับ":"",
|
||||
"กัน":"",
|
||||
"กว่า":"",
|
||||
"กล่าว":""}
|
||||
+216
@@ -0,0 +1,216 @@
|
||||
// Copyright 2015 Benjamin BALET. All rights reserved.
|
||||
// Use of this source code is governed by the BSD license
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package stopwords
|
||||
|
||||
var turkish = map[string]string{
|
||||
"acaba": "",
|
||||
"altmış": "",
|
||||
"altı": "",
|
||||
"ama": "",
|
||||
"ancak": "",
|
||||
"arada": "",
|
||||
"aslında": "",
|
||||
"ayrıca": "",
|
||||
"bana": "",
|
||||
"bazı": "",
|
||||
"belki": "",
|
||||
"ben": "",
|
||||
"benden": "",
|
||||
"beni": "",
|
||||
"benim": "",
|
||||
"beri": "",
|
||||
"beş": "",
|
||||
"bile": "",
|
||||
"bin": "",
|
||||
"bir": "",
|
||||
"birçok": "",
|
||||
"biri": "",
|
||||
"birkaç": "",
|
||||
"birkez": "",
|
||||
"birşey": "",
|
||||
"birşeyi": "",
|
||||
"biz": "",
|
||||
"bize": "",
|
||||
"bizden": "",
|
||||
"bizi": "",
|
||||
"bizim": "",
|
||||
"böyle": "",
|
||||
"böylece": "",
|
||||
"bu": "",
|
||||
"buna": "",
|
||||
"bunda": "",
|
||||
"bundan": "",
|
||||
"bunlar": "",
|
||||
"bunları": "",
|
||||
"bunların": "",
|
||||
"bunu": "",
|
||||
"bunun": "",
|
||||
"burada": "",
|
||||
"çok": "",
|
||||
"çünkü": "",
|
||||
"da": "",
|
||||
"daha": "",
|
||||
"dahi": "",
|
||||
"de": "",
|
||||
"defa": "",
|
||||
"değil": "",
|
||||
"diğer": "",
|
||||
"diye": "",
|
||||
"doksan": "",
|
||||
"dokuz": "",
|
||||
"dolayı": "",
|
||||
"dolayısıyla": "",
|
||||
"dört": "",
|
||||
"edecek": "",
|
||||
"eden": "",
|
||||
"ederek": "",
|
||||
"edilecek": "",
|
||||
"ediliyor": "",
|
||||
"edilmesi": "",
|
||||
"ediyor": "",
|
||||
"eğer": "",
|
||||
"elli": "",
|
||||
"en": "",
|
||||
"etmesi": "",
|
||||
"etti": "",
|
||||
"ettiği": "",
|
||||
"ettiğini": "",
|
||||
"gibi": "",
|
||||
"göre": "",
|
||||
"halen": "",
|
||||
"hangi": "",
|
||||
"hatta": "",
|
||||
"hem": "",
|
||||
"henüz": "",
|
||||
"hep": "",
|
||||
"hepsi": "",
|
||||
"her": "",
|
||||
"herhangi": "",
|
||||
"herkesin": "",
|
||||
"hiç": "",
|
||||
"hiçbir": "",
|
||||
"için": "",
|
||||
"iki": "",
|
||||
"ile": "",
|
||||
"ilgili": "",
|
||||
"ise": "",
|
||||
"işte": "",
|
||||
"itibaren": "",
|
||||
"itibariyle": "",
|
||||
"kadar": "",
|
||||
"karşın": "",
|
||||
"katrilyon": "",
|
||||
"kendi": "",
|
||||
"kendilerine": "",
|
||||
"kendini": "",
|
||||
"kendisi": "",
|
||||
"kendisine": "",
|
||||
"kendisini": "",
|
||||
"kez": "",
|
||||
"ki": "",
|
||||
"kim": "",
|
||||
"kimden": "",
|
||||
"kime": "",
|
||||
"kimi": "",
|
||||
"kimse": "",
|
||||
"kırk": "",
|
||||
"milyar": "",
|
||||
"milyon": "",
|
||||
"mu": "",
|
||||
"mü": "",
|
||||
"mı": "",
|
||||
"nasıl": "",
|
||||
"ne": "",
|
||||
"neden": "",
|
||||
"nedenle": "",
|
||||
"nerde": "",
|
||||
"nerede": "",
|
||||
"nereye": "",
|
||||
"niye": "",
|
||||
"niçin": "",
|
||||
"o": "",
|
||||
"olan": "",
|
||||
"olarak": "",
|
||||
"oldu": "",
|
||||
"olduğu": "",
|
||||
"olduğunu": "",
|
||||
"olduklarını": "",
|
||||
"olmadı": "",
|
||||
"olmadığı": "",
|
||||
"olmak": "",
|
||||
"olması": "",
|
||||
"olmayan": "",
|
||||
"olmaz": "",
|
||||
"olsa": "",
|
||||
"olsun": "",
|
||||
"olup": "",
|
||||
"olur": "",
|
||||
"olursa": "",
|
||||
"oluyor": "",
|
||||
"on": "",
|
||||
"ona": "",
|
||||
"ondan": "",
|
||||
"onlar": "",
|
||||
"onlardan": "",
|
||||
"onları": "",
|
||||
"onların": "",
|
||||
"onu": "",
|
||||
"onun": "",
|
||||
"otuz": "",
|
||||
"oysa": "",
|
||||
"öyle": "",
|
||||
"pek": "",
|
||||
"rağmen": "",
|
||||
"sadece": "",
|
||||
"sanki": "",
|
||||
"sekiz": "",
|
||||
"seksen": "",
|
||||
"sen": "",
|
||||
"senden": "",
|
||||
"seni": "",
|
||||
"senin": "",
|
||||
"siz": "",
|
||||
"sizden": "",
|
||||
"sizi": "",
|
||||
"sizin": "",
|
||||
"şey": "",
|
||||
"şeyden": "",
|
||||
"şeyi": "",
|
||||
"şeyler": "",
|
||||
"şöyle": "",
|
||||
"şu": "",
|
||||
"şuna": "",
|
||||
"şunda": "",
|
||||
"şundan": "",
|
||||
"şunları": "",
|
||||
"şunu": "",
|
||||
"tarafından": "",
|
||||
"trilyon": "",
|
||||
"tüm": "",
|
||||
"üç": "",
|
||||
"üzere": "",
|
||||
"var": "",
|
||||
"vardı": "",
|
||||
"ve": "",
|
||||
"veya": "",
|
||||
"ya": "",
|
||||
"yani": "",
|
||||
"yapacak": "",
|
||||
"yapılan": "",
|
||||
"yapılması": "",
|
||||
"yapıyor": "",
|
||||
"yapmak": "",
|
||||
"yaptı": "",
|
||||
"yaptığı": "",
|
||||
"yaptığını": "",
|
||||
"yaptıkları": "",
|
||||
"yedi": "",
|
||||
"yerine": "",
|
||||
"yetmiş": "",
|
||||
"yine": "",
|
||||
"yirmi": "",
|
||||
"yoksa": "",
|
||||
"yüz": "",
|
||||
"zaten": ""}
|
||||
Reference in New Issue
Block a user