thảo luận Truyện tàu dịch máy (MTL)

ToomSpaet said:

Dạo này đang hứng đọc mấy cái paper ngôn ngữ học thì một số ông bảo tiếng Việt không có từ loại, vì không có dấu hiệu cụ thể để nhận biết (vị trí, từ đi kèm, etc).

Khả năng tiếng khựa cũng vậy, dị vãi cả đái.

Click to expand...

tiếng khựa dễ hơn, ít nhất thì nó có tượng hình, không như việt phải dùng chung từ.

tôi nhớ tiếng việt khó parse đến nỗi ngày xưa từng đề-xuất viết tiếng-việt kiểu thế-này )

p/s: nói đến vụ tiếng việt lại nhớ mấy thằng khùng định tối giản mấy âm c k q của tiếng việt. đậu mợ để nguyên đã khó chơi lại còn gộp lại, đúng là não to

mà có khi lấy discord là trang trao đổi chính, thông báo chức năng mới, report bug, feature request các kiểu đều hoạt động trong đó luôn các bạn nhỉ?

tôi thì không ưa discord do nó tới giờ vẫn không hỗ trợ font tiếng việt, cơ mà giờ chưa có forum thì nên có chỗ để sinh hoạt

ý kiến của các bạn thế nào @ToomSpaet @eet789

Nipin said:

nói đến vụ tiếng việt lại nhớ mấy thằng khùng định tối giản mấy âm c k q của tiếng việt. đậu mợ để nguyên đã khó chơi lại còn gộp lại, đúng là não to

Click to expand...

Cuối cùng vẫn bị bash còn gì. Rảnh háng vãi, đang tường minh đéo thích lại thích clg thống nhất chữ viết theo ngữ âm học.

Nipin said:

mà có khi lấy discord là trang trao đổi chính, thông báo chức năng mới, report bug, feature request các kiểu đều hoạt động trong đó luôn các bạn nhỉ?

tôi thì không ưa discord do nó tới giờ vẫn không hỗ trợ font tiếng việt, cơ mà giờ chưa có forum thì nên có chỗ để sinh hoạt

ý kiến của các bạn thế nào @ToomSpaet @eet789

Click to expand...

Sao cũng đc

Usernem said:

Có cách nào bỏ từ k anh, thấy nó dư ra mà k cách nào ẩn đi đc

Click to expand...

// move sang bên này cho đỡ offtopic

vụ ẩn từ trước thì có, giờ thì bỏ rồi.

vấn đề ở đây là trang chivi có nhiều người dùng, người này nhập linh tinh thì sẽ ảnh hưởng đến người khác. mấy cái khác thì nhìn được trên màn hình còn đỡ, mấy cái dạng xoá hẳn đi thì rất khó phát hiện.

à mà một số bổ ngữ bị dư thì đợi dần dần tôi bổ sung hết mấy từ ngữ thông dụng thì sẽ đỡ bớt.

Như trong hình này là sao vậy thím, đăng nhập rồi mà vẫn không thấy hiện chương truyện

nicolai_nhaidepxop said:

Như trong hình này là sao vậy thím, đăng nhập rồi mà vẫn không thấy hiện chương truyện

Click to expand...

mấy cái truyện từ qq, faloo, ciweimao thì thường không có text đâu. chỉ có qidian mới có text nhiều vì đây là trang nổi tiếng.

mà đặt là chivi có vẻ dễ gây hiểu nhầm, đang cân nhắc đổi tên.

// mà tôi đang tập trung làm một cái css framework (build ui chivi dùng cái này), chưa có thời gian quay lại phát triển chivi, các bạn kiên nhẫn đợi vài tuần :v

ừ làm xong rồi thì sẽ quay lại cải thiện dc giao diện chivi cho nó ngon nghẻ hơn, cũng dễ phát triển hơn :">

à mà tôi vừa tìm hiểu tiếp thì tàu đang bắt đầu phân loại từ rồi thì phải, dạng thế này:


keyword là 中文的标注语料库, bạn nào rảnh tìm mấy kho số liệu hộ với :">

search qua ra dc cái này https://www.jianshu.com/p/206caa232ded mà link đã chết

Nipin said:

à mà tôi vừa tìm hiểu tiếp thì tàu đang bắt đầu phân loại từ rồi thì phải, dạng thế này:

Code:

    n   普通名词
    nt  时间名词
    nd  方位名词
    nl  处所名词
    nh  人名
    nhf 姓
    nhs 名
    ns  地名
    nn  族名
    ni  机构名
    nz  其他专名
    v   动词
    vd  趋向动词
    vl  联系动词
    vu  能愿动词
    a   形容词
    f   区别词
    m   数词　　
    q   量词
    d   副词
    r   代词
    p   介词
    c   连词
    u   助词
    e   叹词
    o   拟声词
    i   习用语
    j   缩略语
    h   前接成分
    k   后接成分
    g   语素字
    x   非语素字
    w   标点符号
    ws  非汉字字符串
    wu  其他未知的符号

keyword là 中文的标注语料库, bạn nào rảnh tìm mấy kho số liệu hộ với :">

search qua ra dc cái này https://www.jianshu.com/p/206caa232ded mà link đã chết

Click to expand...

Nhiều label thế.

Mà cái cuối còn là "loại khác chưa biết."

ToomSpaet said:

Nhiều label thế.

Mà cái cuối còn là "loại khác chưa biết."

Click to expand...

cái này là nhãn phân loại từ thôi, mình cũng chả cần dùng hết.

mấy cái này dùng cho NLP (natural language processing), aka AI ML, aka cho rân chơi thứ thiệt, bên mình thì tôi nghĩ chủ yếu vẫn là thêm danh từ là chính, mấy cái khác thì chắc đi tìm xem chỗ nào có phân loại sẵn.

lý tưởng thì vất vả 1 2 tháng phân loại dc hết các từ cơ bản, còn lại về sau hầu như chỉ nhập tên riêng thôi chả tốn efford mấy

search google thì cũng ra dc vài cái vớ vẩn, kiểu cái này nó có đánh dấu từ cho bài báo nào đó thì phải:

https://raw.githubusercontent.com/liwenzhu/corpusZh/master/corpus/corpus_一_20140804162433.txt

Nipin said:

search google thì cũng ra dc vài cái vớ vẩn, kiểu cái này nó có đánh dấu từ cho bài báo nào đó thì phải:

https://raw.githubusercontent.com/liwenzhu/corpusZh/master/corpus/corpus_一_20140804162433.txt

Click to expand...

Baidu thử xem. Mà nếu là cách phân loại mới trong vòng 2-3 năm thì khả năng là không có, vì muốn có dữ liệu phải thuê người đánh nhãn thủ công (bọn BATX có hẳn vài trung tâm chỉ làm cái này) rất tốn tiền, có public cũng chỉ là hàng hết date.

Chưa kể làm thủ công và thường không tập trung vào mảng tiểu thuyết nên chưa chắc data đã clean...

ToomSpaet said:

Baidu thử xem. Mà nếu là cách phân loại mới trong vòng 2-3 năm thì khả năng là không có, vì muốn có dữ liệu phải thuê người đánh nhãn thủ công (bọn BATX có hẳn vài trung tâm chỉ làm cái này) rất tốn tiền, có public cũng chỉ là hàng hết date.

Chưa kể làm thủ công và thường không tập trung vào mảng tiểu thuyết nên chưa chắc data đã clean...

Click to expand...

mình chỉ cần chạy trên đống dữ liệu có sẵn thôi mà, chứ giờ sơ sơ 200k entries tôi check bao giờ cho hết :v

mà nói mới nhớ, tôi cũng cần cái wordlist để lọc mất mấy cụm từ chúng nó thêm bừa vào vietphrase, mấy cái này xoá 5 năm không hết

ngon rồi, đã download dc cái dữ liệu nhân dân nhật báo 2014, file to 116MB chắc cũng có kha khá dữ liệu (mặc dù lặp lại chắc tương đối)... nghe bảo bản 1998 chuẩn hơn nhưng mà hết hạn download mỗi ngày rồi mai tính

đây rồi chương trình phân tách dữ liệu chuẩn đây
https://github-com.translate.goog/b...=zh-CN&_x_tr_tl=en&_x_tr_hl=vi&_x_tr_pto=ajax

ài mà có khi dành thời gian tìm hiểu mấy cái này, nó tách ra hết ngữ pháp rồi chỉ việc áp dụng grammar với thêm từ thôi, ngon hơn :v

edit: quên link :">

https://github-com.translate.goog/p...=zh-CN&_x_tr_tl=en&_x_tr_hl=vi&_x_tr_pto=ajax

ngon, chỗ này có đúng cái tôi nói ở trên

Chinese Xinhua dictionary database and API. The collection includes 14032 allegorical words, 16142 Chinese characters, 264434 words and 31648 idioms.

Click to expand...

đúng là chỉ cần tìm là ra hết

rảnh tranh thủ download lại đống vietphrase của các bạn rồi chạy lại file lọc thôi

đã hoàn thành việc thay thế thằng kemal bằng thằng amber, giảm bớt một gánh nặng

vừa deploy lên https://dev.chivi.xyz/, bạn nào rảnh check hộ xem có chỗ nào lỗi không, ngày kia tôi rảnh thì đẩy lên server chính

https://raw.githubusercontent.com/fxsjy/jieba/master/jieba/dict.txt

đây rồi, có danh sách sẵn 300k từ, tôi nghĩ cũng cover được gần hết cái từ điển rồi, các bạn cứ háo hức chờ đợi đi

// gần đây bỏ ngữ pháp làm tôi cũng lười đọc hẳn, cứ thấy sượng sượng

Đang test feature mới hay gì mà có cái bug log vào xong refresh lại thành acc khác rồi.



F5 một phát thành:



Nhân tiện đây là acc của ai thì yên tâm là tôi out ra rồi nhé.

ToomSpaet said:

Đang test feature mới hay gì mà có cái bug log vào xong refresh lại thành acc khác rồi.

View attachment 613464

F5 một phát thành:

View attachment 613466

Nhân tiện đây là acc của ai thì yên tâm là tôi out ra rồi nhé.

Click to expand...

không phải đâu, vẫn đúng acc nhưng mà hiện nhầm thôi =) xem lịch sử là biết

mà vừa sửa xong refresh cái xem nào?

giải thích kỹ hơn thì sau khi đăng nhập vào thì nó sẽ trả về một cái cookie, dạng random string thế này: "90ljfs9xcvlj=cxlvj234"... tôi lấy luôn nó làm unique key để lưu thông tin người dùng.

vấn đề là lúc tôi split cookie tôi lại chỉ lấy cái phần 90ljfs9xcvlj - ờ đoạn trước dấu =, mà không biết rằng thực ra là mọi người đều có đoạn đó giống nhau )