Chuyên mục: Làm sao để Việt-ngữ trở·nên một ngôn·ngữ chính·xác và khoa·học.

Tiếng·việt giàu về âm thanh, phong·phú về ý·nghĩa. Chúng·ta phải làm gì và làm thế·nào để Việt-ngữ trở·nên một ngôn·ngữ chính·xác và khoa·học.

Tại·sao chúng·ta cần xác·định ranh·giới của các từ·ngữ trong câu·văn Việt.

Xác·định ranh·giới của các từ·ngữ trong câu·văn để Tiếng Việt trở·nên trong sáng để làm gì?
Tác·giả: Đặng Hải Nguyên.

Nội·dung:

Xác·định ranh·giới của các từ·ngữ trong câu·văn Tiếng Việt (tiếng·nói & chữ·viết) được hiểu là phân·biệt rõ·ràng từ đơn, từ kép và từ ghép. Nói cách khác, xác·định ranh·giới từ (word boundary) là xác·định từ (word) và âm·tiết (syllable).

A. Những bất·lợi (disadvantage) của việc không phân·biệt từ và âm·tiết:
Việc không phân·biệt rõ·ràng từ (word) và âm·tiết (syllable) trong ngôn·ngữ Việt dẫn đến nhiều vấn·đề về phát·triển ngôn·ngữ Việt cũng như trong giao·tiếp bằng Tiếng Việt (tiếng·nói & chữ·viết), làm cho Tiếng Việt trở·nên kém chính·xác, kém trong sáng và khó có·thể hiểu đúng để có·thể làm đúng:
1. Ý·nghĩa câu·văn không rõ·ràng, tối·nghĩa, gây hiểu·lầm…
2. Làm·giảm·đi (reduce) tính chính·xác, tốc·độ đọc và hiểu của người·đọc (reader).

B. Những lợi·ích (advantage) của việc phân·biệt từ và âm·tiết:
1. Giúp việc dịch tự·động hoặc chuyển·ngữ tự·động nguồn thông·tin vô·cùng dồi·dào, phong·phú và miễn·phí về mọi vắn·đề thuộc mọi ngành khoa·học, kỹ·thuật, chính·trị, kinh·tế, giáo·dục, y·tế, vv., trên Liên·mạng·toàn·cầu (Internet) từ bất·cứ ngôn·ngữ nào trên thế·giới sang Tiếng Việt được nhanh·chóng·hơn và thêm chính·xác hoặc ít·nhất cũng giảm·thiểu thời·gian dịch·thuật.
2. Tiền·đề cho việc thiết·lập một cơ·chế thích·hợp nhằm giúp ngôn·ngữ Việt được ổn·định và rõ·ràng, tạo điều·kiện để Tiếng Việt trở·thành một ngôn·ngữ mang tính khoa·học, và sánh·vai cùng các ngôn·ngữ phát·triển khác trên thế·giới.
3. Định·hình cho hướng phát·triển của ngôn·ngữ Việt trong nhiều lãnh·vực khác nhau, nhất là lãnh·vực tự·động·hoá (automatize) và rô·bô·hoá (robotize) trong tương·lai.

– · o o O o o · – Đọc tiếp Tại·sao chúng·ta cần xác·định ranh·giới của các từ·ngữ trong câu·văn Việt.

Cần quan·tâm đến thuật·ngữ khoa·học phổ·thông trong sách báo nói·chung và sách khoa·học cho trẻ·em nói·riêng.

Thuật ngữ khoa học phổ thông trong sách báo nói chung và sách khoa học cho trẻ em nói riêng.
Tác giả: Nguyễn Việt Long.

Các bạn từng nghe đến loài cá voi sát thủ chưa? Cứ nghe tên thì chắc rất nhiều người là nạn nhân của nó. Nhưng tìm mãi trên báo mạng và sách vở gần như không thấy nói “gã sát thủ” ấy ăn thịt người, mà chỉ chuyên ăn thịt các loài cá khác, kiểu như “cá voi sát thủ xé xác cá mập” hay “cá voi sát thủ săn sư tử biển”… Quả là thiên vị và bất công: đây là loài duy nhất được phong danh xưng “sát thủ”, mặc dù nó không ăn thịt người (trừ vài trường hợp cá biệt), trong khi bao nhiêu loài cá dữ ăn thịt người lại không đạt được “tước hiệu” đình đám ấy. Thật chả khác nào phong danh hiệu đại kiện tướng cờ vua cho một người thỉnh thoảng mới chơi vài nước cờ đơn giản. Ngoài cái tên dữ tợn đó, nó còn có một cái tên khác cũng ấn tượng không kém: cá hổ kình! (Có nhiều loài cá khác cũng được gọi là cá hổ không thuộc lớp Thú như cá voi). Tra cứu thêm ta biết rằng thậm chí cá hổ kình không phải là cá voi, mà là cá heo (thuộc họ Cá heo Delphinidae, bộ Cá voi Cetacea). Thì ra thủ phạm của những danh xưng ngoáo ộp ấy là việc cắm đầu cắm cổ dịch cái tên tiếng Anh killer whale và tên tiếng Hán (trong tiếng Hán thì kình chỉ động vật thuộc bộ Cá voi, nếu Việt hóa thì lẽ ra phải là cá kình hổ). Chả lẽ mình cứ bắt chước một cách máy móc ngôn ngữ khác (họ dùng đã quen đến mức khó đổi dù có khi không hợp lý lắm)? Chúng ta nên gọi đúng tên của nó là cá heo voi hoặc cá heo hổ. Đọc tiếp Cần quan·tâm đến thuật·ngữ khoa·học phổ·thông trong sách báo nói·chung và sách khoa·học cho trẻ·em nói·riêng.

Dấu ngang·cách (dash), dấu ngang·nối (hyphen): nhận·diện và sử·dụng

DẤU GẠCH NGANG (–), DẤU GẠCH NỐI (-): NHẬN DIỆN VÀ SỬ DỤNG

Tác giả: ỨNG QUỐC CHỈNH (NXB Đại học Sư phạm)

Gạch ngang và gạch nối tưởng như đã rõ ràng và không có gì phải bàn thêm. Tuy nhiên trong thực tế, vẫn còn nhiều lẫn lộn khi sử dụng, kể cả trong các xuất bản phẩm. Những nhầm lẫn đó đó do nhiều nguyên nhân: có thể do tác giả, do người nhập dữ liệu, do biên tập, do chế bản hoặc do diện tích nhỏ trong khi trình bày ở các sản phẩm quảng cáo,… Do vậy, những vấn đề về dấu gạch ngang và dấu gạch nối cần được phân tích lại, phân tích thêm và đưa ra hướng giải quyết hợp lí.

I. KHÁI NIỆM

1. Dấu gạch ngang

Theo Đại từ điển tiếng Việt (Nguyễn Như Ý chủ biên, trang 701, NXB Văn hóa – Thông tin, 1999): “Gạch ngang dt. Dấu (–), dài hơn gạch nối; thường dùng để tách riêng ra thành phần chú thích thêm trong câu; viết ghép một tổ hợp hai hay nhiều tên riêng, hai hay nhiều số cụ thể; đặt ở đầu dòng nhằm viết các phần liệt kê, các lời đồi thoại; còn gọi là Dấu gạch ngang”.

Một vài vấn đề nảy sinh và lưu ý: Không nhầm giữa dấu gạch ngang với đường gạch ngang (gạch thành một đường dài, ngang). Phân biệt dấu gạch ngang giữa (–) với dấu gạch ngang dưới (_). ­­Có lẽ do dấu gạch ngang dưới ít được sử dụng trong thực tế nên người ta thường dùng dấu gạch ngang thay cho cách gọi đầy đủ là: dấu gạch ngang giữa. (?)

2. Dấu gạch nối

Theo Đại từ điển tiếng Việt, (Nguyễn Như Ý chủ biên, trang 701, NXB Văn hóa – Thông tin, 1999): “Gạch nối dt. Dấu (-), ngắn hơn gạch ngang; thường dùng để nối những thành tố đã được viết rời của từ đa tiết phiên âm; còn gọi là Dấu gạch nối”.

Cần chú ý phân biệt dấu gạch nối với dấu nối trong âm nhạc (không có chữ gạch) – Dấu nối – dấu nhạc có hình cung nối hai hay nhiều nốt cùng cao độ, cùng tên, chỉ sự kéo dài trường độ của một âm. Đọc tiếp Dấu ngang·cách (dash), dấu ngang·nối (hyphen): nhận·diện và sử·dụng

Người Nhật tuy sử·dụng một phần Hán-tự trong chữ·viết Kanji của họ, nhưng văn·hoá Nhật không hề bị vẩn·đục với những lợn·cợn Trung·hoa.

Hãy trả·lại ý·nghĩa đích·thực của “từ Hán-Việt”

1. Tiếng/từ Hán-Việt theo đúng ý·nghĩa là gì?
2. Tiếng/từ Việt·nồm hay tiếng/từ Nồm là gì? Chúng khác với tiếng/từ Hán-Việt ra·sao?
3. Người Nhật tuy sử·dụng một phần Hán-tự trong chữ·viết Kan·ji của họ, nhưng văn·hoá Nhật không hề bị vẩn·đục với những lợn·cợn Trung·hoa.

Chúng·ta có·thể học-hỏi gì nơi Người Nhật trong việc đưa đất·nước thoát·khỏi vòng kiềm·toả của văn·hoá Hán-tự — Nền văn·hoá nô·dịch đi·kèm·theo thứ chữ ô·vuông mang tính áp·đặt một chiều?

Chúng·ta cần hỏi và học cách đánh·giá văn·hoá Trung·hoa theo cái·nhìn của Người Nhật và cách nhìn, phân·tích cái hay, cái dở của Hán-tự, văn·hoá Trung·hoa theo nhãn·quan khoa·học của người Tây·phương (Western people). Người Nhật tuy sử·dụng một phần Hán-tự trong chữ·viết Kan·ji của họ do số âm·tiết hạn·hẹp của tiếng Nhật, thế·nhưng, văn·hoá Nhật không hề bị vẩn·đục với những lợn·cợn Trung·hoa. Người Nhật xem·xét, học-hỏi văn·hoá Trung·hoa bằng một tinh·thần “gần bùn nhưng chẳng hôi tanh mùi bùn” và với thái·độ “kính nhi viễn chi”. Đọc tiếp Người Nhật tuy sử·dụng một phần Hán-tự trong chữ·viết Kanji của họ, nhưng văn·hoá Nhật không hề bị vẩn·đục với những lợn·cợn Trung·hoa.

Nên viết thế·nào cho đúng: “tiếng Việt” hoặc “Tiếng Việt”, “ngôn ngữ tiếng Việt” hoặc “ngôn ngữ Việt”?

Nên viết thế·nào cho đúng: “tiếng Việt” hoặc “Tiếng Việt”, “ngôn ngữ tiếng Việt” hoặc “ngôn ngữ Việt”?

Trong câu·văn “ngôn ngữ quốc gia là tiếng Việt”, từ “tiếng Việt” ở đây được hiểu (hoặc phải hiểu) là nó bao·gồm cả “tiếng·nói Việt” và “chữ·viết Việt”. Thế·nhưng, từ “tiếng” thường khiến người·ta chỉ liên·tưởng đến hoặc chỉ nghĩ đến “tiếng·nói” mà·thôi, vậy chúng·ta phải làm gì và viết như thế·nào để nó bao·gồm luôn cả phần chữ·viết?
Đọc tiếp Nên viết thế·nào cho đúng: “tiếng Việt” hoặc “Tiếng Việt”, “ngôn ngữ tiếng Việt” hoặc “ngôn ngữ Việt”?

Thuật·toán tách từ

Thuật toán tách từ
Tác giả: Lưu Tuấn Anh.

Nội dung

1. Các hướng tiếp cận
2. Các phương pháp được sử dụng
3. Ứng dụng bài toán tách từ
4. Thuật toán phổ biến
5. Một số vấn đề mở rộng

Tách từ là một quá trình xử lý nhằm mục đích xác định ranh giới của các từ trong câu văn, cũng có thể hiểu đơn giản rằng tách từ là quá trình xác định các từ đơn, từ ghép… có trong câu. Đối với xử lý ngôn ngữ, để có thể xác định cấu trúc ngữ pháp của câu, xác định từ loại của một từ trong câu, yêu cầu nhất thiết đặt ra là phải xác định được đâu là từ trong câu. Vấn đề này tưởng chừng đơn giản với con người nhưng đối với máy tính, đây là bài toán rất khó giải quyết.

Chính vì lý do đó tách từ được xem là bước xử lý quan trọng đối với các hệ thống Xử Lý Ngôn Ngữ Tự Nhiên, đặc biệt là đối với các ngôn ngữ thuộc vùng Đông Á theo loại hình ngôn ngữ đơn lập, ví dụ: tiếng Trung Quốc, tiếng Nhật, tiếng Thái, và tiếng Việt. Với các ngôn ngữ thuộc loại hình này, ranh giới từ không chỉ đơn giản là những khoảng trắng như trong các ngôn ngữ thuộc loại hình hòa kết như tiếng Anh…, mà có sự liên hệ chặt chẽ giữa các tiếng với nhau, một từ có thể cấu tạo bởi một hoặc nhiều tiếng. Vì vậy đối với các ngôn ngữ thuộc vùng Đông Á, vấn đề của bài toán tách từ là khử được sự nhập nhằng trong ranh giới từ. Đọc tiếp Thuật·toán tách từ

Ứng·dụng phương·pháp Pointwise vào bài·toán tách từ cho Tiếng Việt

Ứng dụng phương pháp Pointwise vào bài toán tách từ cho tiếng Việt

Lưu Tuấn Anh, Yamamoto Kazuhide
Natural Language Processing Laboratory Department of Electrical Engineering
Nagaoka University of Technology 940-2188, Nagaoka City, Niigata, Japan

Abstract
Trong tiếng Việt, dấu cách (space) không được sử dụng như 1 kí hiệu phân tách từ, nó chỉ có ý nghĩa phân tách các âm tiết với nhau. Vì thế, để xử lý tiếng Việt, bài toán tách từ (word segmentation) là 1 trong những bài toán cơ bản và quan trọng bậc nhất. Ngoài tiếng Việt, có khá nhiều các ngôn ngữ châu Á khác cũng cần bước tách từ, ví dụ như: tiếng Nhật, tiếng Trung, tiếng Hàn,… do đó vấn đề này nhận được sự quan tâm rộng rãi và có nhiều hướng tiếp cận khác nhau. Bài viết này sẽ tập trung phân tích hướng tiếp cận pointwise dựa trên máy học SVM: phân loại từng dấu cách một cách độc lập vào 2 loại: SPACE (kí hiệu tách từ) và UNDERSCORE (kí hiệu liên kết 2 âm tiết). Với phương pháp này, chúng tôi đã đạt được độ chính xác 98.2% trong thực nghiệm. Tất cả mã nguồn của nghiên cứu này được ứng dụng để tạo ra công cụ mang tên Đông Du.

Keywords: xứ lý ngôn ngữ tự nhiên, xử lý tiếng Việt, bài toán tách từ, pointwise estimation

I. INTRODUCTION

Trong tiếng Việt, dấu cách không mang ý nghĩa phân tách các từ mà chỉ mang ý nghĩa phân tách các âm tiết với nhau. Ví dụ: từ “đất nước” được tạo ra từ 2 âm tiết “đất” và “nước”, cả 2 âm tiết này đều có nghĩa riêng khi đứng độc lập, nhưng khi ghép lại sẽ mang một nghĩa khác. Vì đặc điểm này, bài toán tách từ trở thành 1 bài toán tiền đề cho các ứng dụng xử lý ngôn ngữ tự nhiên khác như phân loại văn bản, tóm tắt văn bản, máy dịch tự động,…

Ngoài tiếng Việt, có khá nhiều các ngôn ngữ khác cũng gặp phải bài toán này, ví dụ như: tiếng Nhật, tiếng Trung, tiêng Hàn,… Mỗi một ngôn ngữ có 1 đặc điểm cú pháp khác nhau, nhưng nhìn chung, hướng tiếp cận chủ đạo ở tất cả các ngôn ngữ này là sử dụng máy học.
Đọc tiếp Ứng·dụng phương·pháp Pointwise vào bài·toán tách từ cho Tiếng Việt

Cần minh-định một số từ·ngữ trọng·yếu trong việc xác·lập tính chính-danh của Việt-ngữ

Cần minh-định một số từ·ngữ trọng·yếu (essential word) trong việc xác·lập chủ·quyền và tính chính-danh của Việt-ngữ.

Tác·giả: Đặng Hải Nguyên

Nội·dung

1. Đặt vấn·đề.
2. Hán-tự hay Hoa-Hán-tự hay Ký·tự Hoa-Hán.
3. Nho-tự hay Việt-Hán-tự hay ký·tự Việt-Hán.
4. Từ Hán-Việt hay từ Hoa-Việt, từ Pháp-Việt, từ Nga-Việt, từ Anh-Việt.
5. Từ Việt·nồm hay từ Nồm khác với từ Hán-Việt; Nho-tự khác với Hán-tự.
6. Nôm-tự (Nôm character) còn được gọi là chữ Nôm (Nôm script) là quốc-ngữ xưa của Người·việt.
7. Cần phân·biệt rạch·ròi các từ·ngữ: Nôm, Nồm và Hán-Việt.
8. Tóm·lược.

Đọc tiếp Cần minh-định một số từ·ngữ trọng·yếu trong việc xác·lập tính chính-danh của Việt-ngữ

Hãnh·diện với Việt-ngữ ABC

Hãnh-diện với Việt-ngữ ABC
Tác-giả: Đoàn-Xuân

1. Dẫn-nhập

Nếu có thì-giờ suy-nghĩ về Việt-ngữ, ta thấy tổng-số chữ Tàu vào khoảng 9,812 và phát-âm thành 1,307 tiếng, cũng trong số chữ đó người Việt phát-âm thành 2,033 tiếng. Nhưng đó chỉ là cái gốc mà thôi, người Việt còn biết dựa vào chữ Tàu để cải-hóa thành chữ Nôm, thêm được vào khoảng hơn 4,000 âm/hơn 30,000 chữ nữa. Như vậy tiếng Việt nhiều hơn tiếng Tàu ít nhất là hơn 4,000 tiếng gốc Nam-Á ( = Nôm).
Hơn một tỷ dân Tàu, từ mấy nghìn năm nay, với 9,000 chữ, rồi ghép tới ghép lui, chữ Tàu càng ngày càng tiến-bộ, và lúc nào cũng đủ chữ để dùng cho kịp với trào-lưu tiến-hóa của nhân-loại.
Tiếng Việt chắc-chắn không thua, bởi-vì ngoài tiếng và chữ Tàu là cái gốc đã Việt-hóa, thêm chữ Nôm qá nhiều, thì tiếng Việt không kém bất-cứ một ngôn-ngữ nào của thế-gian nầy. Đọc tiếp Hãnh·diện với Việt-ngữ ABC

Nguyên·tắc tạo từ mới

Nguyên·tắc tạo từ mới.
Tác·giả: Đặng Hải Nguyên.

Nhờ chữ quốc-ngữ viết bằng chữ·cái La·tinh, chúng·ta không bị đóng·khung trong phép “lục thư” trong việc tạo từ mới. Trong cái rủi có cái may. Người Pháp đã mang chữ·viết, dùng chữ·cái (letter) abc để ghi âm Việt, thông·qua các cha·cố với mục·đích truyền·bá đạo Công·giáo La·mã (Roman Catholic). Song·song với việc đánh đuổi ngoại·xâm, chúng·ta có được vũ·khí quốc-ngữ vô·cùng lợi·hại (powerful) và kho chữ Việt·nồm (Nho-Việt) vô cùng phong·phú. Một chân·trời mới với khả·năng vô·hạn. Giới·hạn có·chăng là ở trí tưởng·tượng, tinh·thẩn sáng·tạo, khả·năng của mỗi chúng·ta trong việc sử·dụng chúng một·cách nghiêm·chỉnh, một·cách hệ·thống với một tinh·thần khoa·học; giới hạn là ở tính không bao·dung, không cởi·mở, bè·phái, kẻ·cả, tự·ái, kỳ·thị, cố·chấp, tị·hiềm, bài·ngoại

Mong rằng từ·ngữ Việt nào đúng, chính·xác, chúng·ta sử·dụng mà không phân·biệt chúng thuộc vùng, miền nào; những gì không đúng, không chính·xác sẽ bị đào·thải với thời·gian. Chúng·ta không thể dùng cường·quyền, phe·phái áp·đặt những gì vô·lý vào ngôn·ngữ , vì nếu được đi chăng nữa, chúng chỉ là một mớ hổ·lốn, sẽ làm mất đi tính trong·sáng, tính hệ·thống và tính nhất·quán của Tiếng Việt. Sử·dụng, phổ·biến, giữ·gìn tính hệ·thống và nhất·quán của Tiếng Việt là nhiệm·vụ của mỗi Người Việt·nam (Vietnamese).

Đọc tiếp Nguyên·tắc tạo từ mới