Мають не ascii символи. Кодування текстової інформації

У комп'ютері розуміється процес її перетворення в форму, що дозволяє організувати більш зручну передачу, зберігання або автоматичну переробку цих даних. З цією метою використовуються різні таблиці. Кодування ASCII - це перша система, розроблена в Сполучених Штатах для роботи з англомовним текстом, яка отримала згодом поширення у всьому світі. Її опису, особливостям, властивостям і подальшого використання присвячено окрему статтю, представлена \u200b\u200bнижче.

Відображення і зберігання інформації в ЕОМ

Символи на моніторі комп'ютера або того чи іншого мобільного цифрового гаджета формуються на основі наборів векторних форм всіляких знаків і коду, що дозволяє знайти серед них той символ, який необхідно вставити в потрібне місце. Він являє собою послідовностей біт. Таким чином, кожному символу повинен однозначно відповідати набір нулів і одиниць, які стоять в певному, унікальному порядку.

Як все починалося

Історично склалося так, що перші ЕОМ були англомовними. Для кодування символьної інформації в них було достатньо використовувати всього лише 7 біт пам'яті, тоді як для цієї мети виділявся 1 байт, що складається з 8 бітів. Кількість знаків, що розуміються комп'ютером в такому випадку, дорівнювало 128. У число таких символів входили англійський алфавіт з його знаками пунктуації, числа і деякі спеціальні символи. Англомовна семібітная кодування з відповідною таблицею (кодовою сторінкою), розроблена в 1963 році, була названа American Standard Code for Information Interchange. Зазвичай для її позначення використовувалася і використовується і до цього дня абревіатура «Кодування ASCII».

Перехід до багатомовності

Згодом комп'ютери стали широко використовуватися і в неангломовних країнах. У зв'язку з цим з'явилася потреба в кодуваннях, що дозволяють використовувати національні мови. Було вирішено не винаходити велосипед, і взяти за основу ASCII. Таблиця кодування в новій редакції значно розширилася. Використання 8-го біта дозволило переводити на комп'ютерну мову вже 256 символів.

опис

Кодування ASCII має таблицю, яка ділиться на 2 частини. Загальноприйнятим міжнародним стандартом прийнято вважати лише її першу половину. У неї входять:

Символи з порядковими номерами від 0 до 31, які кодуються послідовностями від 00000000 до 00011111. Вони відведені для керуючих символів, які обіймають керівні посади процесом виведення тексту на екран або принтер, подачею звукового сигналу і т. П.
Символи з NN в таблиці від 32 до 127, які кодуються послідовностями від 00100000 до 01111111 складають стандартну частину таблиці. В їх число входять пробіл (N 32), букви латинського алфавіту (великі та малі), десятизначні цифри від 0 до 9, знаки пунктуації, дужки різного накреслення та інші символи.
Символи з порядковими номерами від 128 до 255, які кодуються послідовностями від 10000000 до 11111111. В їх число включені букви національних алфавітів, відмінні від латинського. Саме ця альтернативна частина таблиці кодування ASCII використовується для перетворення в комп'ютерну форму російських символів.

деякі властивості

До особливостей кодування ASCII відноситься відміну букв «A» - «Z» нижнього і верхнього регістрів тільки одним бітом. Ця обставина значно спрощує перетворення регістру, а також його перевірку на приналежність до заданому діапазону значень. Крім того, всі букви в сістемаа кодування ASCII представляються власними порядковими номерами в алфавіті, які записані 5 цифрами в двійковій системі числення, перед якими для букв нижнього регістру варто 011 2, а верхнього - 010 2.

До числа особливостей кодування ASCII можна зарахувати і уявлення 10 цифр - «0» - «9». У другій системі числення вони починаються з 00112, а закінчуються 2-ми значеннями чисел. Так, 0101 2 еквівалентно десятковому числу п'ять, тому символ «5» записується як 0011 01012. Спираючись на сказане, можна легко перетворити двійковій-десяткові числа в рядок в кодуванні ASCII за допомогою додавання зліва бітової послідовності 00112 до кожного напівбайтів.

"Юнікод"

Як відомо, для відображення текстів на мовах групи південно-східній Азії потрібні тисячі знаків. Таке їх кількість ніяк не описується в одному байті інформації, тому навіть розширені версії ASCII вже не могли задовольняти зрослі потреби користувачів з різних країн.

Так, виникла необхідність створення універсального кодування тексту, розробкою якої при співробітництві з багатьма лідерами світової IT-індустрії зайнявся консорціум "Юнікод". Його фахівцями була створена система UTF 32. У ній для кодування 1 символу виділялося 32 біта, що становлять 4 байта інформації. Головним недоліком було різке збільшення обсягу необхідної пам'яті в цілих 4 рази, що тягло за собою безліч проблем.

У той же час для більшості країн з офіційними мовами, які належать до індоєвропейської групи, кількість знаків, що дорівнює 2 32, є більш ніж надмірною.

В результаті подальшої роботи фахівців з консорціуму "Юнікод" з'явилася кодування UTF-16. Вона стала тим варіантом перетворення символьної інформації, яка влаштувала всіх як за обсягом необхідної пам'яті, так і за кількістю кодованих символів. Саме тому UTF-16 була прийнята за замовчуванням і в ній для одного знака потрібно зарезервувати 2 байта.

Навіть ця досить просунута і вдала версія "Юникода" мала деякі недоліки, і після переходу від розширеної версії ASCII до UTF-16 збільшувала вагу документа в два рази.

У зв'язку з цим було вирішено використовувати кодування змінної довжини UTF-8. У такому випадку кожен символ вихідного тексту кодується послідовністю довжиною від 1 до 6 байт.

Зв'язок з American standard code for information interchange

Всі знаки латинського алфавіту в UTF-8 змінної довжини кодуються в 1 байт, як в системі кодування ASCII.

Особливістю ЮТФ-8 є те, що в разі тексту на латиниці без використання інших символів, навіть програми, які не розуміють "Юнікод", все одно дозволять його прочитати. Іншими словами, базова частина кодування тексту ASCII просто переходить до складу нової UTF змінної довжини. Кириличні знаки в ЮТФ-8 займають 2 байти, а, наприклад, грузинські - 3 байта. Створенням UTF-16 і 8 була вирішена основна проблема створення єдиного кодового простору в шрифтах. З тих пір виробникам шрифтів залишається тільки заповнювати таблицю векторними формами символів тексту виходячи зі своїх потреб.

У різних операційних системах перевага віддається різним кодувань. Щоб мати можливість читати і редагувати тексти, набрані в іншому кодуванні, застосовуються програми перекодування російського тексту. Деякі текстові редактори містять вбудовані перекодувальники і дозволяють читати текст незалежно від кодування.

Тепер ви знаєте, скільки символів в кодуванні ASCII і, як і чому вона була розроблена. Звичайно, сьогодні найбільшого поширення в світі отримав стандарт "Юнікод". Однак не можна забувати, що він створений на базі ASCII, тому слід належним чином оцінювати внесок його розробників в сферу IT.

Привіт, шановні читачі блогу сайт. Сьогодні ми поговоримо з вами про те, звідки беруться кракозябри на сайті і в програмах, які кодування тексту існують і які з них слід використовувати. Детально розглянемо історію їх розвитку, починаючи від базової ASCII, а також її розширених версій CP866, KOI8-R, Windows-1251 і закінчуючи сучасними кодуваннями консорціуму Юнікод UTF 16 і 8.

Кому-то ці відомості можуть здатися зайвими, але знали б ви, скільки мені приходить питань саме стосовно вилізли кракозябрами (не читав набору символів). Тепер у мене буде можливість відсилати всіх до тексту цієї статті і самостійно відшукувати свої косяки. Ну що ж, приготуйтеся вбирати інформацію і постарайтеся стежити за ходом розповіді.

ASCII - базова кодування тексту для латиниці

Розвиток кодувань текстів відбувалося одночасно з формуванням галузі IT, і вони за цей час встигли зазнати досить багато змін. Історично все починалося з досить-таки не милозвучно в російській вимові EBCDIC, яка дозволяла кодувати літери латинського алфавіту, арабські цифри і знаки пунктуації з керуючими символами.

Але все ж відправною точкою для розвитку сучасних кодувань текстів варто вважати знамениту ASCII (American Standard Code for Information Interchange, яка по-російському звичайно вимовляється як «аски»). Вона описує перші 128 символів з найбільш часто використовуваних англомовними користувачами - латинські букви, арабські цифри і розділові знаки.

Ще в ці 128 знаків, описаних в ASCII, потрапляли деякі службові символи навроде дужок, решіток, зірочок і т.п. Власне, ви самі можете побачити їх:

Саме ці 128 символів з початкового варіант ASCII стали стандартом, і в будь-який інший кодуванні ви їх обов'язково зустрінете і стояти вони будуть саме в такому порядку.

Але справа в тому, що за допомогою одного байта інформації можна закодувати НЕ 128, а цілих 256 різних значень (двійка в ступеня вісім дорівнює 256), тому слідом за базовою версією Аски з'явився цілий ряд розширених кодувань ASCII, В яких можна було крім 128 основних знаків закодувати ще й символи національної кодування (наприклад, російської).

Тут, напевно, варто ще трохи сказати про системи числення, які використовуються при описі. По-перше, як ви всі знаєте, комп'ютер працює тільки з числами в двійковій системі, а саме з нулями і одиницями ( «булева алгебра», якщо хто проходив в інституті або в школі). , Кожен з яких представляє з себе двійку в ступені, починаючи з нульової, і до двійки в сьомий:

Не важко зрозуміти, що всіх можливих комбінацій нулів і одиниць в такій конструкції може бути тільки 256. Перекладати число з двійкової системи в десяткову досить просто. Потрібно просто скласти всі ступені двійки, над якими стоять одиниці.

У нашому прикладі це виходить 1 (2 певною мірою нуль) плюс 8 (два в ступені 3), плюс 32 (двійка в п'ятого ступеня), плюс 64 (в шостий), плюс 128 (в сьомий). Разом отримує 233 в десятковій системі числення. Як бачите, все дуже просто.

Але якщо ви придивитеся до таблиці з символами ASCII, то побачите, що вони представлені в шістнадцятковій кодуванні. Наприклад, «зірочка» відповідає в Аски шістнадцятиричним числу 2A. Напевно, вам відомо, що в шістнадцятковій системі числення використовуються крім арабських цифр ще й латинські літери від A (означає десять) до F (означає п'ятнадцять).

Ну так от, для перекладу двійкового числа в шістнадцяткове вдаються до наступного простому і наочному способу. Кожен байт інформації розбивають на дві частини по чотири біта, як показано на наведеному вище скріншоті. Т.ч. в кожній половинці байта двійковим кодом можна закодувати тільки шістнадцять значень (два в четвертого ступеня), що можна легко уявити шістнадцятковим числом.

Причому, в лівій половині байта вважати ступеня потрібно буде знову починаючи з нульової, а не так, як показано на скріншоті. В результаті, шляхом нехитрих обчислень, ми отримаємо, що на скріншоті закодовано число E9. Сподіваюся, що хід моїх міркувань і розгадка даного ребуса вам виявилися зрозумілі. Ну, а тепер продовжимо, власне, говорити про кодування тексту.

Розширені версії Аски - кодування CP866 і KOI8-R з псевдографікою

Отже, ми з вами почали говорити про ASCII, яка була як би відправною точкою для розвитку всіх сучасних кодувань (Windows 1251, юнікод, UTF 8).

Спочатку в неї було закладено тільки 128 знаків латинського алфавіту, арабських цифр і ще чогось там, але в розширеній версії з'явилася можливість використовувати всі 256 значень, які можна закодувати в одному байті інформації. Тобто з'явилася можливість додати в Аски символи букв своєї мови.

Тут потрібно буде ще раз відволіктися, щоб пояснити - навіщо взагалі потрібні кодування текстів і чому це так важливо. Символи на екрані вашого комп'ютера формуються на основі двох речей - наборів векторних форм (уявлень) всіляких знаків (вони знаходяться в файлах з) і коду, який дозволяє висмикнути з цього набору векторних форм (файлу шрифту) саме той символ, який потрібно буде вставити в потрібне місце.

Зрозуміло, що за самі векторні форми відповідають шрифти, а ось за кодування відповідає операційна система і які використовуються в ній програми. Тобто будь-який текст на вашому комп'ютері буде являти собою набір байтів, в кожному з яких закодований один єдиний символ цього самого тексту.

Програма, яка відображає цей текст на екрані (текстовий редактор, браузер і т.п.), при розборі коду зчитує кодування чергового знака і шукає відповідну йому векторну форму в потрібному файлі шрифту, який підключений для відображення даного текстового документа. Все просто і банально.

Значить, щоб закодувати будь-який потрібний нам символ (наприклад, з національного алфавіту), має бути виконано дві умови - векторна форма цього знака повинна бути в використовуваному шрифті і цей символ можна було б закодувати в розширених кодуваннях ASCII в один байт. Тому таких варіантів існує ціла купа. Тільки лише для кодування символів російської мови існує кілька різновидів розширеної Аски.

Наприклад, спочатку з'явилася CP866, В якій була можливість використовувати символи російського алфавіту і вона була розширеною версією ASCII.

Тобто її верхня частина повністю збігалася з базовою версією Аски (128 символів латиниці, цифр і ще всякої лабуди), яка представлена \u200b\u200bна наведеному трохи вище скріншоті, а ось уже нижня частина таблиці з кодуванням CP866 мала вказаний на скріншоті трохи нижче вид і дозволяла закодувати ще 128 знаків (російські літери і всяка там псевдографіка):

Бачите, в правій колонці цифри починаються з 8, тому що числа з 0 до 7 відносяться до базової частини ASCII (див. перший скріншот). Т.ч. російська буква «М» в CP866 матиме код 9С (вона знаходиться на перетині відповідних рядка з 9 і стовпці з цифрою С в шістнадцятковій системі числення), який можна записати в одному байті інформації, і при наявності відповідного шрифту з російськими символами ця буква без проблем відобразиться в тексті.

Звідки взялося таке кількість псевдографіки в CP866? Тут вся справа в тому, що це кодування для російського тексту розроблялася ще в ті волохаті року, коли не було такого поширення графічних операційних систем як зараз. А в Досі, і подібних їй текстових операционках, псевдографіка дозволяла хоч якось урізноманітнити оформлення текстів і тому нею рясніє CP866 і всі інші її ровесниці з розряду розширених версій Аски.

CP866 поширювала компанія IBM, але крім цього для символів російської мови були розроблені ще ряд кодувань, наприклад, до цього ж типу (розширених ASCII) можна віднести KOI8-R:

Принцип її роботи залишився той же самий, що і у описаної раніше CP866 - кожен символ тексту кодується одним єдиним байтом. На скріншоті показана друга половина таблиці KOI8-R, тому що перша половина повністю відповідає базовій Аски, яка показана на першому скріншоті в цій статті.

Серед особливостей кодування KOI8-R можна відзначити те, що російські букви в її таблиці йдуть не в алфавітному порядку, як це, наприклад, зробили в CP866.

Якщо подивитеся на найперший скріншот (базової частини, яка входить в усі розширені кодування), то помітите, що в KOI8-R російські літери розташовані в тих же елементах таблиці, що і співзвучні їм літери латинського алфавіту з першої частини таблиці. Це було зроблено для зручності переходу з російських символів на латинські шляхом відкидання всього одного біта (два в сьомий ступеня або 128).

Windows-1251 - сучасна версія ASCII і чому вилазять кракозябри

Подальший розвиток кодувань тексту було пов'язано з тим, що набирали популярність графічні операційні системи і необхідність використання псевдографіки в них з часом зникла. В результаті виникла ціла група, яка за своєю суттю і раніше були розширеними версіями Аски (один символ тексту кодується всього одним байтом інформації), але вже без використання символів псевдографіки.

Вони ставилися до так званим ANSI кодувань, які були розроблені американським інститутом стандартизації. У просторіччі ще використовувалося назву кирилиця для варіанту з підтримкою російської мови. Прикладом такої може служити.

Вона вигідно відрізнялася від використовуваних раніше CP866 і KOI8-R тим, що місце символів псевдографіки в ній зайняли відсутні символи російської типографіки (окрім знака наголоси), а також символи, які використовуються в близьких до російського слов'янських мовах (українській, білоруській і т.д. ):

Через такої великої кількості кодувань російської мови, у виробників шрифтів і виробників програмного забезпечення постійно виникала головний біль, а у нас з вам, шановні читачі, часто вилазили ті самі горезвісні кракозябри, Коли відбувалася плутанина з використовуваної в тексті версією.

Дуже часто вони вилазили при відправці і отриманні повідомлень по електронній пошті, Що спричинило за собою створення дуже складних перекодіровочний таблиць, які, власне, вирішити цю проблему в корені не змогли, і часто користувачі для листування використовували, щоб уникнути горезвісних кракозябрами при використанні російських кодувань подібних CP866, KOI8-R або Windows 1251.

По суті, кракозябри, вилазящіе замість російського тексту, були результатом некоректного використання кодування даного мови, Яка не відповідала тій, в якій було закодовано текстове повідомлення спочатку.

Припустимо, якщо символи, закодовані за допомогою CP866, спробувати відобразити, використовуючи кодову таблицю Windows 1251, то ці самі кракозябри (безглуздий набір знаків) і вилізуть, повністю замінивши собою текст повідомлення.

Аналогічна ситуація дуже часто виникає при, форумів або блогів, коли текст з російськими символами помилково зберігається не в тій кодуванні, яка використовується на сайті за замовчуванням, або ж не в тому текстовому редакторі, Який додає в код відсебеньки невидиму неозброєним оком.

Зрештою така ситуація з безліччю кодувань і постійно вилазять кракозябрами багатьом набридла, з'явилися передумови до створення нової універсальної варіації, яка б замінила собою всі існуючі і вирішила б, нарешті, на корені проблему з появою не читав текстів. Крім цього існувала проблема мов подібних китайському, де символів мови було набагато більше, ніж 256.

Юнікод (Unicode) - універсальні кодування UTF 8, 16 і 32

Ці тисячі знаків мовної групи південно-східній Азії ніяк неможливо було описати в одному байті інформації, який виділявся для кодування символів в розширених версіях ASCII. В результаті був створений консорціум під назвою Юнікод (Unicode - Unicode Consortium) при співпраці багатьох лідерів IT індустрії (ті, хто виробляє софт, хто кодує залізо, хто створює шрифти), які були зацікавлені в появі універсального кодування тексту.

Першою варіацією, що вийшла під егідою консорціуму Юнікод, була UTF 32. Цифра в назві кодування означає кількість біт, яке використовується для кодування одного символу. 32 біта становлять 4 байта інформації, які знадобляться для кодування одного єдиного знака в новій універсальній кодуванні UTF.

В результаті чого, один і той же файл з текстом, закодований в розширеній версії ASCII і в UTF-32, в останньому випадку буде мати розмір (важити) в чотири рази більше. Це погано, але зате тепер у нас з'явилася можливість закодувати за допомогою ЮТФ число знаків, що дорівнює двом в тридцять другого ступеня ( мільярди символів, Які покриють будь реально необхідне значення з колосальним запасом).

Але багатьом країнам з мовами європейської групи таку величезну кількість знаків використовувати в кодуванні зовсім і не було необхідності, однак при залученні UTF-32 вони ні за що ні про що отримували чотириразове збільшення ваги текстових документів, а в результаті і збільшення обсягу інтернет трафіку і обсягу збережених даних. Це багато, і таке марнотратство собі ніхто не міг дозволити.

В результаті розвитку Юникода з'явилася UTF-16, Яка вийшла настільки вдалою, що була прийнята за замовчуванням як базове простір для всіх символів, які у нас використовуються. Вона використовує два байта для кодування одного знака. Давайте подивимося, як ця справа виглядає.

В операційній системі Windows ви можете пройти по шляху «Пуск» - «Програми» - «Стандартні» - «Службові» - «Таблиця символів». В результаті відкриється таблиця з векторними формами всіх встановлених у вас в системі шрифтів. Якщо ви виберете в «Додаткових параметрах» набір знаків Юнікод, то зможете побачити для кожного шрифту окремо весь асортимент входять до нього символів.

До речі, клацнувши по будь-якому з них, ви зможете побачити його багатобайтових код в форматі UTF-16, Що складається з чотирьох шістнадцятирічних цифр:

Скільки символів можна закодувати в UTF-16 за допомогою 16 біт? 65 536 (два в ступені шістнадцять), і саме це число було прийнято за базову простір в Юникоде. Крім цього існують способи закодувати за допомогою неї і близько двох мільйонів знаків, але обмежилися розширеним простором в мільйон символів тексту.

Але навіть ця вдала версія кодування Юнікоду не принесла особливого задоволення тим, хто писав, припустимо, програми тільки на англійською, Бо у них, після переходу від розширеної версії ASCII до UTF-16, вага документів збільшувався в два рази (один байт на один символ в Аски і два байта на той же самий символ в ЮТФ-16).

Ось саме для задоволення всіх і вся в консорціумі Unicode було вирішено придумати кодування змінної довжини. Її назвали UTF-8. Незважаючи на вісімку в назві, вона дійсно має змінну довжину, тобто кожен символ тексту може бути закодований в послідовність довжиною від одного до шести байт.

На практиці ж в UTF-8 використовується тільки діапазон від одного до чотирьох байт, тому що за чотирма байтами коду нічого вже навіть теоретично не можливо уявити. Всі латинські знаки в ній кодуються в один байт, так само як і в старій добрій ASCII.

Що примітно, в разі кодування тільки латиниці, навіть ті програми, які не розуміють Юнікод, все одно прочитають те, що закодовано в ЮТФ-8. Тобто базова частина Аски просто перейшла в це дітище консорціуму Unicode.

Кириличні ж знаки в UTF-8 кодуються в два байта, а, наприклад, грузинські - в три байта. Консорціум Юнікод після створення UTF 16 і 8 вирішив основну проблему - тепер у нас в шрифтах існує єдине кодове простір. І тепер їх виробникам залишається тільки виходячи зі своїх сил і можливостей заповнювати його векторними формами символів тексту. Зараз в набори навіть.

У наведеній трохи вище «Таблиці символів» видно, що різні шрифти підтримують різну кількість знаків. Деякі насичені символами Юнікоду шрифти можуть важити дуже пристойно. Але зате тепер вони відрізняються не тим, що вони створені для різних кодувань, а тим, що виробник шрифту заповнив або не заповнить єдине кодове простір тими чи іншими векторними формами до кінця.

Кракозябри замість російських букв - як виправити

Давайте тепер подивимося, як з'являються замість тексту кракозябри або, іншими словами, як вибирається правильна кодування для російського тексту. Власне, вона задається в тій програмі, в якій ви створюєте або редагуєте цей самий текст, або ж код з використанням текстових фрагментів.

Для редагування та створення текстових файлів особисто я використовую дуже хороший, на мій погляд,. Втім, він може підсвічувати синтаксис ще доброї сотні мов програмування і розмітки, а також має можливість розширення за допомогою плагінів. Читайте детальний огляд цієї чудової програми за посиланням.

У верхньому меню Notepad ++ є пункт «Кодування», де у вас буде можливість перетворити вже наявний варіант в той, який використовується на вашому сайті за замовчуванням:

У разі сайту на Joomla 1.5 і вище, а також в разі блогу на WordPress слід в уникненні появи кракозябрами вибирати варіант UTF 8 без BOM. А що таке приставка BOM?

Справа в тому, що коли розробляли кодування ЮТФ-16, для чогось вирішили прикрутити до неї таку річ, як можливість записувати код символу, як в прямій послідовності (наприклад, 0A15), так і в зворотному (150A). А для того, щоб програми розуміли, в якій саме послідовності читати коди, і був придуманий BOM (Byte Order Mark або, іншими словами, сигнатура), яка виражалася в додаванні трьох додаткових байтів в самий початок документів.

У кодуванні UTF-8 ніяких BOM передбачено в консорціумі Юнікод не було і тому додавання сигнатури (цих самих горезвісних додаткових трьох байтів в початок документа) деякими програмами просто-напросто заважає читати код. Тому ми завжди при збереженні файлів в ЮТФ повинні вибирати варіант без BOM (без сигнатури). Таким чином, ви заздалегідь убезпечите себе від того, що вилазить кракозябрами.

Що примітно, деякі програми в Windows не вміють цього робити (не вміють зберігати текст в ЮТФ-8 без BOM), наприклад, все той же горезвісний Блокнот Windows. Він зберігає документ в UTF-8, але все одно додає в його початок сигнатуру (три додаткових байта). Причому ці байти будуть завжди одні й ті ж - читати код в прямій послідовності. Але на серверах через цю дрібниці може виникнути проблема - вилізуть кракозябри.

Тому ні в якому разі не користуйтеся звичайним блокнотом Windows для редагування документів вашого сайту, якщо не хочете появи кракозябрами. Кращим і найбільш простим варіантом я вважаю вже згаданий редактор Notepad ++, який практично не має недоліків і складається з одних лише достоїнств.

У Notepad ++ при виборі кодування у вас буде можливість перетворити текст в кодування UCS-2, яка за своєю суттю дуже близька до стандарту Юнікод. Також в Нотепаде можна буде закодувати текст в ANSI, тобто стосовно до російської мови це буде вже описана нами трохи вище Windows 1251. Звідки береться ця інформація?

Вона прописана в реєстрі вашої операційної системи Windows - яке кодування вибирати в разі ANSI, яку обирати в разі OEM (для російської мови це буде CP866). Якщо ви встановите на своєму комп'ютері іншу мову за замовчуванням, то і ці кодування будуть замінені на аналогічні з розряду ANSI або OEM для того самого мови.

Після того, як ви в Notepad ++ збережіть документ в потрібній вам кодуванні або ж відкриєте документ з сайту для редагування, то в правому нижньому кутку редактора зможете побачити її назва:

Щоб уникнути кракозябрами, Крім описаних вище дій, буде корисним прописати в його шапці вихідного коду всіх сторінок сайту інформацію про цю саму кодуванні, щоб на сервері або локальному хості не виникло плутанини.

Взагалі, у всіх мовах гіпертекстової розмітки крім Html використовується спеціальне оголошення xml, в якому вказується кодування тексту.

Перш, ніж почати розбирати код, браузер дізнається, яка версія використовується і як саме потрібно інтерпретувати коди символів цієї мови. Але що примітно, в разі, якщо ви зберігаєте документ в прийнятому за замовчуванням юникоде, то це оголошення xml можна буде опустити (кодування буде вважатися UTF-8, якщо немає BOM або ЮТФ-16, якщо BOM є).

У разі ж документа мови Html для вказівки кодування використовується елемент Meta, Який прописується між відкриває і закриває тегом Head:

... ...

Ця запис досить сильно відрізняється від прийнятої в, але повністю відповідає новому впроваджуваного потихеньку стандарту Html 5, і вона буде стовідсотково правильно зрозуміла будь-якими використовуваними на поточний момент браузерами.

За ідеєю, елемент Meta із зазначенням кодування Html документа краще буде ставити якомога вище в шапці документа, Щоб на момент зустрічі в тексті першого знака не з базової ANSI (які правильно прочитали завжди і в будь-який варіації) браузер вже повинен мати інформацію про те, як інтерпретувати коди цих символів.

Удачі вам! До швидких зустрічей на сторінках блогу сайт

подивитися ще ролики можна перейшовши на

");">

Вам може бути цікаво

Що таке URL адреси, чим відрізняються абсолютні та відносні посилання для сайту
OpenServer - сучасний локальний сервер і приклад його використання для установки WordPress на комп'ютер
Що таке Chmod, які права доступу призначати файлів і папок (777, 755, 666) і як це зробити через PHP
Пошук Яндекса по сайту і інтернет-магазину

До речі, на нашому сайті ви можете перевести будь-який текст в десятковий, шістнадцятковий, двійковий код скориставшись Калькулятором кодів онлайн.

Таблиця ASCII

ASCII (American Standard Code for Information Interchange)

Зведена таблиця кодів ASCII

ASCII таблиця кодів символів Windows (Win-1251)

		символ









		спец. табуляція
		спец. LF (Повер. Каретки)


		спец. CR ( новий рядок)


















		сцеп. SP (Пропуск)

		символ

Розширена таблиця кодів ASCII

Символи форматування.

	Backspace (Повернення на один символ). Показує на рух механізму друку або курсора дисплея назад на одну позицію.
	Horizontal Tabulation (Горизонтальний Табулювання). Показує рух механізму друку або курсора дисплея до наступної запропонованої "позиції табуляції".
	Line Feed (Переклад рядка). Показує рух механізму друку або курсора дисплея до початку наступного рядка (на один рядок вниз).
	Vertical Tabulation (Вертикальне Табулювання). Показує рух механізму друку або курсора дисплея до наступної групи рядків.
	Form Feed (Переклад сторінки). Показує рух механізму друку або курсора дисплея до вихідної позиції наступної сторінки, форми або екрану.
	Carriage Return (Переклад каретки). Показує рух механізму друку або курсора дисплея до вихідної (крайній лівій) позиції поточного рядка.

Передача даних.

	Start of Heading (Початок Заголовку). Застосовується для визначення початку заголовка, який може містити інформацію про маршрутизації або адреса.
	Start of Text (Початок Тексту). Показує початок тексту і одночасно кінець заголовка.
	End of Text (Кінець Тексту). Застосовується при завершенні тексту, який було розпочато з символу STX.
	Enquiry (Запит). Запит ідентифікаційних даних (типу "Хто Ви?") Від віддаленої станції.
	Acknowledge (Підтвердження). Приймальний пристрій передає цей символ відправнику в якості підтвердження успішного прийому даних.
	Negative Acknowledgement (не підтверджує). Приймальний пристрій передає цей символ відправнику в разі заперечення (невдачі) прийому даних.
	Synchronous / Idle (Синхронізація). Застосовується в синхронізованих системах передачі. У моменти відсутності передачі даних система безперервно посилає символи SYN для забезпечення синхронізації.
	End of Transmission Block (Кінець Блоку Передачі). Показує кінець блоку даних для комунікаційних цілей. Застосовується для розбиття на окремі блоки великих обсягів даних.

Розділові знаки при передачі інформації.

Інші символи.

	Null. (No character- немає даних). Застосовується для передачі в разі відсутності даних.
	Bell (Дзвінок). Застосовується для управління пристроями сигналізації.
	Shift Out. Показує, що всі наступні кодові комбінації повинні інтерпретуватися відповідно до зовнішньому набору символів до приходу символу SI.
	Shift In. Показує, що наступні кодові комбінації повинні інтерпретуватися відповідно до стандартного набору символів.
	Data Link Escape (Перемикання). Зміна значення йдуть слідом символів. Застосовується для додаткового контролю або для передачі довільної комбінації біт.
DC1, DC2, DC3, DC4	Device Controls (Контроль Пристрої). Символи для управління допоміжними пристроями (спеціальними функціями).
	Cancel (Скасувати). Показує, що дані, які передували цьому символу в повідомленні або блоці, повинні ігноруватися (зазвичай у разі виявлення помилки).
	End of Medium (Кінець Носія). Вказує на фізичний кінець стрічки або іншого носія інформації
	Substitute (Заступник). Застосовується для підміни помилкового або неприпустимого символу.
	Escape (Розширення). Застосовується для розширення коду, вказуючи на те, що наступний символ має альтернативне значення.
	Space (Пропуск). Незримий символ для розділення слів або переміщення механізму друку або курсора дисплея вперед на одну позицію.
	Delete (Видалення). Застосовується для видалення (стирання) попереднього знака в повідомленні

Excel для Office 365 Word для Office 365 Outlook для Office 365 PowerPoint для Office 365 Publisher для Office 365 Excel 2019 Word 2019 Outlook 2019 PowerPoint 2019 OneNote 2016 Publisher 2019 Visio професійний 2019 Visio стандартний 2019 Excel 2016 Word 2016 Outlook 2016 PowerPoint 2016 OneNote 2013 Publisher 2016 Visio 2013 Visio професійний 2016 Visio стандартний 2016 Excel 2013 Word 2013 Outlook 2013 PowerPoint 2013 Publisher 2013 Excel 2010 Word 2010 Outlook 2010. програмі PowerPoint 2010 OneNote 2010 Publisher 2010 Visio 2010 Excel 2007 Word 2007 Outlook 2007 PowerPoint 2007 Publisher 2007 Access 2007 Visio 2007 OneNote 2007 Office 2010 Visio Standard 2007 Visio 2010 стандартна менше

В цій статті

Вставка символу ASCII або Юнікоду в документ

Якщо вам потрібно ввести тільки кілька спеціальних знаків або символів, можна використовувати або поєднання клавіш. Список символів ASCII см. В наступних таблицях або статті Вставка букв національних алфавітів за допомогою сполучень клавіш.

Примітки:

Вставка символів ASCII

Щоб вставити символ ASCII, натисніть і утримуйте клавішу ALT, вводячи код символу. Наприклад, щоб вставити символ градуса (º), натисніть і утримуйте клавішу ALT, а потім введіть 0176 на цифровій клавіатурі.

Для введення чисел за допомогою клавіатури, А не цифри на основній клавіатурі. Якщо на цифровій клавіатурі необхідно ввести цифри, переконайтеся, що включений індикатор NUM LOCK.

Вставка символів Юнікоду

Щоб вставити символ Юнікоду, введіть код символу, потім послідовно натисніть клавіші ALT і X. Наприклад, щоб вставити символ долара ($), введіть 0024 і послідовно натисніть клавіші ALT і X. Всі коди символів Юнікоду см. в.

важливо: деякі програми Microsoft Office, наприклад PowerPoint і InfoPath, не підтримують перетворення кодів Юнікоду в символи. Якщо вам необхідно вставити символ Юнікоду в одній з таких програм, використовуйте.

Примітки:

Якщо після натискання клавіш ALT + X відображається неправильний символ Юнікоду, виберіть правильний код, а потім знову натисніть ALT + X.

Крім того, перед кодом слід ввести "U +". Наприклад, якщо ввести "1U + B5" і натиснути клавіші ALT + X, відобразиться текст "1μ", а при послідовному введенні "1B5" і натиснути клавіші ALT + X, відобразиться символ "Ƶ".

Використання таблиці символів

Таблиця символів - це програма, вбудована в Microsoft Windows, Яка дозволяє переглядати символи, доступні для обраного шрифту.

За допомогою таблиці символів можна копіювати окремі символи або групу символів в буфер обміну і вставляти їх в будь-яку програму, що підтримує відображення цих символів. Відкриття таблиці символів

У Windows 10 Введіть слово "символ" в поле пошуку на панелі завдань і виберіть таблицю символів в результатах пошуку.

У Windows 8 Введіть слово "символ" на початковому екрані і виберіть таблицю символів в результатах пошуку.

У Windows 7 натисніть кнопку Пуск, Послідовно виберіть всі програми, стандартні, службові і клацніть Таблиця символів.

Символи групуються за шрифтом. Клацніть список шрифтів, щоб вибрати відповідний набір символів. Щоб вибрати символ, клацніть його, потім натисніть кнопку вибрати. Щоб вставити символ, клацніть правою кнопкою миші потрібне місце в документі і виберіть вставити.

Коди часто використовуваних символів

Повний список символів см. в на комп'ютері, таблиці кодів символів ASCII або таблицях символів Юнікоду, упорядкованих за розділами.

гліф

грошові одиниці

Юридичні символи

математичні символи

дробу

Знаки пунктуації та діалектні символи

символи форм

Коди часто використовуваних діакритичних знаків

Повний список гліфів та відповідних кодів см. В.

гліф

Недруковані керуючі знаки ASCII

Знаки, що використовуються для управління деякими периферійними пристроями, Наприклад принтерами, в таблиці ASCII мають номера 0-31. Наприклад, знаку перекладу сторінки / нової сторінки відповідає номер 12. Цей знак вказує принтеру перейти до початку наступної сторінки.

Таблиця недрукованих керуючих символів ASCII

десяткове число	знак	десяткове число	знак
		Звільнення каналу даних
початок заголовка		Перший код управління пристроєм
початок тексту		Другий код управління пристроєм
кінець тексту		Третій код управління пристроєм
кінець передачі		Четвертий код управління пристроєм
	п'ятикутна	негативне підтвердження
підтвердження		Синхронний режим передачі
Звуковий сигнал		Кінець блоку переданих даних

горизонтальна табуляція		кінець носія
Переклад рядка / новий рядок		символ заміни
вертикальна табуляція			перевищувати
Переклад сторінки / нова сторінка	дванадцятий	роздільник файлів
повернення каретки		роздільник груп
Зрушення без збереження розрядів		роздільник записів
Зрушення зі збереженням розрядів	п'ятнадцяти	роздільник даних

Юнікод (по-англійськи Unicode) - це стандарт кодування символів. Простіше кажучи, це таблиця відповідності текстових знаків (, букв, елементів пунктуації) двійковим кодами. Комп'ютер розуміє тільки послідовність нулів і одиниць. Щоб він знав, що саме повинен відобразити на екрані, необхідно присвоїти кожному символу свій унікальний номер. У вісімдесятих, знаки кодували одним байтом, тобто вісьмома бітами (кожен біт це 0 або 1). Таким чином виходило, що одна таблиця (вона ж кодування або набір) може вмістити лише 256 знаків. Цього може не вистачити навіть для однієї мови. Тому, з'явилося багато різних кодувань, плутанина з якими часто призводила до того, що на екрані замість тексту, що читається з'являлися якісь дивні кракозябри. Був потрібен єдиний стандарт, яким і став Юнікод. Сама використовувана кодування - UTF-8 (Unicode Transformation Format) для зображення символу задіє від 1 до 4 байт.

символи

Символи в таблицях Юникода пронумеровані шестнадцатерічнимі числами. Наприклад, кирилична велика буква М позначена U + 041C. Це означає, що вона стоїть на перетині рядка 041 і стовпця С. Її можна просто скопіювати і потім вставити куди-небудь. Щоб не ритися в багатокілометровому списку слід скористатися пошуком. Зайшовши на сторінку символу, ви побачите його номер в Юникоде і спосіб накреслення в різних шрифтах. У рядок пошуку можна вбити і сам знак, навіть якщо замість нього отрісовивается квадратик, хоча б для того, щоб дізнатися, що це було. Ще, на цьому сайті є спеціальні (і - випадкові) набори однотипних значків, зібрані з різних розділів, для зручності їх використання.

Стандарт Юнікод - міжнародний. Він включає знаки майже всіх писемностей світу. У тому числі і тих, які вже не застосовуються. Єгипетські ієрогліфи, німецькі руни, писемність майя, клинопис і алфавіти древніх держав. Представлені і позначення мір і ваг, нотних грамот, математичних понять.

Сам консорціум Юникода не показала нових символів. У таблиці додаються ті значки, які знаходять своє застосування в суспільстві. Наприклад, знак рубля активно використовувався протягом шести років перш ніж був доданий в Юнікод. Піктограми емодзі (смайлики) теж спочатку отримали широке застосування в Японіїі перш ніж були включені в систему кодування. А ось товарні знаки, і логотипи компаній не додаються принципово. Навіть такі поширені як яблуко Apple або прапор Windows. На сьогоднішній день, в версії 8.0 закодовано близько 120 тисяч символів.